概率密度在变换下的演化过程

参考文献

Papers

The Principles of Diffusion Models

确定性单步变换

考虑一个作用于维状态的确定性、光滑向量场 : 这表示从初始状态经过一个单位时间步演化到状态

设初始状态，则 ,由于概率质量守恒，应用后的密度可以通过变量变换公式从得到

等价形式（在坐标下）：

线性情形

如果是线性的，由可逆矩阵定义（即），则：

微积分角度证明

该密度公式直接来源于多元微积分中的变量替换法则

单变量

对于积分，变量替换导致：

多变量

对于且，无穷小体积的变换为：

所以有：

密度公式的推导

概率密度的一个基本属性是，它可以被视为 Delta 函数在上的期望值：

其中 ,由于：

令 ,那么：

代入：

利用 Delta 函数的筛选性质：

在本例中，函数为：

将中的替换为：

确定性离散多步变换

考虑一个状态序列，其中每一步的状态通过一个光滑双射演化到：

初始状态

由于每一步都是一个光滑双射，根据概率质量守恒，密度的演化遵循变量变换公式：

通过应用单步演化公式，我们可以得到最终状态处的密度：

注意： 雅可比行列式须在相应的输入点处求值

为简化计算，将其转化为对数密度形式：

确定性连续变换：连续性方程

连续性方程为速度场，为时变概率密度函数

从离散到连续

考虑一个粒子在一个时变速度场作用下的运动

在每个微小时间步长内，粒子的更新规则:

当时间步长时，无限次微小更新的组合收敛于由速度场控制的连续流：

由于 ODE 在适当的条件下存在唯一解，这定义了一个从初始时间到当前时间的确定性流映射 :

这个映射将初始状态映射到时刻的解，形式上，它等于加上速度场的积分：

概率密度的演化

通过这个确定性流映射，初始密度被传输到时刻的新密度，这在概率论中被称为前推：

当流映射是光滑且可逆时，逆映射，密度的演化由变量变换公式：

等效的积分形式：

连续性方程：概率质量守恒律

核心思想：概率质量是守恒的，速度场只是在空间中对其进行重新分布

考虑向前欧拉离散化：

计算雅可比矩阵，对于的第个分量，其表达式为：

当时，

将所有元素重新组织成矩阵形式：

以上是离散化映射的雅可比矩阵，而本身只是ODE的一阶欧拉近似

考虑真实连续流的雅可比，引入修正项，所以：

引理：行列式函数的泰勒展开

对于小量，对函数在0附近进行一阶泰勒展开

矩阵函数的行列式的导数是：

令，则

所以：

代回泰勒展开式：

应用行列式的展开：

应用变量变换公式：

利用泰勒级数近似:当时, :

重新排列：

将左侧对数概率密度函数视为一个关于的函数，应用关于的多元泰勒展开： $时间项空间项$

代入：

将左侧的泰勒展开结果与右侧的雅可比结果匹配，并除以：

令：

由对数求导法则：

由向量乘法法则，可以得到连续性方程：

速度优先与密度优先

粒子动力学与密度动力学之间存在一个关键的不对称性

速度优先视角

在这种视角下，假设速度场是已知的

给定速度场和初始密度，粒子的流映射是唯一确定的

粒子流自动产生满足连续性方程的密度

在这种情况下，粒子动力学与密度动力学完全一致

密度优先视角

如果密度序列是给定的，则产生该路径的速度场不再唯一确定

非唯一性示例

令是一个满足以下条件的向量场（即关于的净通量为零）：

那么，速度场和都会引发相同的密度演化

因此，一条单一的密度路径可能对应多种不同的流

可实现性

并非每一条给定的密度路径都能由某个速度场作用下运动的粒子产生

定义： 如果存在一个速度场，使得遵循该速度场的粒子通过流映射产生确切的密度，则密度被称为可实现的（或由生成的）

可实现性成立的充要条件是和一起满足连续性方程

此时，熟悉的变量变换公式适用：

随机性连续变换：福克-普朗克方程

福克-普朗克方程 $漂移（输运）项扩散项（概率流密度向量）$ 为速度场,为时变概率密度函数, 是拉普拉斯算子

当粒子动力学遵循如下形式的随机微分方程时：

粒子的概率密度满足福克-普朗克方程

证明

设为一个光滑检验函数，根据伊藤公式：

对取期望，并注意到： $漂移项扩散项漂移项扩散项$

下面应用散度定理，并认为边界项为零：

对漂移项积分：

对扩散项积分：

代入：

$漂移项扩散项$

根据期望的定义，,对该式两边关于时间求导:

合并：

$定义求导伊藤引理推导$

整理得到：

由于检验函数是任意的，根据变分法基本引理，积分号内的方括号部分必须恒等于零，因此，对于任意和：

移项整理：

将上式写成连续性方程的形式：

则概率流密度向量为：

离散时间视角补充性证明：从转移核的边缘化概率推导

有转移核：

时间的边缘分布：

引入一个新变量，使高斯分布以为中心：

很小时，与非常接近，计算雅可比矩阵:

当足够小时，这个矩阵的行列式：

不会为零，因此映射在该点局部可逆

欲求得使得：

因为这个映射步长很小，我们可以假设逆函数形状类似：

令：

代回：

两边减去：

展开的泰勒：

代回：

忽略，得到：

得到逆映射:

$$ \mathbf{y} = \mathbf{u} - \mathbf{f}(\mathbf{u}, t)\Delta t + \mathcal{O}(\Delta t^2)

其雅可比行列式为：

在处对进行泰勒展开：其中，: 将的一阶近似代入：

代入：

展开后得到：

对于任意光滑函数和尺度，若，则由泰勒展开可得以下近似：

利用和，积分可近似为：

分别令 ,令 ,令并代入方差，保留项，我们得到：利用散度的性质，上式可以整理为：

最后，两边同时除以并令，即得到福克-普朗克方程：

连续性方程的物理理解

考虑一个位于处的微小固定控制体，其体积为

设为守恒量在位置和时间处的密度，为通量密度向量

盒子内部该守恒量的总量为：

该总量对时间的变化率为：

设通量

所有方向的总净流出量:

利用泰勒展开近似：

根据守恒定律，盒子内部总量的变化率必须等于净流入量的速率：

代入得：

从物理理解推导连续性方程

设是守恒量的密度，是速度场

考虑任意控制体，其边界为，控制体内守恒量的总量对时间的变化率为：

通过边界的净向外通量等于通量密度在曲面上的积分，其中是边界的外法向量，表示垂直于边界的流速：

守恒定律表明，体积内的累积速率等于净向外通量的负值：

应用散度定理（高斯公式）将曲面积分转化为体积分：其中，这里的通量向量。

因此：

假设积分区域是固定的：

合并：

由于控制体是任意的，为了使这个积分恒等于零，根据变分法基本引理，被积函数在定义域内必须处处为零：