SDE与伊藤积分

参考文献

Papers

The Principles of Diffusion Models

从ODE到SDE

从一个描述状态变量的确定性演化的常微分方程开始：

在小时间步下对 ODE 进行欧拉离散化：

当时，这个近似在适当的正则性条件下收敛到 ODE 的精确解

引入随机性

在欧拉离散化中加入一个随机项来引入这种不确定性，从而得到 SDE 的离散形式：

：漂移项
：扩散系数 (Diffusion Coefficient)，控制了随机项的强度，此处假设其仅依赖于时间
：时间缩放因子，随机游走中的方差与时间步成正比，因此标准差（偏差）与时间步的平方根成正比
：标准高斯噪声

令，上式对应于著名的 伊藤 (Itô) 积分形式的 SDE：

其中是维纳过程（或布朗运动）的微分形式，其增量满足

布朗路径几乎处处不可微，但是具有性质,也就是说，在无穷小时间间隔内，布朗路径的增量是一个零均值且协方差为的高斯随机变量

SDE的一般形式

$经典黎曼勒贝格积分伊藤积分$

由于维纳过程（布朗运动）的轨迹是连续但几乎处处不可微的，经典微积分不再适用。伊藤积分专门设计来处理这种不规则性

伊藤积分

一维伊藤公式：随机过程的链式法则

经典积分的链式法则

考虑函数，其全导数公式为：

表示关于状态的梯度或雅可比矩阵

经典链式法则在随机微积分中失效

经典微积分	随机微积分
时间增量：	布朗增量：
阶数：	阶数：
二阶项：	二阶项：

在ODE中，时间增量的平方被认为是比更高阶的无穷小量，因此在泰勒展开中可以忽略不计

在SDE中，布朗运动的增量的“大小”是级别的，因此，它的平方约等于，与是同阶的无穷小量，不能被忽略

考虑实值函数，其中随机变量遵循一个布朗运动 SDE：

如果应用经典的链式法则：

如果这个结果是正确的，计算的期望值的变化率：

由于独立于未来的增量，并且，所以：

这意味着，如果经典链式法则成立，那么应该是一个不随时间变化的常数

然而，从经典的布朗运动性质（方差随时间线性增长）可知，对于满足且的过程，其二阶矩是随时间线性增长的：

这显然矛盾

修正：回归到泰勒公式

二元函数泰勒公式

我们假设函数在点及其邻域内具有直到阶的连续偏导数

展开点：
自变量：
增量： ,

二元函数的阶泰勒公式

二阶泰勒展开式

$一阶项（线性近似梯度）二阶项（二次近似曲率）$

其中，

ODE约束的泰勒展开

我们考虑一个确定性的标量函数，其中是上述ODE的解

泰勒展开式：

在确定性情景中：因此，所有二阶项都满足： * * *

结论： 经典微积分中，所有二阶项及其更高阶项（红色部分）都可以被忽略

SDE约束的泰勒展开

现在考虑一个由 SDE 控制的随机过程 ：

对进行泰勒展开

交叉项

因为：

交叉项是，因此在与同阶的项相比时，可以忽略

项

这一项不容忽略：

阶数分析：

项	阶数	结果
		可忽略
		可忽略
		不可忽略！

合并后：

将代入上式，并整理所有项和项：

这就是伊藤公式 (Itô’s Formula) 的一维版本

例子：

对于和来说：

应用伊藤公式：

代入，即得：

多维伊藤公式与伊藤积分

一维伊藤公式

过程满足函数。

多维伊藤公式

过程满足函数 (漂移项) (D 维布朗运动) (标量扩散系数)

根据多维泰勒公式，我们将展开到二阶：

$时间一阶空间一阶空间二阶黑塞矩阵项$

一阶项分析

将SDE代入：

代入泰勒展开的一阶部分：

写成向量形式：

二阶项分析

展开后：

需要保留

根据伊藤规则，多维布朗运动不同维度的分量相互独立：

当时：
当时：

即:

将上述结果代回泰勒展开的二阶部分：

将时间项、一阶项、二阶项全部组合起来：

按和分组整理：

$新的漂移项新的扩散项$

伊藤微分乘积法则

考虑两个维向量值随机过程和，它们分别由以下SDE描述：

目标：找到标量过程的 SDE

对双线性函数应用多元伊藤公式可以完成

由伊藤微分：

前两项对应于经典微积分中的乘法法则
最后一项是伊藤修正项

对来说，和的高阶项可以忽略

由伊藤规则

代入上式：

将修正项代回伊藤微分公式：

伊藤积分

伊藤积分被定义为以下离散和的极限：

伊藤积分中被积函数必须在每个子区间的左端点处求值，因为这种“左端点”求值保证了积分是非预期性，即被积函数的值只能依赖于直到时刻的历史信息，而不能依赖于未来的随机波动，而经典积分通常使用子区间的中点或其他规则求值，因为它们可以“预知”区间内的信息

SDE的解析解法

目标SDE：

定义积分因子和新的过程：

由于是确定性函数，对应用伊藤乘积法则没有交叉变差项：

根据的定义，其导数为，代入：

展开并化简：

对进行积分：

由于，所以，即：

，那么，为：

将和代入：

如何刻画随机变量

定义：

伊藤积分是确定性函数关于布朗运动的随机积分，因此它是零均值高斯随机变量

那么我们就认为是高斯随机变量的仿射变换

$确定性部分零均值高斯部分$

因此，服从高斯分布

均值

定义条件均值且，所以：

方差

定义

令和，则

根据伊藤等距性，对于标量扩散系数，有：

将代回的表达式，并代入的定义：

SDE的数值方法

在时间步内对漂移项进行近似，并利用均值为、方差为的高斯增量来模拟随机噪声 ,通过此设定，利用类似欧拉法的方式进行迭代寻找数值解