流匹配 和 扩散模型

MIT 6.S184

这门课：Flow/Diffusion模型的理论与实践

• 理论：第一性原理，必要而最少量的数学知识 ODE、SDE

• 实践：如何实现

第零章 学习资源

https://diffusion.csail.mit.edu/

网站包括幻灯片，以及三个实验，以及课堂笔记。

第一章 利用随机微分方程的Gen AI

第一节：从生成到采样

我们将图像/视频/蛋白质表示为向量

$z_{\text{图}\text{像}}\in R^{H\times R\times 3}$$z_{图像}\in R^{H \times R \times 3}$，$z_{\text{视}\text{频}}\in R^{T\times H\times R\times 3}$$z_{视频}\in R^{T \times H \times R \times 3}$，$z_{\text{分}\text{子}\text{结}\text{构}}\in R^{N\times 3}$$z_{分子结构}\in R^{N \times 3}$（N个原子有3坐标）。

一张图像的“好”程度 ≈ 它在数据分布下的可能性有多高

学术一点的说法：图像的质量可以近似等同于它在数据分布中的似然性

生成就是从数据分布中采样

数据分布一般用概率密度函数$p_{data}$$p_{data}$表示。

数据集包含了数据分布中有限个数的样本：$z_1,...,z_N\sim p_{data}$$z_1,...,z_N \sim p_{data}$

条件生成指的是从条件分布中采样：$z\sim p_{data}(\cdot \mid y)$$z \sim p_{data}(\cdot \mid y)$，比如 $y$$y$ 是提示词。意味着给定这个提示，数据的分布是什么。这是我们最感兴趣的课题。

生成模型将初始分布（例如高斯分布）中的样本转换为数据分布中的样本。

$x\sim p_{init}$$x \sim p_{init}$ ➡️ $GenerativeModel$$Generative Model$ ➡️ $z\sim p_{data}$$z \sim p_{data}$

第二节 流模型与扩散模型

2.1 流模型

2.1.1 基本术语和概念

流的基本对象：轨迹（Trajectory）、向量场（Vector Field）、常微分方程（ODE）

1. 轨迹：$X:[0,1]\to {\mathbb{R}}^d,t\mapsto X_t$$X: [0, 1] \to \mathbb{R}^d, \quad t \mapsto X_t$

2. 向量场：$u:{\mathbb{R}}^d\times [0,1]\to {\mathbb{R}}^d,(x,t)\mapsto u_t(x)$$u: \mathbb{R}^d \times [0,1] \to \mathbb{R}^d, \quad (x, t) \mapsto u_t(x)$

3. 常微分方程：描述轨迹上的条件

$X_0=x_0(\text{初}\text{始}\text{条}\text{件})$$X_0 = x_0 \;(初始条件)$ 沿着向量场指定的方向前进。

$\frac{d}{dt}{X}_t=u_t(X_t)$$\frac{d}{dt}X_t = u_t(X_t)$ （ODE）

轨迹的导数或速度 是由 $X_t$$X_t$ 当前所在位置的向量 $u_t(X_t)$$u_t(X_t)$ 给出的。

4. 流：$\psi :{\mathbb{R}}^d\times [0,1]\to {\mathbb{R}}^d,(x_0,t)\mapsto {\psi }_t(x_0)$$\psi: \mathbb{R}^d \times [0,1] \to \mathbb{R}^d, \quad (x_0, t) \mapsto \psi_t(x_0)$

流 $\psi$$\psi$是所有不同起点 $x_0$$x_0$ 的轨迹集合，即整个系统的“流动结构”。

我们希望对于每个初始条件$x_0$$x_0$，轨迹${\psi }_t(x_0)$$\psi_t(x_0)$都是下面这个ODE的解：

${\psi }_0(x_0)=x_0$$\psi_0(x_0) = x_0$

$\frac{d}{dt}{\psi }_t(x_0)=u_t({\psi }_t(x_0))$$\frac{d}{dt}\psi_t(x_0) = u_t(\psi_t(x_0))$

所以：

• ODE由向量场（VF）定义。

• 轨迹是ODE的解。

• 流则是各种初始条件的轨迹的集合。

图示红色网格是轨迹，蓝色箭头是向量场。

2.1.2 定理

ODEs 解的存在性与唯一性定理

定理（皮卡–林德勒夫定理）： 如果向量场 $u_t(x)$$u_t(x)$ 是连续可微的，且其导数有界，那么下面这个常微分方程（ODE）：$X_0=x_0,\frac{d}{dt}{X}_t=u_t(X_t)$$X_0 = x_0\:, \quad \frac{d}{dt}X_t = u_t(X_t)$

存在唯一解。换句话说，流映射是存在的。更一般地说，只要向量场是 Lipschitz 连续的，结论仍然成立。

Lipschitz 连续是一种比连续更强，比可微略弱的函数光滑性条件，在分析和微分方程中非常重要。

2.1.3 示例：线性ODE

Flow-based 模型是在学习一个确定性的（deterministic）向量场，间接决定轨迹。轨迹由向量场通过常微分方程生成。

简单的线性向量场：$u_t(x)=-\theta x(\theta >0)$$u_t(x) = -\theta x \; (\theta > 0)$

断言：流由下式给出：${\mathrm{\Psi }}_t(x_0)=e^{-\theta t}{x}_0$$\Psi_t(x_0) = e^{-\theta t} x_0$

• 断言（Claim）在数学中表示一个待证明的断言、结论或命题。

• $\psi$$\psi$ 发音为 /saɪ/ 或 /psaɪ/

证明：

1. 初始条件：

   ${\mathrm{\Psi }}_t(x_0)=e^0{x}_0=x_0$$\Psi_t(x_0) = e^{0} x_0 = x_0$

2. ODE：

   $\frac{d}{dt}{\mathrm{\Psi }}_t(x_0)=\frac{d}{dt}(e^{-\theta t}{x}_0)=-\theta e^{-\theta t}{x}_0=-\theta {\psi }_t(x_0)=u_t({\psi }_t(x_0))$$\frac{d}{dt}\Psi_t(x_0) = \frac{d}{dt}(e^{-\theta t} x_0) = -\theta e^{-\theta t}x_0 = -\theta \psi_t(x_0) = u_t(\psi_t(x_0))$

不同初始条件的轨迹：

$y$$y$轴表示初始条件。轨迹呈指数级趋近于零。

2.1.4 ODE数值模拟——欧拉法

不幸的是，在大多数情况，这并不容易，你不能只是手动找到ODE的解。

我们需要做的是模拟它。

算法1：欧拉法模拟ODE

输入：向量场$u_t$$u_t$，初始条件$x_0$$x_0$，步数$n$$n$

1. 设 $t=0$$t = 0$

2. 设步长 $h=\frac{1}{n}$$h = \frac{1}{n}$

3. 设 $X_0=x_0$$X_0 = x_0$

4. 对 $i=1,\cdots ,n-1$$i = 1, \cdots, n-1$ 循环：

   $X_{t+h}=X_t+h{u}_t(X_t)$$X_{t+h} = X_t + hu_t(X_t)$

   更新$t$$t$为$t+h$$t+h$

5. 结束循环

6. 返回轨迹：$X_0,X_h,X_{2h},\cdots ,X_1$$X_0, X_h, X_{2h}, \cdots, X_1$

2.1.5 生成模型

1. 流模型：$p_{init}\stackrel{\text{ODE}}{\to }{p}_{data}$$p_{init} \xrightarrow{\text{ODE}} p_{data}$

2. 神经网络：将向量场变成一个神经网络。

$u_t^{\theta }:{\mathbb{R}}^d\times [0,1]\to {\mathbb{R}}^d$$u_t^\theta : \mathbb{R}^d \times [0, 1] \to \mathbb{R}^d$，$\theta$$\theta$ 是网络参数

3. 随机初始条件：由于ODE是确定性的，所以还不能生成整个分布。但我们可以使初始条件随机化。

   $X_0\sim p_{init}$$X_0 \sim p_{init}$

4. 常微分方程：

   $\frac{d}{dt}{X}_t=u_t^{\theta }(X_t)$$\frac{d}{dt}X_t = u_t^\theta(X_t)$

5. 目标：

   $X_1\sim p_{data}$$X_1 \sim p_{data}$

后面我们会学到，这幅图描述就是用高斯概率路径的边际向量场进行基于欧拉法的ODE数值模拟。

2.2 扩散模型

扩散模型本质上扩展了我们刚才讨论过的想法，但采用随机微分方程。

2.2.1 基本术语和概念

扩散模型的基本对象：随机过程（Stochastic process）、向量场（Vector Field）、常微分方程（ODE）

1. 随机过程：扩散模型的解是随机的轨迹，也称为随机过程。

$X_t,(0\le t\le 1)$$X_t, \; (0 \le t \le 1)$ 是随机变量

$X:[0,1]\to {\mathbb{R}}^d,t\mapsto X_t$$X: [0, 1] \to \mathbb{R}^d, \quad t \mapsto X_t$ ，但此时可以从$X$$X$中抽取样本，所以$X$$X$本身是随机的。这些轨迹的集合更像是它们发生的可能性。

2. 向量场：$u:{\mathbb{R}}^d\times [0,1]\to {\mathbb{R}}^d,(x,t)\mapsto u_t(x)$$u: \mathbb{R}^d \times [0,1] \to \mathbb{R}^d, \quad (x, t) \mapsto u_t(x)$

3.  扩散系数：$\sigma :[0,1]\to {\mathbb{R}}_{\ge 0},t\mapsto {\sigma }_t$$\sigma: [0,1] \to \mathbb{R}_{\ge 0}, \quad t \mapsto \sigma_t$，由它向ODE注入随机性。

3. 随机微分方程：

$X_0=x_0(\text{初}\text{始}\text{条}\text{件})$$X_0 = x_0 \;(初始条件)$

$d{X}_t=\underset{\text{ODE}}{\underbrace{u_t(X_t)dt}}+\underset{stochastic/noise}{\underbrace{{\sigma }_{t}d{W}_t}}$$dX_t = \underbrace{u_t(X_t)dt}_{\text{ODE}} + \underbrace{\sigma_tdW_t}_{stochastic/noise}$ （SDE）

表示： $X_t$$X_t$ 随时间演化，它的变化由两个部分组成：

1. 确定性部分：它会朝着一个“向量场”或“趋势” $u_t(X_t)$$u_t(X_t)$ 的方向走（ODE）。

2. 随机部分：它还会叠加一些“不可预测的扰动”——这些扰动由布朗运动 $d{W}_t$$dW_t$ 产生，并通过一个缩放因子 ${\sigma }_t$$\sigma_t$ 控制其强度。

$W_t$$W_t$ 表示布朗运动，在数学中通常被建模为一个 Wiener 过程（维纳过程）。

4. 布朗运动：

随机过程：$W：(W_t{)}_{t\ge 0}$$W： (W_t)_{t \ge 0}$，$W_t\in {\mathbb{R}}^d$$W_t \in \mathbb{R}^d$，可以是任何维度的

1. 初始化为0：$W_0=0$$W_0 = 0$

2. 高斯增量：$W_t-W_s\sim \mathcal{N}(0,(t-s)I_d),(0\le s\le t)$$W_t - W_s\sim \mathcal{N}(0, (t-s)I_d), \;(0\le s\le t)$

3. 独立的增量：$W_{t_1}-W_{t_0},\cdots ,W_{t_n}-W_{t_{n-1}}$$W_{t_1} - W_{t_0}, \cdots, W_{t_n} - W_{t_{n-1}}$，$0\le t_0<t_1<\cdots <t_n$$0 \le t_0 \lt t_1 \lt \cdots \lt t_n$ 都是互相独立的，视为随机变量

这个独特属性，使得它在任何地方都不可微。

但我们在研究依赖于求导的微分方程。

5. 符号$d{X}_t$$dX_t$：

由于维纳过程不可微，我们换种表达：

$\frac{d}{dt}{X}_t=u_t(X_t)$$\frac{d}{dt}X_t = u_t(X_t)$

$\iff \underset{h\to 0}{lim}\frac{X_{t+h}-X_t}{h}=u_t(X_t)$$\Leftrightarrow \quad \lim_{h \to 0} \frac{X_{t+h} - X_t}{h} = u_t(X_t)$

$\iff \frac{X_{t+h}-X_t}{h}=u_t(X_t)+R_t(h)$$\Leftrightarrow \quad \frac{X_{t+h} - X_t}{h} = u_t(X_t) + R_t(h)$

$\iff X_{t+h}=X_t+h{u}_t(X_t)+h{R}_t(h)$$\Leftrightarrow \quad X_{t+h} = X_t + hu_t(X_t) + hR_t(h)$

这里 $R_t(h)$$R_t(h)$ 是误差项，且 $\underset{h\to 0}{lim}{R}_t(h)=0$$\lim_{h \to 0} R_t(h) = 0$。这儿想作是泰勒近似。

$d{X}_t=u_t(X_t)dt+{\sigma }_{t}d{W}_t$$dX_t = u_t(X_t)dt + \sigma_tdW_t$

$\iff X_{t+h}=X_t+h{u}_t(X_t)+{\sigma }_t(W_{t+h}-W_t)+h{R}_t(h)$$\Leftrightarrow \quad X_{t+h} = X_t + hu_t(X_t) + \sigma_t(W_{t+h} - W_t) +hR_t(h)$

2.2.2 定理

SDEs 解的存在性与唯一性定理

如果向量场 $u_t(x)$$u_t(x)$ 是连续可微的，且其导数有界，并且扩散系数是连续的，那么下面这个随机微分方程

$X_0=x_0,d{X}_t=u_t(X_t)dt+{\sigma }_{t}d{W}_t$$X_0 = x_0, \quad dX_t = u_t(X_t)dt + \sigma_tdW_t$

存在唯一解。

2.2.3 SDE数值模拟——欧拉-丸山法

算法2：从一个SDE采样（欧拉-丸山法，Euler-Maruyama method）

输入：向量场$u_t$$u_t$，步数$n$$n$，扩散系数${\sigma }_t$$\sigma_t$

1. 设 $t=0$$t = 0$

2. 设步长 $h=\frac{1}{n}$$h = \frac{1}{n}$

3. 设 $X_0=x_0$$X_0 = x_0$

4. 对 $i=1,\cdots ,n-1$$i = 1, \cdots, n-1$ 循环：

   从标准 $d$$d$-维正态分布中采样 $ϵ\sim \mathcal{N}(0,I_d)$$\epsilon \sim \mathcal{N}(0, I_d)$

   $X_{t+h}=X_t+h{u}_t(X_t)+{\sigma }_t\sqrt{h}ϵ$$X_{t+h} = X_t + hu_t(X_t) + \sigma_t \sqrt{h}\epsilon$

   Note
   

   $\sqrt{h}ϵ\sim \mathcal{N}(0,h{I}_d)$$\sqrt{h}\epsilon\sim \mathcal{N}(0, hI_d)$，噪声的方差为$h$$h$。

   更新$t$$t$为$t+h$$t+h$

5. 结束循环

6. 返回轨迹：$X_0,X_h,X_{2h},\cdots ,X_1$$X_0, X_h, X_{2h}, \cdots, X_1$

2.2.4 示例：奥-乌过程

Ornstein–Uhlenbeck (OU) 过程是一个均值回复型的随机过程，是布朗运动（随机游走）的扩展。它经常用来建模那些会在长期内回到某个平衡值附近波动的系统。

$d{X}_t=-\theta X_{t}dt+\sigma d{W}_t$$dX_t = -\theta X_t dt + \sigma dW_t$

2.2.5 生成模型

1. 扩散模型：$p_{init}\stackrel{\text{SDE}}{\to }{p}_{data}$$p_{init} \xrightarrow{\text{SDE}} p_{data}$

2. 神经网络：是向量场，此处和流模型一样。

$u_t^{\theta }:{\mathbb{R}}^d\times [0,1]\to {\mathbb{R}}^d$$u_t^\theta : \mathbb{R}^d \times [0, 1] \to \mathbb{R}^d$，$\theta$$\theta$ 是网络参数

3. 扩散系数：

   ${\sigma }_t$$\sigma_t$ （大多数情况下它是固定的）

4. 随机初始条件：

   $X_0\sim p_{init}$$X_0 \sim p_{init}$

5. 常微分方程：

   $d{X}_t=u_t^{\theta }(X_t)dt+{\sigma }_{t}d{W}_t$$dX_t = u_t^\theta(X_t)dt + \sigma_tdW_t$

6. 目标：

   $X_1\sim p_{data}$$X_1 \sim p_{data}$

第二章 构建训练目标

回顾：

第一节 训练模型

不经过训练，模型的产出“毫无意义” → 我们需要训练向量场 $u_t$$u_t$

训练 = 找到一组参数，使得：

$\underset{\text{从一个初始分布开始，}}{\underbrace{X_0\sim p_{init}}}$$\underbrace{X_0 \sim p_{init}}_{\text{从一个初始分布开始，}}$，$\underset{\text{沿着向量场进行演化，}}{\underbrace{d{X}_t=u_t^{\theta }(X_t)dt}}$$\underbrace{dX_t = u_t^\theta(X_t)dt}_{\text{沿着向量场进行演化，}}$ 能得到 $\underset{\text{最终点的分布 = 数据分布}}{\underbrace{X_1\sim p_{data}}}$$\underbrace{X_1 \sim p_{data}}_{\text{最终点的分布 = 数据分布}}$

在回归或分类任务中，训练目标是标签。

但在这里：没有标签 : (

我们必须推导出一个训练目标。

第二节 构建训练目标

目的：推导一个用于训练我们模型的训练目标的公式。

这一节的课程将是技术上最具挑战性的一节！接下来的课程会轻松很多很多。

你不必理解推导过程，但一定要理解以下公式：

三个条件对象，三个边际对象的公式：

• 条件和边际的概率路径

• 条件和边际的向量场

• 条件和边际的得分函数

2.1 条件和边际概率路径

2.1.1 关键术语

• “Conditional” = “针对单个数据点”

• “Marginal” = “跨数据点分布”

Conditional（条件的） 强调的是在某个特定数据点条件下的情况。

Marginal（边际的） 是指考虑整个数据的整体分布，不针对单点。

🔍 “边际”

2.1.2 概率路径

概率路径： 从噪声到数据的路径。（噪声和数据的逐步插值）

狄拉克分布（ Dirac distribution）：$z\in {\mathbb{R}}^d$$z \in \mathbb{R}^d$, ${\delta }_z:X\sim {\delta }_z\Rightarrow X=z$$\delta_z: X \sim \delta_z \Rightarrow X = z$

这是最简单的一种分布。它是一种确定性分布（deterministic distribution）：它在 $x=z$$x = z$ 处“无限高”，在 $x\ne z$$x \ne z$ 的地方为 0，积分为 1。

你可以把它看成一个“浓缩在一个点 $z$$z$ 上的概率分布”，所有质量都集中在 $z$$z$​，没有任何扩散或随机性。从 狄拉克分布中采样的结果就是 $z$$z$ 本身，毫无随机性。

2.1.3 条件概率路径 $p_t(\cdot \mid z)$$p_t(\cdot \mid z)$

条件概率路径：$p_t(\cdot \mid z)$$p_t(\cdot \mid z)$

1. $p_t(\cdot \mid z)$$p_t(\cdot \mid z)$ 是${\mathbb{R}}^d$$\mathbb{R}^d$上的概率分布

2. $p_0(\cdot \mid z)=p_{init}$$p_0(\cdot \mid z) = p_{init}$

3. $p_1(\cdot \mid z)={\delta }_z$$p_1(\cdot \mid z) = \delta_z$

2.1.4 例子 —— 高斯概率路径

$p_t(\cdot \mid z)=N({\alpha }_{t}z,{\beta }_t^2{I}_d)$$p_t(\cdot \mid z) = N(\alpha_t z, \beta_t^2 I_d)$

${\alpha }_t$$\alpha_t$ 和 ${\beta }_t$$\beta_t$ 是所谓的噪声调度器（noise schedulers）

• ${\alpha }_0=0$$\alpha_0 = 0$，${\alpha }_1=1$$\alpha_1 = 1$

• ${\beta }_0=1$$\beta_0 = 1$，${\beta }_1=0$$\beta_1 = 0$

• 比如常见可以设计为 ${\alpha }_t=t$$\alpha_t = t$，${\beta }_t=1-t$$\beta_t = 1 - t$

容易得到，它满足条件概率路径 $p_t(\cdot \mid z)$$p_t(\cdot \mid z)$的三点要求。

如下图可视化：

2.1.5 边际概率路径 $p_t$$p_t$

边际概率路径：$p_t$$p_t$

$z\sim p_{data},x\sim p_t(\cdot \mid z)\Rightarrow \underset{\text{forget z}}{\underbrace{x\sim p_t}}$$z \sim p_{data}, \; x \sim p_t(\cdot \mid z) \Rightarrow \underbrace{x \sim p_t}_{\text{forget z}}$

通过条件概率路径 + 数据分布 可以推出 边际概率路径。即：

流模型中时刻 $t$$t$ 的边际分布是对所有初始数据 $z$$z$ 的条件分布 $p_t(X\mid z)$$p_t(X \mid z)$ 的加权平均，权重由初始数据的分布 $p_{\text{data}}(z)$$p_{\text{data}}(z)$ 决定。

1. $p_t(X)=\int p_t(x|z)p_{data}(z)dz$$p_t(X) = \int p_t(x|z)p_{data}(z)dz$

2. $p_0=p_{init}$$p_0 = p_{init}$

3. $p_1=p_{data}$$p_1 = p_{data}$

如下图可视化：

2.1.6 概率路径小结

条件概率路径 $p_t(\cdot \mid z)$$p_t(\cdot \mid z)$，由 $p_{init}$$p_{init}$ 和 一个数据点 $z$$z$ 插值，例子是高斯概率路径$N({\alpha }_{t}z,{\beta }_t^2{I}_d)$$N(\alpha_t z, \beta_t^2 I_d)$，${\alpha }_t$$\alpha_t$从0到1，${\beta }_t$$\beta_t$从1到0。

边缘化得到

边际概率路径$p_t$$p_t$，由 $p_{init}$$p_{init}$ 和 $p_{data}$$p_{data}$ 插值，有公式 $p_t(x)=\int p_t(x|z)p_{data}(z)dz$$p_t(x) = \int p_t(x| z)p_{data}(z)dz$。

2.2 条件和边际向量场

2.2.1 条件向量场

形式化（公式化）表达：

$u_t^{target}(x|z)$$u_t^{target}(x|z)$，（ $\begin{array}{c}\begin{array}{c}0\le t\le 1\\ x,z\in {\mathbb{R}}^d\end{array}\end{array}$$\substack{0 \le t \le 1 \\ x,z \in \mathbb{R}^d}$ ）

满足

$X_0\sim p_{init},\frac{d}{dt}{X}_t=u_t^{target}(x_t|z)\Rightarrow X_t\sim p_t(\cdot \mid z)$$X_0 \sim p_{init},\quad \frac{d}{dt}X_t = u_t^{target}(x_t|z) \Rightarrow X_t \sim p_t(\cdot \mid z)$ $(0\le t\le 1)$$(0 \le t \le 1)$

2.2.2 例子——条件高斯向量场

$u_t^{target}(x|z)=(\dot{{\alpha }_t}-\frac{\dot{{\beta }_t}}{{\beta }_t}{\alpha }_t)z+\frac{\dot{{\beta }_t}}{{\beta }_t}x$$u_t^{target}(x|z) = (\dot{\alpha_t} - \frac{\dot{\beta_t}}{\beta_t}\alpha_t)z+ \frac{\dot{\beta_t}}{\beta_t}x$，

• $\dot{}$$\dot{}$ 在物理中常用于表示时间导数，如速度$\dot{x}$$\dot{x}$，所以 $\dot{{\alpha }_t}=\frac{d}{dt}{\alpha }_t$$\dot{\alpha_t}=\frac{d}{dt}\alpha_t$

• 这个向量场很简单，就是 $x$$x$ 和 $z$$z$ 的某种加权组合。

这个向量场能沿着高斯概率路径 $p_t(\cdot \mid z)=N({\alpha }_{t}z,{\beta }_t^2{I}_d)$$p_t(\cdot \mid z) = N(\alpha_t z, \beta_t^2 I_d)$ 从噪声到数据点。

可视化为下图：

2.2.3 边际向量场 & 定理（边缘化技巧）

边际向量场：

$u_t^{target}(x)=\int u_t^{target}(x|z)\frac{p_t(x|z)p_{data}(z)}{p_t(x)}dz$$u_t^{target}(x) = \int u_t^{target}(x|z) \frac{p_t(x|z)p_{data}(z)}{p_t(x)}dz$

$\frac{p_t(x|z)p_{data}(z)}{p_t(x)}$$\frac{p_t(x|z)p_{data}(z)}{p_t(x)}$ 这个比率，本质上是给定$x$$x$，采用$z$$z$的后验概率，即$p_t(z|x)$$p_t(z|x)$。

这样的边际向量场

满足

$X_0\sim p_{init},\frac{d}{dt}{X}_t=u_t^{target}(x_t)\Rightarrow X_t\sim p_t(0\le t\le 1)$$X_0 \sim p_{init}, \quad \frac{d}{dt}X_t = u_t^{target}(x_t) \Rightarrow X_t \sim p_t \quad (0 \le t \le 1)$ $\Rightarrow X_1\sim p_{data}$$\Rightarrow X_1 \sim p_{data}$

$\text{第}\text{一}\text{行}\stackrel{\text{边}\text{缘}\text{化}}{\to }\text{第}\text{二}\text{行}$$第一行 \xrightarrow{ 边缘化 }第二行$：

2.2.4 连续性方程（延伸知识，用于证明边际向量场的边缘化）

给定：$X_0\sim p_{init},\frac{d}{dt}{X}_t=u_t(X_t)$$X_0 \sim p_{init}, \quad \frac{d}{dt}X_t = u_t(X_t)$

沿着概率路径 $X_t\sim p_t(0\le t\le 1)$$X_t \sim p_t \quad (0 \le t \le 1)$ （边际是$p_t$$p_t$）

等价于说：

连续性方程 $\frac{d}{dt}{p}_t(x)=-div(p_t{u}_t)(x)$$\frac{d}{dt}p_t(x) = -div(p_tu_t)(x)$ 成立。（该PDE成立）

$p_t$$p_t$在$x$$x$处的时间导数 是由 $p_t{u}_t$$p_t u_t$（$\text{流}\text{量}=\text{浓}\text{度}\times \text{速}\text{度}$$流量=浓度\times速度$）的负散度给出的。

证明：

$\frac{d}{dt}{p}_t(x)=\frac{d}{dt}\int p_t(x|z)p_{data}(z)dz=\int \frac{d}{dt}{p}_t(x|z)p_{data}(z)dz$$\frac{d}{dt}p_t(x) = \frac{d}{dt}\int p_t(x|z)p_{data}(z)dz = \int \frac{d}{dt}p_t(x|z)p_{data}(z)dz$

$=\int -div(p_t(\cdot \mid z)u_t^{target}(\cdot \mid z))(x)p_{data}(z)dz$$= \int -div(p_t(\cdot\mid z)u_t^{target}(\cdot\mid z))(x)p_{data}(z)dz$

$=-div(\int p_t(x\mid z)u_t^{target}(x\mid z)p_{data}(z))dz$$= -div(\int p_t(x\mid z)u_t^{target}(x\mid z)p_{data}(z))dz$

$=-div(p_t(x)\int u_t^{target}(x\mid z)\frac{p_t(x\mid z)p_{data}(z)}{p_t(x)})dz$$= -div(p_t(x)\int u_t^{target}(x\mid z)\frac{p_t(x\mid z) p_{data}(z)}{p_t(x)})dz$

$=-div(p_t{u}_t^{target})(x)$$= -div(p_t u_t^{target})(x)$

2.2.5 向量场小结

条件向量场 $u_t^{target}(x\mid z)$$u_t^{target}(x \mid z)$，其ODE沿着条件路径，例子是条件高斯向量场$(\dot{{\alpha }_t}-\frac{\dot{{\beta }_t}}{{\beta }_t}{\alpha }_t)z+\frac{\dot{{\beta }_t}}{{\beta }_t}x$$(\dot{\alpha_t} - \frac{\dot{\beta_t}}{\beta_t}\alpha_t)z+ \frac{\dot{\beta_t}}{\beta_t}x$

边缘化得到

边际向量场$u_t^{target}(x)$$u_t^{target}(x)$，其ODE沿着边际路径，有公式 $u_t^{target}(x)=\int u_t^{target}(x|z)\frac{p_t(x|z)p_{data}(z)}{p_t(x)}dz$$u_t^{target}(x) = \int u_t^{target}(x|z) \frac{p_t(x|z)p_{data}(z)}{p_t(x)}dz$

2.3 条件和边际得分函数（扩散模型）

2.3.1 条件和边际得分

条件得分：

${\mathrm{\nabla }}_x\log p_t(x|z)$$\nabla_x \log p_t(x|z)$，即条件概率路径的对数似然的梯度

边际得分：

$\mathrm{\nabla }\log p_t(x)$$\nabla \log p_t(x)$，即边际概率路径的对数似然的梯度

公式：根据链式法则

$\mathrm{\nabla }\log p_t(x)=\frac{\mathrm{\nabla }{p}_t(x)}{p_t(x)}=\frac{\mathrm{\nabla }\int p_t(x|z)p_{data}(z)dz}{p_t(x)}$$\nabla \log p_t(x) = \frac{\nabla p_t(x)}{p_t(x)} = \frac{\nabla \int p_t(x|z)p_{data}(z)dz}{p_t(x)}$

$=\frac{\int \mathrm{\nabla }{p}_t(x|z)p_{data}(z)dz}{p_t(x)}=\int \mathrm{\nabla }\log p_t(x|z)\frac{p_t(x|z)p_{data}(z)}{p_t(x)}dz$$= \frac{ \int \nabla p_t(x|z)p_{data}(z)dz}{p_t(x)} = \int \nabla \log p_t(x|z) \frac{ p_t(x|z)p_{data}(z)}{p_t(x)}dz$，发现又是构造出后验概率加权积分的形式。

$\because \mathrm{\nabla }\log p_t(x|z)=\frac{\mathrm{\nabla }{p}_t(x|z)}{p_t(x|z)}$$\because \nabla \log p_t(x|z) = \frac{\nabla p_t(x|z)}{p_t(x|z)}$

2.3.2 例子——高斯得分

一个高斯概率路径对应的高斯得分：

${\mathrm{\nabla }}_x\log p_t(x|z)=-\frac{x-{\alpha }_{t}z}{{\beta }_t^2}$$\nabla_x \log p_t(x|z) = -\frac{x - \alpha_t z}{\beta_t^2}$

由正太分布的概率密度函数

$p(x)=\frac{1}{(2\pi {)}^{d/2}|\mathrm{\Sigma }{|}^{1/2}}\exp (-\frac{1}{2}(x-\mu {)}^{\mathrm{\top }}{\mathrm{\Sigma }}^{-1}(x-\mu ))$$p(x) = \frac{1}{(2\pi)^{d/2} |\Sigma|^{1/2}} \exp\left( -\frac{1}{2}(x - \mu)^\top \Sigma^{-1} (x - \mu) \right)$

代入  $\mathbf{\Sigma }={\beta }_t^2\mathbf{I}$$\boldsymbol{\Sigma} = \beta_t^2 \mathbf{I}$

$p(\mathbf{x})=\frac{1}{(2\pi {\beta }_t^2{)}^{d/2}}\exp (-\frac{1}{2{\beta }_t^2}{\Vert \mathbf{x}-{\alpha }_t\mathbf{z}\Vert }^2)$$p(\mathbf{x}) = \frac{1}{(2\pi \beta_t^2)^{d/2}} \exp\left( -\frac{1}{2\beta_t^2} \left\| \mathbf{x} - \alpha_t \mathbf{z} \right\|^2 \right)$

推导得到。

2.3.3 定理（SDE扩展的技巧）

对于任意${\sigma }_t\ge 0$$\sigma_t \ge 0$，

$X_0\sim p_{init},d{X}_t=[u_t^{target}(X_t)+\frac{{\sigma }_t^2}{2}\mathrm{\nabla }\log p_t(x_t)]dt+{\sigma }_{t}d{W}_t$$X_0 \sim p_{init}, \quad dX_t = [u_t^{target}(X_t) + \frac{\sigma_t^2}{2}\textcolor{blue}{\nabla \log p_t(x_t)}]dt + \sigma_tdW_t$

$\Rightarrow X_t\sim p_t(0\le t\le 1)\Rightarrow X_1\sim p_{data}$$\Rightarrow X_t \sim p_t \quad (0 \le t \le 1) \Rightarrow X_1 \sim p_{data}$

🔍 流模型 其实就能达到这个目标，所以现在50%的模型都纯流模型。所以我们优先掌握流模型，扩散模型只是其扩展。

流模型是基础。 扩散模型更多像一种实践经验，在流模型基础上，通过实验发现加各种扩散系数的噪声，生成效果是否会改善。

2.4 总结

后续课程会学习到：

模型训练 就是 训练 $u_t^{target}$$u_t^{target}$ 这个对象，或$\mathrm{\nabla }\log p_t(x)$$\nabla \log p_t(x)$这个对象。

第三章 训练流模型和扩散模型

回顾：

3.1 训练算法

我们将 边际向量场、边际得分函数 转化为 两种算法：流匹配 与 得分匹配。

这将是训练算法，用于学习这两个对象。

3.2 流匹配

$u_t^{\theta }$$u_t^\theta$ ($\theta$$\theta$: parameters)

目标

$u_t^{\theta }\approx u_t^{target}$$u_t^\theta \approx u_t^{target}$

3.2.1 流匹配损失

$L_{fm}(\theta )=\mathbb{E}[{\Vert u_t^{\theta }(x)-u_t^{target}(x)\Vert }^2]$$L_{fm} (\theta)= \mathbb{E}[\left \| u_t^\theta(x) - u_t^{target}(x)\right \|^2 ]$，

✓ Minimizer ✗ Tractable

为什么不易处理呢？ 因为我们无法评估这一点，边际向量场是一个（边缘化）积分，批量进行计算很困难。

$t\sim \mathcal{U}(0,1)$$t \sim \mathcal{U}(0, 1)$，$t$$t$ 在 $[0,1]$$[0, 1]$ 区间均匀采样。

$z\sim p_{data}$$z \sim p_{data}$，$z$$z$ 通过dataloader从数据集中随机采样。

$x\sim p_t(\cdot \mid z)$$x \sim p_t(\cdot \mid z)$，$x$$x$ 从条件概率路径采样。

3.2.2 条件流匹配损失

$L_{cfm}(\theta )=\mathbb{E}[{\Vert u_t^{\theta }(x)-u_t^{target}(x\mid z)\Vert }^2]$$L_{cfm} (\theta)= \mathbb{E}[\left \| u_t^\theta(x) - u_t^{target}(x \mid z)\right \|^2 ]$，

? Minimizer ✓ Tractable

最小化这个对象是否有意义？因为条件向量场不是真的有用，我们不想生成单个数据点，而是想生成整个数据分布。

但接下来我们会证明，最小化条件流匹配损失，能够达到我们的目标。

$t\sim \mathcal{U}(0,1)$$t \sim \mathcal{U}(0, 1)$，$z\sim p_{data}$$z \sim p_{data}$，$x\sim p_t(\cdot \mid z)$$x \sim p_t(\cdot \mid z)$

3.2.3 定理

$L_{fm}(\theta )=L_{cfm}(\theta )+C$$L_{fm}(\theta) = L_{cfm}(\theta) + C$ ，for $C<0$$C \lt 0$ independent of $\theta$$\theta$

$\theta$$\theta$ 的值不重要，我们不关心神经网络具体参数值什么，重要的是最小化器（Minimizer），我们记为 ${\theta }^{\ast }$$\theta^*$。

$\Rightarrow$$\Rightarrow$ ① 对于 $L_{cfm}$$L_{cfm}$ 的最小化器 ${\theta }^{\ast }$$\theta^*$：$u_t^{{\theta }^{\ast }}=u_t^{target}$$u_t^{\theta^*} = u_t^{target}$

$\Rightarrow$$\Rightarrow$ ② ${\mathrm{\nabla }}_{\theta }{L}_{cfm}(\theta )={\mathrm{\nabla }}_{\theta }{L}_{fm}(\theta )$$\nabla_\theta L_{cfm}(\theta) = \nabla_\theta L_{fm}(\theta)$

$\Rightarrow$$\Rightarrow$ SGD（随机梯度下降）是相同的。

3.2.4 算法（通用）

算法3：流匹配训练过程（通用）

输入：一个样本 $z\sim p_{data}$$z \sim p_{data}$ 数据集，神经网络 $u_t^{\theta }$$u_t^{\theta}$

对每个最小批次（mini-batch）的数据循环：

采样$z\sim p_{data}$$z \sim p_{data}$

采样$t\sim {\mathcal{Unif}}_{[0,1]}$$t \sim \mathcal{Unif}_{[0, 1]}$

采样 $x\sim p_t(\cdot \mid z)$$x \sim p_t(\cdot \mid z)$

计算损失 $L(\theta )={\Vert u_t^{\theta }(x)-u_t^{target}(x\mid z)\Vert }^2$$L (\theta)= \left \| u_t^\theta(x) - u_t^{target}(x \mid z)\right \|^2$

（选择一种优化器）梯度下降更新模型参数

循环结束

3.2.5 例子——高斯概率路径的$L_{cfm}$$L_{cfm}$

回顾：

$p_t(\cdot \mid z)=N({\alpha }_{t}z,{\beta }_t^2{I}_d)$$p_t(\cdot \mid z) = N(\alpha_t z, \beta_t^2 I_d)$，

$u_t^{target}(x|z)=(\dot{{\alpha }_t}-\frac{\dot{{\beta }_t}}{{\beta }_t}{\alpha }_t)z+\frac{\dot{{\beta }_t}}{{\beta }_t}x$$u_t^{target}(x|z) = (\dot{\alpha_t} - \frac{\dot{\beta_t}}{\beta_t}\alpha_t)z+ \frac{\dot{\beta_t}}{\beta_t}x$

继续推：

$\epsilon \sim \mathcal{N}(0,I_d)\Rightarrow {\alpha }_{t}z+{\beta }_t\epsilon \stackrel{\text{define}}{=}x\sim p_t(\cdot \mid z)$$\varepsilon\sim \mathcal{N}(0, I_d) \Rightarrow \alpha_tz + \beta_t\varepsilon \overset{\text{define}}{=} x \sim p_t(\cdot \mid z)$

$\Rightarrow$$\Rightarrow$

$L_{cfm}(\theta )=\mathbb{E}[{\Vert u_t^{\theta }(x)-(\dot{{\alpha }_t}-\frac{\dot{{\beta }_t}}{{\beta }_t}{\alpha }_t)z-\frac{\dot{{\beta }_t}}{{\beta }_t}x\Vert }^2]$$L_{cfm} (\theta)= \mathbb{E}[\left \| u_t^\theta(x) - (\dot{\alpha_t} - \frac{\dot{\beta_t}}{\beta_t}\alpha_t)z - \frac{\dot{\beta_t}}{\beta_t}x \right \|^2 ]$

$t\sim \mathcal{U}(0,1)$$t \sim \mathcal{U}(0, 1)$，$z\sim p_{data}$$z \sim p_{data}$，$x\sim \mathcal{N}({\alpha }_{t}z,{\beta }_t^2{I}_d)$$x\sim \mathcal{N}(\alpha_t z, \beta_t^2 I_d)$

代入 $x={\alpha }_{t}z+{\beta }_t\epsilon$$x = \alpha_tz + \beta_t\varepsilon$ 再做些代数：

$=\mathbb{E}[{\Vert u_t^{\theta }({\alpha }_{t}z+{\beta }_t\epsilon )-(\dot{{\alpha }_t}-\frac{\dot{{\beta }_t}}{{\beta }_t}{\alpha }_t)z-\frac{\dot{{\beta }_t}}{{\beta }_t}({\alpha }_{t}z+{\beta }_t\epsilon )\Vert }^2]$$= \mathbb{E}[\left \| u_t^\theta(\alpha_tz + \beta_t\varepsilon) - (\dot{\alpha_t} - \frac{\dot{\beta_t}}{\beta_t}\alpha_t)z - \frac{\dot{\beta_t}}{\beta_t}(\alpha_tz + \beta_t\varepsilon) \right \|^2]$

$=\mathbb{E}[{\Vert u_t^{\theta }({\alpha }_{t}z+{\beta }_t\epsilon )-(\dot{{\alpha }_t}z+\dot{{\beta }_t}\epsilon )\Vert }^2]$$= \mathbb{E}[\left \| u_t^\theta(\alpha_tz + \beta_t\varepsilon) - (\dot{\alpha_t}z + \dot{\beta_t}\varepsilon) \right \|^2 ]$

对于指定的条件路径的实例： ${\alpha }_t=t,{\beta }_t=1-t$$\alpha_t = t, \quad \beta_t = 1-t$，

有：$\dot{{\alpha }_t}=1,\dot{{\beta }_t}=-1$$\dot{\alpha_t} = 1, \dot{\beta_t} = -1$

$\therefore L_{cfm}(\theta )=\mathbb{E}[{\Vert u_t^{\theta }(tz+(1-t)\epsilon )-(z-\epsilon )\Vert }^2]$$\therefore L_{cfm} (\theta)= \mathbb{E}[\left \| u_t^\theta(tz + (1 - t)\varepsilon) - (z -\varepsilon) \right \|^2 ]$

非常简单吧，无法想象一个更简单的训练算法了。

3.2.6 算法（OT）

Flow Matching Training for CondOT path

算法4：流匹配训练过程（最优传输路径）

输入：一个样本 $z\sim p_{data}$$z \sim p_{data}$ 数据集，神经网络 $u_t^{\theta }$$u_t^{\theta}$

对每个最小批次（mini-batch）的数据循环：

采样$z\sim p_{data}$$z \sim p_{data}$

采样$t\sim {\mathcal{Unif}}_{[0,1]}$$t \sim \mathcal{Unif}_{[0, 1]}$

采样噪声 $\epsilon \sim \mathcal{N}(0,I_d)$$\varepsilon \sim \mathcal{N}(0, I_d)$

设 $x=tz+(1-t)\epsilon$$x = tz + (1-t)\varepsilon$

计算损失 $L(\theta )={\Vert u_t^{\theta }(x)-(z-\epsilon )\Vert }^2$$L (\theta)= \left \| u_t^\theta(x) - (z - \varepsilon)\right \|^2$

（选择一种优化器）梯度下降更新模型参数

循环结束

这可不是什么奇特的、太简单的算法，MovieGen（Meta）、Stable Diffusion 3（Stability AI）就是用的该算法。

3.2.7 证明

对定理：$L_{fm}(\theta )=L_{cfm}(\theta )+C$$L_{fm}(\theta) = L_{cfm}(\theta) + C$ 的证明：

${\Vert a-b\Vert }^2={\Vert a\Vert }^2-2a^{T}b+{\Vert b\Vert }^2$$\left\| a -b \right\|^2 = \left\| a \right\|^2 - 2a^Tb + \left\| b \right\|^2$, $(a,b\in {\mathbb{R}}^d)$$(a,b \in \mathbb{R}^d)$

$L_{fm}(\theta )=\mathbb{E}[{\Vert u_t^{\theta }(x)-u_t^{target}(x)\Vert }^2]=\mathbb{E}[{\Vert u_t^{\theta }(x)\Vert }^2-2u_t^{\theta }(x{)}^T{u}_t^{target}(x)+{\Vert u_t^{target}(x)\Vert }^2]$$L_{fm} (\theta)= \mathbb{E}[\left \| u_t^\theta(x) - u_t^{target}(x)\right \|^2 ] =\mathbb{E}[\left \| u_t^\theta(x) \right\|^2 -2u_t^\theta(x)^Tu_t^{target}(x) + \left \| u_t^{target}(x)\right \|^2 ]$

$L_{cfm}(\theta )=\mathbb{E}[{\Vert u_t^{\theta }(x)-u_t^{target}(x\mid z)\Vert }^2]=\mathbb{E}[{\Vert u_t^{\theta }(x)\Vert }^2-2u_t^{\theta }(x{)}^T{u}_t^{target}(x\mid z)+{\Vert u_t^{target}(x\mid z)\Vert }^2]$$L_{cfm} (\theta)= \mathbb{E}[\left \| u_t^\theta(x) - u_t^{target}(x \mid z)\right \|^2 ] =\mathbb{E}[\left \| u_t^\theta(x) \right\|^2 -2u_t^\theta(x)^Tu_t^{target}(x \mid z) + \left \| u_t^{target}(x \mid z)\right \|^2 ]$

然后 ${\Vert u_t^{target}(x)\Vert }^2$$\left \| u_t^{target}(x)\right \|^2$ 和 ${\Vert u_t^{target}(x\mid z)\Vert }^2$$\left \| u_t^{target}(x \mid z)\right \|^2$ 是和 $\theta$$\theta$ 无关的常数，可以消掉，${\Vert u_t^{\theta }(x)\Vert }^2$$\left \| u_t^\theta(x) \right\|^2$ 项相同，也可以消掉。

转变成了证明 $2u_t^{\theta }(x{)}^T{u}_t^{target}(x)$$2u_t^\theta(x)^Tu_t^{target}(x)$ 与 $2u_t^{\theta }(x{)}^T{u}_t^{target}(x\mid z)$$2u_t^\theta(x)^Tu_t^{target}(x\mid z)$ 的期望相同。 在课堂笔记中，对此进行了详细证明，这儿的点积是线性的，这里就略过了。

3.2.8 采样算法

我们如何从刚刚训练好的流模型中采样（生成对象）呢？

参加算法1 ODE数值模拟——欧拉法

3.3 得分匹配

回顾：

边际得分函数：

$\mathrm{\nabla }\log p_t(x)=\int \mathrm{\nabla }\log p_t(x|z)\frac{p_t(x|z)p_{data}(z)}{p_t(x)}dz$$\nabla \log p_t(x) = \int \nabla \log p_t(x|z) \frac{ p_t(x|z)p_{data}(z)}{p_t(x)}dz$，是后验概率加权积分的形式。

定理（SDE扩展的技巧）：

对于任意${\sigma }_t\ge 0$$\sigma_t \ge 0$，

$X_0\sim p_{init},d{X}_t=[u_t^{target}(X_t)+\frac{{\sigma }_t^2}{2}\mathrm{\nabla }\log p_t(x_t)]dt+{\sigma }_{t}d{W}_t$$X_0 \sim p_{init}, \quad dX_t = [u_t^{target}(X_t) + \frac{\sigma_t^2}{2}\textcolor{blue}{\nabla \log p_t(x_t)}]dt + \sigma_tdW_t$

$\Rightarrow X_t\sim p_t(0\le t\le 1)\Rightarrow X_1\sim p_{data}$$\Rightarrow X_t \sim p_t \quad (0 \le t \le 1) \Rightarrow X_1 \sim p_{data}$

3.3.1 得分匹配损失

得分匹配网络：

$s_t^{\theta }$$s_t^\theta$ ($\theta$$\theta$：parameters )

目标：

$s_t^{\theta }\approx \mathrm{\nabla }\log p_t$$s_t^\theta \approx \nabla \log p_t$

由于边际得分函数和边际向量场的（边缘化）公式非常类似，这儿的推导也是类似的，即将证明：${\mathcal{L}}_{sm}(\theta )={\mathcal{L}}_{dsm}(\theta )+C$$\mathcal{L}_{sm}(\theta) = \mathcal{L}_{dsm}(\theta) + C$

3.3.2 去噪得分匹配损失

$L_{sm}(\theta )={\mathbb{E}}_{t,z,x}[{\Vert s_t^{\theta }(x)-\mathrm{\nabla }\log p_t(x)\Vert }^2]$$L_{sm} (\theta)= \mathbb{E}_{t,z,x}[\left \|  s_t^\theta(x) - \nabla \log p_t(x) \right \|^2 ]$，

✓ Minimizer ✗ Tractable

$L_{dsm}(\theta )={\mathbb{E}}_{t,z,x}[{\Vert s_t^{\theta }(x)-\mathrm{\nabla }\log p_t(x\mid z)\Vert }^2]$$L_{dsm} (\theta)= \mathbb{E}_{t,z,x}[\left \| s_t^\theta(x) - \nabla \log p_t(x \mid z) \right \|^2 ]$，

? Minimizer ✓ Tractable

3.3.3 定理

${\mathcal{L}}_{sm}(\theta )={\mathcal{L}}_{dsm}(\theta )+C$$\mathcal{L}_{sm}(\theta) = \mathcal{L}_{dsm}(\theta) + C$，for $C<0$$C \lt 0$ independent of $\theta$$\theta$

$\Rightarrow$$\Rightarrow$ ① 对于 ${\mathcal{L}}_{dsm}$$\mathcal{L}_{dsm}$ 的最小化器 ${\theta }^{\ast }$$\theta^*$：$s_t^{{\theta }^{\ast }}=\mathrm{\nabla }\log p_t(x)$$s_t^{\theta^*} = \nabla \log p_t(x)$

$\Rightarrow$$\Rightarrow$ ② ${\mathrm{\nabla }}_{\theta }{\mathcal{L}}_{dsm}(\theta )={\mathrm{\nabla }}_{\theta }{L}_{sm}(\theta )$$\nabla_\theta \mathcal{L}_{dsm}(\theta) = \nabla_\theta L_{sm}(\theta)$

$\Rightarrow$$\Rightarrow$ SGD（随机梯度下降）是相同的。

3.3.4 算法（通用）

算法5：得分匹配训练过程（通用）

输入：一个样本 $z\sim p_{data}$$z \sim p_{data}$ 数据集，得分网络 $s_t^{\theta }$$s_t^{\theta}$

对每个最小批次（mini-batch）的数据循环：

采样$z\sim p_{data}$$z \sim p_{data}$

采样$t\sim {\mathcal{U}}_{[0,1]}$$t \sim \mathcal{U}_{[0, 1]}$

采样 $x\sim p_t(\cdot \mid z)$$x \sim p_t(\cdot \mid z)$

计算损失 $\mathcal{L}(\theta )={\Vert s_t^{\theta }(x)-\mathrm{\nabla }\log p_t(x\mid z)\Vert }^2$$\mathcal{L} (\theta)= \left \| s_t^\theta(x) - \nabla \log p_t(x \mid z)\right \|^2$