Kimi | 改进的扩散模型代码

这个算法中，哪个是预测的噪声，哪个是实际噪声，训练结果是不是得到一个分数模型，然后我们根据这个分数模型来指导采样过程

在Algorithm 1（训练）中，预测的噪声和实际噪声的定义如下：

实际噪声（Actual Noise）：这是在训练过程中添加到数据点 $x_{0}$ 的噪声，表示为 $ϵ$ 。它是从标准正态分布 $N (0, I)$ 中采样得到的，即 $ϵ \sim N (0, I)$ 。
预测噪声（Predicted Noise）：这是分数网络 $Z_{θ}$ 尝试预测的噪声。它是基于输入数据点 $x_{0}$ 和时间步 $t$ 计算得到的，公式为 $Z_{θ} (\overset{α}{ˉ}_{t} x_{0} + 1 - \overset{α}{ˉ}_{t} ϵ, t)$ 。这里， $\overset{α}{ˉ}_{t}$ 是时间 $t$ 的噪声水平，它是一个预定的噪声方差序列。
训练结果：训练的结果是得到一个分数模型，即分数网络 $Z_{θ}$ 。这个网络被训练来最小化预测噪声和实际噪声之间的差异。通过这种方式，分数网络学习了数据分布的梯度信息，这在采样过程中用来指导如何从噪声中恢复出清晰的数据。
指导采样过程：一旦分数网络被训练好，它就可以用来指导采样过程（如Algorithm 2中描述的）。在采样过程中，分数网络的输出用于逆向地逐步去除噪声，从而从噪声数据中重建出清晰的图像。
损失函数：训练过程中使用的损失函数是预测噪声和实际噪声之间的均方误差（MSE），公式为：
$\nabla_{θ} ϵ - Z_{θ} (\overset{α}{ˉ}_{t} x_{0} + 1 - \overset{α}{ˉ}_{t} ϵ, t)^{2}$
这个损失函数度量了分数网络预测的准确性，并通过梯度下降步骤来优化网络参数 $θ$ 。

总结来说，Algorithm 1 的训练过程是通过最小化预测噪声和实际噪声之间的差异来训练分数网络，训练完成后的分数网络用于指导采样过程，从而实现从噪声中重建出清晰的数据。这个过程是生成式扩散模型的核心，它使得模型能够学习数据的复杂分布，并能够生成新的数据样本。