跳转至

流匹配

前置与定位

需要向量、基础概率、时间相关函数、ODE 数值积分与 PyTorch。先做二维分布搬运实验,再看大规模图像或机器人应用。

直觉:学习点怎样随时间移动

先选一条从简单分布走向数据分布的概率路径,再学习时间相关向量场。采样时,从简单分布取点,通过 ODE 求解器沿学到的场演化。

一个常见的教学设定:取噪声端点 \(x_0\) 和数据端点 \(x_1\),构造 \(x_t=(1-t)x_0+t x_1\),以 \(x_1-x_0\) 为条件速度回归目标。这里 \(t=0\) 表示噪声端,\(t=1\) 表示数据端;路径、端点耦合和时间约定必须明确。

这只是一种条件路径设定,不意味着采样时知道目标数据点,也不保证学到的每条生成轨迹都是直线。训练可以回归可构造目标;生成时仍需要数值积分。

与相近概念的关系

概念 区别与联系
扩散 / score matching 常用噪声层级和 score/去噪目标;在相应假设下可以建立与流的联系
Flow matching 常见做法拟合概率路径对应的速度场;路径选择会影响训练与采样
Normalizing flow 一类通过可逆变换建模分布的方法;不是 flow matching 训练目标的同义词
Rectified flow 与特定路径和速度场学习有关的方法;不要把它当作所有 flow matching 的统称

实际速度和质量取决于模型、数据、求解器与步数,不能从方法名称推断“必然更快”或“已经替代扩散”。

核心机制直觉 · 训练无模拟 vs 采样数值解

  • 训练阶段(Simulation-free 回归):
    • 采样噪声样本 \(x_0 \sim \mathcal{N}(0, I)\) 与真实数据样本 \(x_1 \sim q(x)\)。
    • 沿选定概率路径线性插值:\(x_t = (1-t)x_0 + t x_1\)(直线条件路径)。
    • 真实条件速度目标为常数:\(u_t(x|x_1, x_0) = \frac{d x_t}{d t} = x_1 - x_0\)。
    • 神经网络只需优化简单均方误差:\(\mathcal{L}_{\text{CFM}}(\theta) = \mathbb{E}_{t, x_0, x_1} \left[ \| v_\theta(x_t, t) - (x_1 - x_0) \|^2 \right]\),训练全程无需运行昂贵的 ODE 数值积分。
  • 采样阶段(数值 ODE 演化):
    • 从先验分布取样初始点 \(x_0 \sim \mathcal{N}(0, I)\)。
    • 求解常微分方程 \(\frac{d x_t}{d t} = v_\theta(x_t, t)\),使用 Euler、Midpoint 或 RK4 从 \(t=0\) 积分到 \(t=1\) 得到生成样本 \(x_1\)。
  • 与扩散模型的对比:扩散模型源自朗之万动力学与加噪逆向过程,样本轨迹常有曲折与随机布朗抖动;流匹配通过显式构造平直的概率路径(如最优传输路径 Optimal Transport),允许用较少积分步数(如 10~20 步)高质量生成。

同一套主课与 G3

使用 MIT 6.S184(2026) 第 1–2 讲及 Lab 2 的 flow matching 部分;与 G2 使用同一套代码和符号。

  1. 先检查噪声、数据、时间采样与条件路径的定义。
  2. 画条件路径,理解训练目标如何构造,再训练原始二维例子。
  3. 在多个时刻画向量场;从固定初始噪声画生成轨迹。
  4. 改求解步数,记录样本分布、轨迹与采样时间。
  5. 比较 G2/G3 时保持数据、模型容量和评估条件尽量一致,分别报告训练成本与采样成本。

验收:能解释训练阶段需要哪些数据、采样阶段实际知道什么;提供一个步数或路径设置实验与失败分析。比较中存在不同设置时,明确其限制。

认知自测 · 关键思考

  • 为什么条件速度场 \(u_t(x_t|x_1, x_0) = x_1 - x_0\) 在训练时只依赖两端端点,却能在边际化(Marginalization)后引导无条件的先验噪声流动到复杂数据流形?
  • 既然训练时构造的是直线条件路径,为什么神经网络在推理采样时学到的边际速度场 \(v_\theta(x, t)\) 生成轨迹并不保证是严格的直线?
  • 在具身智能动作生成(Action Flow / Diffusion Policy)中,流匹配相比直接回归(MSE)最大的优势是什么?(多峰动作分布的表达能力)

与你的方向如何连接

向量场和状态随时间演化可以衔接你的系统与信号背景。机器人中可以生成条件动作序列,但生成的轨迹仍受本体、控制频率和反馈限制,见学习型策略。先完成低维实验,再决定是否深入 VLA。

相关专题

  • MIT 6.S184(2026)


    进入

  • Lab 2


    MIT 6.S184 的 Lab 代码

    进入

  • 学习型策略


    机器人上的模仿、强化与 VLA

    进入

  • 专题地图


    生成方法全貌与 MIT 主课路线

    进入

  • 扩散模型


    逐步去噪生成与 score

    进入

  • 流形与潜空间


    高维数据的低维结构与潜空间

    进入