您的位置：首页 >关注 >

不靠 CFG、DMD、GAN、Drifting 和MeanFlow，如何训练一步生成模型？

2026-08-10 11:33:00 机器之心Pro

只做一次生成器前向，就能得到一张图，这是一步生成追求的效率。但想把采样步数降到 1，难题其实在训练端：怎样用足够稳定、简单的监督信号，让生成分布靠近真实分布？


(相关资料图)

现有路线各有结构性取舍：

  • 自回归、扩散和流匹配（Flow Matching）模型扩展性强，但前者需按顺序或尺度解码，后两者沿噪声 — 数据路径反复调用网络，都会增加推理时间。
  • 生成对抗网络（GAN）天然支持单次前向推理，但学习信号来自同步训练的判别器，极小极大优化较敏感。
  • 一致性模型（Consistency Models）和分布匹配蒸馏（Distribution Matching Distillation，DMD）可以压缩采样步数，但通常需要噪声 — 时间监督、一致性约束、教师或辅助估计器；DMD 同时依赖固定扩散教师与在线生成分布的 score（对数密度梯度），扩展到较大模型时还需要更多稳定化技巧。

这些路线各有优势，TBSM 并不是要简单否定它们。它把问题改写成了一句更直接的话：能不能训练一个小模型，直接告诉每个生成样本 “该往哪里走”？

  • 论文标题：THREE-BODY SCATTERING FOR GENERATIVE MODELING
  • 论文链接：https://arxiv.org/abs/2607.18198
  • 项目主页与代码：https://github.com/sp12138/TBSM

具体来说，TBSM 在线训练一个轻量级 Tracker，学习从当前生成分布到真实分布（Fake-to-Real）的转移场。对每个生成样本，Tracker 都会独立地给出一个移动方向，生成器只需回归样本沿该方向移动后的位置。

面对约 800M 的像素扩散 Transformer 模型 PixelDiT-XL/16，单个 Tracker 仅有 30M 参数不到，且只在训练时使用。ImageNet-256 上，TBSM 的潜空间和像素空间模型在推理时前向次数（number of function evaluations，NFE）为 1 时，分别达到 Fréchet Inception Distance（FID，越低越好）1.63 和 2.23。

视频链接：https://mp.weixin.qq.com/s/0MFfONowxYytCSTB7PQ9tA

TBSM 方法介绍视频：三样本散射事件产生 Fake-to-Real 局部方向，Tracker 学习这些方向的期望，引导生成器最终实现 NFE=1。

TBSM 一步生成样例

从左到右依次为 MNIST、Fashion-MNIST、CIFAR-10、像素空间 ImageNet-1K，以及 20B 文生图模型的生成结果。

Fake-to-Real 转移场

（即 Tracker 的学习目标）从哪里来？

算法 1：基础三体散射回归

算法 1：三样本事件现场给出移动方向，即瞬时三体散射方向，生成器回归冻结后的目标位置。

不使用 Tracker 时，这就是瞬时散射（Instant Scattering）。严格来说，冻结回归在当前参数处的期望梯度与能量距离梯度一致，但单个即时方向只是该条件期望的一个带噪估计。使用 Tracker 的跟踪散射（Tracked Scattering）则把瞬时散射方向作为在线标签，学习更稳定的方向场。

Tracker 如何学习稳定的 Fake-to-Real 转移场？

单个三样本事件很便宜，但方差较大；换一组真实源和生成源，同一投射体可能收到不同方向。Tracker 学习的正是这些随机观测在给定位置和条件下的平均方向，而不是像 GAN 判别器那样判断真假。

算法 2：完整 TBSM 训练循环

两个参数组成的方法设计图

TBSM 的 rho-lambda 设计图

像素空间图像 Transformer JiT（Just image Transformers）的 B 规模配置 JiT-B 短程实验。Drift 是 Drifting Models 的图中简称；图中 Inception Score（IS）越高越好。四个角点依次对应类 Drift、Tracked Scattering、扩散相关和类 GAN 的结构联系。扩散式训练还需要配对噪声输入、时间条件和相应目标。

算法 3：一个直观的视角去看 TBSM 能学到什么

算法 3：TBSM 的 “类 GAN” 位移类比

从算法 3 和传统风格迁移的视角看，也可以把 Fake 和 Real 理解成两种不同的 “风格”：Tracker 学习二者之间的转移，再指导生成器产生新的 Fake；新的 Fake 又定义下一轮转移场，形成迭代循环。这提供了一种直观、与 GAN-like learned field 相近的理解视角。

从理论落到高维图像

像素欧氏距离未必对应图像语义距离，因此 TBSM 将散射搬到冻结的图像表征空间：真实图像、生成投射体和生成源经过冻结编码器后计算方向与损失，梯度只沿投射体分支回到生成器，源特征保持停止梯度。多个表征空间分别形成损失后再聚合。

像素生成器的输出可直接进入表征网络；潜空间生成器则先通过冻结解码器还原图像。训练结束后，Tracker 和额外表征分支都可移除，只保留生成器及潜空间模型原有的解码器。

单步的 ImageNet 与文生图结果

下表中的 FID 越低越好，Inception Score（IS）越高越好。所有 ImageNet 指标均由 50,000 张生成图像计算，并使用训练集参考统计量；TBSM 的训练和推理均不使用 CFG（Classifier-Free Guidance）。扩散 Transformer（DiT）先生成潜空间表示再解码，PixelDiT 和 JiT 则直接输出图像。

将原本为多步采样训练的 DiT-XL/4 直接限制为 NFE=1 时，FID 为 398.20；这只反映不适配的单步运行方式，不代表正常多步采样的质量。经过 TBSM 训练后，同一架构达到 1.92。

文生图实验从预训练的 20B 参数 Qwen-Image 初始化，随后只用 TBSM 更新生成器和 Tracker。

TBSM 后训练的20B参数文生图模型上的一步生成样例

讨论与展望

结语

TBSM 的核心是从能量距离得到 “真实吸引 — 生成自交互” 的局部方向，再让 Tracker 学习其条件均值。训练完成后，辅助网络退出，生成器只需一次前向；它展示了把分布距离转化为高维生成器可直接学习的样本级运动监督的一条路径。

项目状态：目前已开放 MNIST 最小实现 和 ImageNet-1K 训练、评测代码；后续还计划发布 Qwen-Image-20B 文生图模型的权重和训练代码。

作者介绍：本文第一作者是西湖大学与浙江大学联合培养的三年级博士生孙鹏，研究兴趣是简单有效的生成式AI的训练与推理加速框架。未来希望能在世界模型和视频生成上继续找到合适的 合作者/Mentor 并做出更多有影响力的工作。

标签： 算法 梯度 样本 实验 生成器 tracker 


        

   
精彩推荐