扩散模型写错位置，采样噪声高29倍

苹果机器学习团队最新论文指出，离散扩散模型在每步写入多个标记位置时，若这些位置不满足条件独立，生成分布就会偏离训练分布。在合成任务 ScanAndAdd 上，置信度排名写入的每组未确定位置均相关，生成分布总变差达采样噪声基底的 29 倍。

论文作者 Russ Webb、Amitis Shidani、Alice Bizeul、Dan Busbridge 给出一个反直觉结论。离散扩散每步会写入多个标记位置，从每个位置分布中抽取标记，再选位置写入。

问题出在：像素、音素、单词这些领域，标记之间天然存在依赖关系。只有当写入位置在给定已固定标记后条件独立，这一步才匹配训练分布。否则，每个位置分布的乘积无法匹配依赖组，位置分布也无法判断一组是否依赖。

两个联合分布可以有相同的每个位置边际，但出现的值组合不同。在 ScanAndAdd 任务上，团队验证置信度排名写入的每组两个及以上未确定位置都是相关的。生成分布总变差是采样噪声基底的 29 倍，而每个样本指标为 1.0。

这项结论直接影响所有用离散扩散做生成的研究者。29 倍是整组未确定位置的联合偏差，1.0 是单样本层面的指标。两个数字放在一起看：单点看着正常，成组就崩了。

代价是，现有按位置置信度排序写入的采样器，在依赖强的数据上会系统性失真。不适用场景也很明确：如果标记之间确实独立，比如某些人工构造的离散任务，问题不成立。

目前尚不清楚，这个偏差在真实图像或文本生成中会被放大还是被其他机制掩盖。

论文没有给出修复方案，只给出了诊断。一个可能的出路是放弃逐位置置信度排序，改为对依赖组整体建模。但联合分布通常没有封闭形式，ScanAndAdd 是少数例外。

真正的问题是：现在跑在生产环境里的离散扩散采样器，有多少正在悄悄偏离训练分布，而没人测过。

要点

• 离散扩散每步写多个位置，条件独立才匹配训练分布
• 置信度排名写入的未确定位置成组相关，偏差 29 倍
• 单样本指标 1.0，掩盖了成组联合分布的失真
• 真实图像文本生成中偏差是否被掩盖，尚不清楚

术语

• 离散扩散 —— 在离散状态空间（如词、像素值）上逐步去噪生成序列的模型
• 条件独立 —— 给定已固定标记后，两个位置的概率互不影响
• 总变差 —— 衡量两个概率分布差异的指标，0 表示完全相同