Mixture-of-Agents

一个你已经懂的故事

从杂志社看懂 MoA 的核心逻辑

一家杂志社要做一期封面专题。有两种工作方式：

听起来像个比喻，但杂志社的困境恰好就是 Transformer 自回归生成的结构性困境。

承诺困境

模型够聪明——困住它的是那条单行道

LLM 逐 token 生成文本，像在岔路口不断做选择。第一个 token 选定后，后续生成就被约束在与之兼容的"轨道"上——论证角度、表述框架、信息取舍，全部被早期选择锁定。

这就是承诺困境（Commitment Problem）：每一步 token 选择都在收窄后续空间，直到整条回答被锁死在 response space 的某个局部最优里。

弱模型为什么能帮强模型

为什么 LLM 天生就能做"主编"？

LLM 为什么天然擅长这件事？因为 pre-training 语料里遍布综述论文、编辑修改、辩论综合——"读完多份材料再写一份总结"本就是模型见过无数遍的模式。MoA 通过 prompt 接口激活了这种潜在的综合能力，将「生成候选」与「整合判断」拆成两个独立步骤。

三个思维透镜

同一个机制，三种理解方式

透镜一：陪审团 vs. 投票箱

有效前提：(1) 视角足够多样，(2) foreperson 有整合能力。缺一就退化为普通投票。

透镜二：误差纠正码

每个 LLM 是一个带偏差的噪声信道。模型越多样 → 错误相关性越低 → aggregator 像解码器，从多份带噪观测中恢复更接近真值的信号。

这解释了"不同模型 > 同一模型多次采样"——同一信道的噪声高度相关。

透镜三：信息几何

把 response space 想象成一片地图。同一个模型采样多次，落点扎堆在同一片区域；换不同模型，落点才会散开到不同区域。Aggregator 在这些散开的落点之间做有语义理解的选择性插值——远超简单平均。

自然语言协议

优雅与代价共享同一个设计选择

MoA 做了一个不寻常的架构决定：用自然语言作为层间协议。这一刀切出三个优势：

但同一个设计选择，也带来了它的固有局限。自然语言是一个有损的、带宽受限的信道——这正是下一节的主题。

失效边界

同一个设计选择的固有代价

三个固有代价

四个需要警惕的陷阱

1. 评测幻觉：GPT-4 judge 偏好更长更结构化答案，MoA 天然产出此类输出——报告的提升中有多少是"投评委所好"？
2. 共识放大偏差：MoA 修正方差，但治不了系统性偏差——所有 proposer 有相同认知盲区时，aggregator 以更高置信度输出错误答案。
3. 因果链断裂：论文的 "collaborativeness" 缺少关键 ablation——是"参考让输出更好"，还是"只是输入更长了"？
4. 安全边界扩散：用户输入同时发送给多个模型/提供商，攻击面成倍扩大。

实践原则

便宜发散，昂贵收敛

if uncertainty_low:
    single strong model → answer
else:
    small models → drafts
      → strong aggregator
        → (tests / rules)
          → final

全景

推理时算力的两条路线

MoA 属于 inference-time compute scaling 的关键分支——用推理阶段的算力换取更好的输出。这个方向有两条根本路线：

两条路线长期很可能走向 converge。