查看摘要
Full-duplex spoken dialogue models listen and speak at the same time, enabling voice agents to have natural, low-latency interactions that turn-based systems cannot offer. However, they are commonly evaluated against single-sided interlocutors: pre-recorded audio that cannot react, or an automated examiner that reacts in real time but only administers a fixed sequence of tests and is never graded. These single-sided frameworks evaluate only half of a two-body problem, where turn-taking, overlap, and interruption are joint products of two coupled speakers. We propose DyaFDB, a framework that evaluates full-duplex models in a dyadic setup: two models converse directly under assigned roles with cooperative or conflicting goals, and both sides are scored offline with an external judge. DyaFDB probes how the two models behave toward each other, such as how they take turns or carry an assigned role under different interests. We instantiate four tasks as 140 scenarios and record 7,560 conversations, covering six self- and cross-play pairings. Throughout the experiments, we observe that how a model behaves continually reshapes its partner. We thus demonstrate that each model must be both the examiner and examinee of the other, and no single fixed interlocutor can play both parts. We will release the scenarios, role prompts, and recording protocols between two full-duplex models, without any pre-recorded audio.
📖 深度解读
论文解读:Conversation Is a Two-Body Problem(对话是一个双体问题)
说明:提供的论文文本在附录 D 之后被截断(附录 E–H 及部分表格内容缺失),因此下文对涉及这些缺失部分的内容会如实标注。
1. 一句话总结
这篇论文指出:现有全双工语音对话模型的评测都只给"一方"打分(要么对着录音说话,要么被一个从不被打分的考官测试),但对话中的轮流、打断、抢话其实是两个说话者共同产生的"双体问题";为此作者提出 DyaFDB,让两个全双工模型直接互相对话、各自扮演角色(合作或对抗),然后离线给双方都打分。
2. 研究背景与动机
核心问题:全双工语音模型(能边听边说、支持重叠、打断、自然接话)目前缺乏合理的评测方式。现有基准都是"单边"的:
- 预录音频(FDB-v1/v1.5/v3):模型对着一段不会反应的录音说话,录音永远说同样的话。
- 自动考官 / 用户模拟器(FDB-v2、τ-Voice、MTR-DuplexBench 等):考官会实时反应,但它只是"执行固定测试流程的仪器",自己从不被打分。
为什么重要:论文引用会话分析经典理论(Sacks 1974;Levinson & Torreira 2015)指出,轮流说话、重叠、打断是两个耦合参与者共同产生的,不是单方面的属性。只测一边,等于只解决了"双体问题"的一半。而且全双工信道还带有文本对话没有的影响机制——打断、用沉默施压、把延迟当资源——模型每几十毫秒就必须输出,没有停下来思考的余地。
现有方法的不足:
1. 录音和 teacher-forcing 上下文无法对模型的话做出反应,无论模型说什么都给出相同内容。
2. 考官虽然会反应,但自己不被评分,且被约束在固定流程里。
3. 已有工作(Lin et al. 2026b)甚至发现:考官节奏的微小变化就会大幅影响分数——说明"伙伴"这一变量被当成了噪声去约束,而不是当成被测量的对象。
类比:这就像评价一个棋手,却只让他跟"背谱机器人"下棋,或者跟一个"只出题、不下棋"的裁判下棋。真正衡量棋力需要让两个棋手真正对弈,并且两边都算分。论文借鉴了博弈论中的 league/population-based evaluation、多智能体中的 cross-play、文本对话中的 Chatbot Arena 等思路。
3. 核心方法
DyaFDB 框架:把两个全双工模型通过一个"模型间桥"(model-to-model bridge)直接对接,让 A 的输出流成为 B 的输入流,反之亦然。
关键创新点:
-
锁步时钟上的模型间桥:两个模型在共享的逻辑时钟上推进,每个 tick 处理一个 80ms、24kHz 的音频帧;在第 t 个 tick,每个模型听到的是伙伴在 t−1 帧发出的音频。因为每个模型的输入在 t 时刻已经确定,两次 step 调用可以并发执行。这样对话完全不受网络抖动影响,可快于或慢于实时运行。PersonaPlex 和 Raon 原生就在这个时钟上逐帧生成(都用 Mimi 编解码器),桥接很直接;MiniCPM-o 每次消费约 1 秒音频、每块决策一次是否说话,因此被包在一个适配器里(缓冲 80ms 帧成 16kHz 块、异步 worker 线程、输入背压),代价是 MiniCPM-o 配对最多慢约 1.3 倍。
-
双方都被评分,且伙伴本身是被测模型:没有监督考官在环,两个模型在共享情境下各持私有角色提示,对话结束后从录音离线打分。伙伴的模型身份和角色都作为设计因子被交叉变化,从而把"模型自身行为"和"特定伙伴诱发出来的行为"分离开——这是单边评测做不到的。
-
四类任务、三个层次:任务(T1–T4)→ 原型(设定伙伴立场或博弈)→ 场景(具体情境)。分为:
- Coordination(合作):T1 角色保持(对方"投入"或"跑题")、T2 信息汇聚(隐藏剖面范式:五选一,双方各持两条排除理由,只有合并信息才能解出)。
- Conflict(对抗):T3 争夺信道(T3-1 竞争伙伴 / T3-2 回避伙伴)、T4 争夺目标(T4-1 偏好说服 / T4-2 攻击套取秘密)。
- 每个原型 20 个场景,共 140 个场景。
-
离线评分 + 反平衡设计:机械指标(信道占用、字符串匹配泄露)加 LLM 裁判(Opus-5),裁判只看匿名化转写("Speaker A"永远是先说话的一方)。角色分配和说话顺序在每个配对单元内交叉,三次重复,共 7,560 段一分钟对话(126 小时),覆盖 6 种自博弈/交叉博弈配对。由于先说话者被反平衡,裁判的位置偏差在多次运行中相互抵消。
直觉解释:把评测从"考试"变成"对局"。以前是老师出题考学生,老师不被打分;现在是两个学生按剧本(角色)自由对话,事后由第三方裁判看录像给两个人都打分,并且还会换不同的搭档来测,看分数到底是"你的本事"还是"被对手带出来的"。
4. 实验与结果
数据集/基准:自建的 140 个场景、7,560 段对话(126 小时)。被测模型为三个开源全双工模型:PersonaPlex(PP)、MiniCPM-o 4.5(MCPM)、Raon-SpeechChat(Raon)。对比基线是"单边评测范式"本身(论文通过方差分解论证其不足),而非某个具体分数。
关键结果:
(1)轮流行为是"配对属性"(图 2 左)——通过方差分解 η² 判断每个指标由谁决定:
- TORpause(在对方句中停顿处插话)主要由模型自己决定(η²_model = 0.74)——"爱不爱抢话"是模型的固有倾向。
- TORend(在对方话轮结束时接话)主要由伙伴决定(η²_partner = 0.65)——能不能接上话取决于对方怎么把话轮交出来;所有模型在 MiniCPM-o 之后接话率都高得多。
- Barge-in 成功率类似 TORend,主要靠对方让位。
- Backchannel("嗯哼"这类反馈)交互项最大(η²_model×partner = 0.32):PersonaPlex 对 Raon 时反馈频率高达 4.6,远超其他配对;MiniCPM-o 在自博弈中几乎不反馈(0.1)——这些是只有特定组合才出现的行为。
(2)任务分数也大多是"配对属性"(图 2 右):只有 T1 角色保持主要由模型自己决定(η²_model = 0.78 和 0.96);其余所有分数(无论对称还是不对称、合作还是对抗)都是配对的属性。
(3)角色保持(T1,表 3):排序 Raon > MiniCPM-o > PersonaPlex。Raon 最稳定;PersonaPlex 只有约一半运行保持角色。有趣的是,面对"跑题伙伴"三个模型走向不同:PersonaPlex 从 0.51 掉到 0.29,MiniCPM-o 基本不变(0.62→0.59),Raon 反而上升(0.68→0.83)——一个总聊别的事的伙伴反而让 Raon 更坚守自己的角色。进入角色的时间(图 3):Raon 9–11 秒,MiniCPM-o 13–21 秒,PersonaPlex 在交叉博弈中要 25–27 秒,自博弈中超过一半的运行根本没进入角色(它把时间花在寒暄上)。
(4)信息汇聚(T2,表 3):分数普遍很低。含 Raon 的队伍解出 23–35%,不含 Raon 的队伍低于 20%(接近随机选一个的水平)。失败主要发生在"披露"环节:每个模型只披露 39% 的理由,约一半配对在一分钟内根本没达成决定。附录 E(文本被截断,仅见摘要)指出:作为 MiniCPM-o 和 Raon 文本骨干的 Qwen3-8B 在同样任务上披露 74%、解出 55%,说明性能下降来自口语对话的动态,而非推理能力。
(5)争夺信道(T3,表 4):Raon 在两种原型中都抢到信道(对 MiniCPM-o 0.75,对 PersonaPlex 0.62),而 PersonaPlex 和 MiniCPM-o 几乎平分。关键发现:每个模型的占用率几乎不随对方是"竞争"还是"故意让位"而改变——一个刻意安静的伙伴并不会提高抢话方的占用率,说明"说多少话"更像固定倾向而非对伙伴的反应。作为回避者,MiniCPM-o 最好(0.62,即很好地让出话轮),Raon 最差(0.39,即使角色要求安静也照说,每段对话 17.8 个话轮,超过抢话方平均的 12.5)。
(6)争夺目标(T4,表 5):偏好说服分数整体低,主因是配对很少达成决定(只有 38% 的运行落到某个选项上,尽管是二选一);在达成决定的运行中,超过 80% 是 Raon 赢。攻击任务中,Raon 是最弱的防守者(平均泄露 48%,中位 12.2 秒就泄露),PersonaPlex 是最强攻击者(平均套取 46%,对 Raon 尤其有效,但对 MiniCPM-o 收效甚微),MiniCPM-o 防守最好(平均 29%,且是唯一防守表现几乎不随对手变化的模型)。同一个防守者面对不同攻击者,泄露率在 39%–63% 之间波动——固定对手的基准只会报告这个区间里的一个任意点。
(7)跨任务分析(第 5 节):
- 成功取决于"是否行动"(图 4):低分有两种原因——行动了但失败,或根本没行动。T2 中 MiniCPM-o 是最准确的决策者(p(score|decided)=0.40),但最不愿做决定(p(decided)=0.41);PersonaPlex 在两个对抗任务中问得最少(T3-2 为 0.16,T4-2 为 0.55),但一旦开口成功率最高(0.54 和 0.56);Raon 相反,行动最多但单次成功率低。
- 时间窗口(图 5):30→60 秒所有指标上升;超过 60 秒后整体饱和。T1 中只有 PersonaPlex 随窗口变长而改善(进入率 0.46→0.58,保持分 0.46→0.56);Raon 反而下降(0.71→0.67),因为时间多了更容易跑题。T2 的披露率上升最多,但分数没跟上——第二分钟多说的事实没变成答案。模型排序在不同窗口下基本不变,说明更长对话只是鼓励更多尝试,很少改变尝试方式。
- 博弈平衡(图 6):回避者和防守者被游戏结构本身偏袒;两个涉及金钱的博弈(T4-3 索赔、T4-4 议价)则偏向收钱的一方。模型间的差距可以比角色优势更大——例如 Raon 作为索赔者赢 77%,而 PersonaPlex 只赢 32%。
消融/验证:
- 裁判一致性(表 8):Opus-5 与 Sonnet-5 在 36 个评分单元上平均差 0.04,模型排序完全一致。与 5 位人类专家在 140 个 T1 座位上的对比:Opus-5 与人类多数一致率 89.3%,Sonnet-5 为 85.0%,达到或超过人类专家彼此一致的水平(77–88%)。
- Raon 音频错乱:约 5% 的 Raon 会话中,其发出的音频与自身文本流不一致(文本连贯,但伙伴听到的是流利的胡言乱语),作者用 Whisper 做独立 ASR 监控,标记并重录这些会话。
- 附录 E–H(文本截断)涉及文本骨干对比、逐模型画像、新模型接入方式等,无法完整解读。
5. 优势与局限
优势:
1. 范式层面的推进:首次把"伙伴"从固定常量变成被测变量,让双方都被评分,并用方差分解定量证明"轮流行为和任务分数大多是配对属性"——这直接说明单边评测会给出误导性结论。
2. 工程实现扎实:锁步时钟桥接消除了网络抖动,支持不同粒度的模型(80ms 帧 vs 1 秒块),反平衡设计(角色 × 说话顺序 × 三次重复)和离线匿名评分(位置偏差抵消)都很严谨;裁判经过与 Sonnet-5 和人类专家的双重验证。
3. 任务设计有理论根基:隐藏剖面范式(Stasser & Titus 1985)、Map Task(Anderson 1991)等来自行为研究的经典设计被引入语音评测,任务覆盖合作与对抗、对称与非对称,能揭示模型的行为谱系(如"最准确的决策者最少做决定")。
局限:
1. 规模与模型覆盖有限:只测了三个开源模型、6 种配对,且都是英文场景;结论能否推广到更多模型、更多语言、更多文化语境尚不清楚。
2. 依赖 LLM 裁判:尽管验证了一致性,但裁判读的是文本流而非音频,而附录 A 指出 Raon 存在音频与文本不一致的情况——论文承认在少数这类运行上裁判和人类评的是不同内容(不过未提高与 Opus-5 的分歧率)。此外裁判对"partly"的标注比人类少 40%。
3. 任务本身有天花板效应:多个任务分数很低(T2 多数低于随机水平、T4-1 只有 38% 达成决定),部分反映了任务难度或一分钟窗口的限制,而非纯粹的模型能力差异;论文用 30/60/120 秒窗口做了部分缓解,但 120 秒后分数饱和。
4. "锚定施压方"的评分便利:作者在伦理声明中承认,把分数锚定在施压方(抢话者、攻击者、索赔者)只是测量便利,不代表认可这种行为——这意味着某些"高分"并不等于"更好的对话伙伴"。
6. 关键结论与启发
最重要的 takeaway:
全双工对话模型的性能不能归因于模型本身,而是伙伴行为、任务结构和模型自身参与倾向的复合效应。同一个防守者面对不同攻击者泄露率在 39%–63% 之间;同一个模型在合作任务中表现优异(Raon),在对抗性"保持"角色中却最差。因此,每个模型必须既是考官又是考生,没有任何单一固定对话者能同时扮演这两个角色。
对后续研究的启发:
1. 评测范式转移:从"固定对手"走向"种群级评测"(population-level evaluation)——论文明确表示,随着更多全双工模型出现,同一设计可扩展为种群评测,新模型可以与已报告的模型配对打分(类似 Chatbot Arena 的共享参照系)。
2. 区分"行动"与"行动后的成功":低分可能只是"没行动"。未来评测和训练应分别关注 p(act) 和 p(success|act),因为二者排序不同(最准确的决策者最少决策)。
3. 安全评测的启示:在把私密信息托付给语音代理之前,应在多样化对手下测试其行为,而不是单一脚本化探针——因为泄露率强烈依赖对手。
4. 口语 vs 文本的鸿沟:文本骨干(Qwen3-8B)在同样任务上表现远好于其语音版本,说明性能损失来自口语对话的动态本身(披露、轮流、时间压力),这是值得深挖的方向。
5. 游戏结构本身的影响:某些角色被游戏结构天然偏袒(回避者、防守者、收钱方),模型间差距甚至大于角色优势——设计评测时必须把"游戏平衡"作为独立因素考虑。