查看摘要
A unified audio model must recognize and understand linguistic, paralinguistic, and environmental information while supporting speech synthesis and editing. A key challenge is representation: understanding favors compact features suited to long-context modeling, whereas speech generation requires reconstructible features that preserve fine-grained acoustic detail. We introduce FireRedAudio, a general-purpose audio language model with a shared 9B-parameter LLM. To the best of our knowledge, it is the first publicly disclosed unified audio-language model to provide separate continuous input representations for understanding and generation within a single trainable autoregressive LLM. Audio to be recognized or analyzed is processed by a dedicated Audio Encoder, while speech inputs for generation use a RedAE-based pathway. The LLM directly generates text or conditions a flow-matching DiT to produce continuous acoustic latents. Through progressive multitask training, FireRedAudio supports ASR and audio understanding, with the latter extending to recordings of up to one hour, as well as zero-shot TTS, Instruct TTS, and semantic and acoustic speech editing. Its structured organization of long-form audio achieves second-level timestamp accuracy. Across comprehensive evaluations, FireRedAudio achieves competitive or leading performance in audio understanding and multilingual ASR, strong content accuracy and speaker preservation in zero-shot TTS, leading instruction following in Instruct TTS, and substantial improvements over Ming-UniAudio-Edit in both semantic and acoustic speech editing. These results demonstrate the viability of decoupled continuous input representations for unifying audio understanding and continuous-latent speech generation in a model of moderate scale. Our code is available at this https URL .
📖 深度解读
FireRedAudio 论文解读报告
1. 一句话总结
FireRedAudio 是一个基于 90 亿参数共享大语言模型的通用音频模型,通过为"理解"和"生成"分别设计独立的连续音频输入表示路径,在同一个模型中同时实现了语音识别、音频理解、零样本语音合成、指令语音合成和语音编辑等多种能力,并支持长达一小时的音频理解。
2. 研究背景与动机
核心问题
如何在一个统一的音频大语言模型中同时做好"音频理解"(识别和分析音频内容)和"语音生成"(合成和编辑语音),而不让这两类任务互相拖累?
为什么重要
通用音频模型有望像 ChatGPT 处理文本一样处理音频——既能听懂声音,也能开口说话。但理解与生成对音频表示的要求截然不同,这种矛盾是领域内的核心难题。
现有方法的不足
| 方法类别 |
代表工作 |
不足 |
| 离散 token 统一表示 |
LongCat-Next、UALM、Audex |
量化带来信息损失;多码本/高 token 率增加建模开销 |
| 连续表示统一输入 |
Ming-UniAudio、Audio-Omni |
共享同一表示路径,理解与生成仍存在任务冲突(消融实验显示共享语义模块联合训练会降低整体性能) |
| 混合方案 |
UniAudio 2.0、DualSpeechLM |
已证明"理解用语义表示、生成用声学表示"效果更好,但仍依赖量化 token 作为生成目标 |
关键洞察:已有工作(UniAudio 2.0、DualSpeechLM)的消融实验表明,理解与生成使用不同类型的表示比使用同一类型效果更好。但此前没有工作在同一模型内为理解与生成提供分离的连续输入表示。
3. 核心方法
方法概述
FireRedAudio 采用"一个共享 LLM + 两条独立输入路径 + 一个连续潜变量生成器"的架构:
- 理解路径:音频 → Whisper 编码器 → 适配器 → 12.5 Hz 连续感知表示 → 共享 LLM → 输出文本
- 生成路径:音频 → RedAE 编码器 → Patch 编码器 → 6.25 Hz 连续声学表示 → 共享 LLM → 条件化 DiT → 生成 RedAE 潜变量 → 解码为波形
关键创新点
1. 解耦的连续输入表示(核心创新)
- 理解用 Audio Encoder(初始化自 Whisper-large-v3),生成用 RedAE(自研确定性音频自编码器)
- 两条路径的表示不融合,各自插入 LLM 对应位置
- 类比:就像一个人有"耳朵"(听)和"声带"(说),两者分工明确但共享同一个大脑(LLM)
2. RedAE:带语义蒸馏的连续音频自编码器
- 确定性自编码器(无 KL 正则),直接映射波形到连续潜变量
- 关键技巧:用冻结的教师 Audio Encoder 对 RedAE 潜变量施加语义蒸馏损失,使潜空间既保留波形可重建性又具备高层语义结构
- 类比:让"声带"在训练时也参考"耳朵"的理解方式,这样"大脑"更容易指挥它
3. 流匹配 DiT 连续潜变量生成
- 避免量化 token 的信息损失,直接在连续潜空间生成
- LLM 负责序列级上下文建模,DiT 负责细粒度声学生成(分工明确)
- 支持 classifier-free guidance(训练时随机丢弃 LLM 条件)
4. 五阶段渐进式训练策略
- 阶段一:Adapter 对齐(仅训练适配器,冻结其他)
- 阶段二:Audio Encoder 适应(解冻音频编码器)
- 阶段三:统一中期训练(首次联合所有模块,引入生成目标)
- 阶段四:多任务后训练(加入 Instruct TTS 和语音编辑,引入 CoT 监督)
- 阶段五:长上下文扩展(从 8k 扩展到 200k token,支持 1 小时音频)
5. 两级分层数据采样
- 任务族级平滑(α=0.5)+ 数据集级平滑(α=0.7),防止大数据集主导训练
4. 实验与结果
数据集与基准
| 任务 |
基准 |
| 音频理解 |
MMAU(10,000 题)、MMSU(5,000 题) |
| 多语言 ASR |
AISHELL-1/2、WenetSpeech、LibriSpeech、FLEURS-102、KeSpeech、Opencpop |
| 零样本 TTS |
Seed-TTS-Eval(1,000 英文 + 2,000 中文) |
| 指令 TTS |
InstructTTSEval(6,000 例,中英各半) |
| 语音编辑 |
Ming-Freeform-Audio-Edit |
| 长音频时间定位 |
自建 50 段 5-50 分钟录音 |
主要结果
音频理解(表 3):FireRedAudio 在 MMAU test-mini(82.0%)、MMAU test(80.9%)、MMSU(83.3%)上全部第一,超过 Gemini 3.1 Pro 和 Qwen3.5-Omni-Plus。
多语言 ASR(表 4):在 LibriSpeech test-clean(0.67%)、FLEURS 英文(2.53%)、FLEURS-102 平均(14.94%)上取得最优;在 FLEURS-102 上比 Qwen3.5-Omni-Plus 低 8.72 个百分点。
零样本 TTS(表 5):平均内容错误率 1.20%(所有系统最低),平均 SIM 0.71(统一模型中最高)。但说话人相似度仍低于最强专用 TTS 系统(如 Seed-TTS 的 0.78)。
指令 TTS(表 6):在全部 6 个中英文设置上全部第一,EN RP 上领先第二名 6.1 个百分点。
语音编辑(表 7-8):在语义编辑和声学编辑上全面超越 Ming-UniAudio-Edit,唯一例外是中文开放删除的 SIM 仅差 0.01。
长音频时间定位(表 9):strict@0 整体通过率 73.6%(领先 Qwen3.5-Omni-Plus 17 个百分点),content@0.5 达 96.1%,content@1.0 达 96.7%。
消融实验揭示的规律
论文未提供传统意义上的消融实验(如去掉某模块),但通过训练策略设计和对比已有工作(UniAudio 2.0、DualSpeechLM、Ming-UniAudio 的消融)间接验证了:
- 解耦表示优于共享表示(Ming-UniAudio 的消融显示共享语义模块联合训练会降低性能)
- 语义蒸馏对 RedAE 潜空间的结构化至关重要
- 渐进式训练比端到端联合训练更稳定
5. 优势与局限
主要优势
- 真正的"一专多能":在理解、识别、合成、编辑四大类任务上同时达到领先水平,且模型规模仅 9B(远小于 Gemini 3.1 Pro 等闭源模型)
- 连续表示避免量化损失:生成质量高,尤其在语音编辑中表现突出(编辑区域准确率大幅提升)
- 长音频理解能力强:支持 1 小时音频,时间定位精度达到秒级,这是许多竞品不具备的能力
局限性
- 说话人相似度仍有差距:零样本 TTS 的 SIM(0.71)低于最强专用 TTS 系统(0.75-0.78),说明统一模型在音色保真上仍有妥协
- 训练成本极高:五阶段训练总计约 2662B tokens,对算力要求巨大,可复现性存疑
- 评估依赖第三方模型:Instruct TTS 评估使用 Gemini 2.5 Pro 作为裁判(原裁判不可用),长音频评估使用 Qwen3.5-Omni-Plus 作为裁判,可能存在裁判偏差
- 论文未提供传统消融实验:对"解耦设计"有效性的论证主要依赖间接证据和已有工作
6. 关键结论与启发
最重要的 Takeaway
"理解"和"生成"对音频表示的需求本质上不同,与其强行统一,不如在同一模型中为它们分别设计独立的连续表示路径。 这种"输入侧解耦"的设计思路,比"输出侧用不同 token 类型"或"共享同一连续表示"都更有效。
对后续研究的启发
-
"分工不分裂"的架构哲学:FireRedAudio 证明了共享 LLM 骨干 + 任务专用输入路径是可行的。后续研究可以探索更多任务对(如音乐理解 vs 音乐生成)是否也适用这种解耦设计。
-
语义蒸馏是连续潜空间的关键:RedAE 通过教师编码器蒸馏获得语义结构,这一思路可推广到其他连续模态(如视频)的自编码器设计中。
-
渐进式训练是统一模型成功的保障:五阶段策略(先对齐接口、再联合训练、最后扩展上下文)为多模态统一模型的训练提供了可借鉴的范式。
-
长音频理解是差异化竞争点:FireRedAudio 在 1 小时音频理解和秒级时间定位上的优势,提示"长上下文"可能是统一音频模型的重要发展方向。
-
潜在延伸方向:将解耦表示扩展到音乐生成、音效生成;探索更小的模型规模下解耦设计是否仍然有效;研究如何进一步提升统一模型的说话人相似度。