查看摘要
📖 深度解读
1. 一句话总结
这篇论文提出了一种名为 DAVSS(Distilled Audio-Visual State Space Models) 的轻量级音视频联合分类模型,通过从大型Transformer教师模型(CAV-MAE)进行知识蒸馏,用仅14M参数(比教师小12倍)的SSM学生模型,在AudioSet和VGGSound上超越了教师模型,实现了“小模型、高性能、快推理”的目标。
2. 研究背景与动机
核心问题
如何构建一个既高效(推理快、参数少)又高性能的音视频联合分类模型?
为什么重要
- 音视频联合建模是多媒体理解的核心任务,但Transformer在长序列上的二次复杂度(O(n²))使其在音视频拼接后(序列更长)计算开销巨大。
- 现有音视频模型(如CAV-MAE)虽然性能好,但参数量大(165M)、推理慢,难以部署到资源受限场景。
现有方法的不足
- Transformer的注意力瓶颈:音视频token拼接后序列更长,自注意力计算量呈平方增长,导致融合通常只发生在最后1层(如CAV-MAE仅<5%参数用于联合建模)。
- SSM性能不足:纯SSM模型(如S4、Mamba)在分类任务上性能落后于Transformer。
- 模型大小与性能的矛盾:现有高性能模型体积大,难以在边缘设备上实时运行。
3. 核心方法
方法/框架
DAVSS 是一个基于SSM(状态空间模型)的学生模型,通过知识蒸馏从Transformer教师模型(CAV-MAE)学习。整体结构为:
- 两个独立的模态编码器(音频+视觉),每个编码器包含3个阶段(SSM块+下采样)
- 一个联合建模块(处理拼接后的音视频特征)
- 最终通过池化+线性层输出分类结果
关键创新点(3个)
-
更细的输入分辨率(小patch size)
用更小的patch(如6×6)处理输入,生成更长的token序列。虽然模型更小,但通过“更长序列”补偿容量损失。实验证明:patch越大,性能越差。 -
更深的联合建模(30%参数用于联合层)
相比CAV-MAE的<5%联合参数,DAVSS将30%参数用于音视频联合处理。因为SSM能高效处理长序列,所以可以“大胆”地让更多层处理拼接后的长token,实现更深层的跨模态交互。 -
知识蒸馏+预训练初始化
使用CAV-MAE作为教师,学生同时学习真实标签(BCE损失)和教师输出(KL散度)。此外,用ImageNet预训练初始化视觉分支、用DASS(音频SSM模型)初始化音频分支,显著提升性能。
直觉解释
想象一个“小个子学生”(DAVSS)向“大个子老师”(CAV-MAE)学习。学生虽然脑子小(参数少),但眼睛更尖(小patch看细节),而且更愿意花时间把听到的和看到的放在一起想(更多联合层)。老师教学生“哪些答案是对的”,学生自己再拼命看细节,最后考试(分类)反而比老师考得好。
4. 实验与结果
数据集
- AudioSet(AS-2M):约200万条10秒视频,527类音频事件
- VGGSound(VS):约20万条10秒视频,309类声音事件
基线方法
- CAV-MAE(165M参数,教师模型)
- Audiovisual MAE(~170M)
- MAViL(~170M)
- EquiAV(173M)
主要实验结果(关键数字)
| 模型 | 参数量 | AudioSet (mAP) | VGGSound (acc) |
|---|---|---|---|
| CAV-MAE | 165M | 50.5 | 65.4 |
| CAV-MAE scale+ | 165M | 51.2 | 65.5 |
| Audiovisual MAE | ~170M | 51.8 | 65.0 |
| MAViL | ~170M | 53.3 | 67.1 |
| EquiAV | 173M | 54.6 | 67.1 |
| DAVSS-Tiny | 14M | 51.6 | 65.4 |
| DAVSS-Small | 47M | 52.5 | 66.7 |
| DAVSS-Medium | 84M | 52.7 | 67.5 |
核心亮点:
- DAVSS-Tiny(14M)比CAV-MAE(165M)小12倍,但mAP更高(51.6 vs 50.5)
- DAVSS-Medium(84M)在VGGSound上达到67.5%,超过所有Transformer基线
消融实验揭示的关键发现
- 联合建模深度:融合太浅(第2组后)或太深(第4组后)性能都下降,第3组后融合最佳(mAP 50.6)。说明需要一定量的模态专用层来“对齐”特征空间。
- 知识蒸馏+初始化:
- 无KD:mAP仅28.2 → 有KD:47.6(大幅提升)
- 加ImageNet初始化:50.3 → 加DASS音频初始化:52.2(进一步提升) - 更强教师:用多帧集成教师(5帧)比单帧教师略好(52.5 vs 52.2),但收益有限。
- 分辨率影响:patch size越大(分辨率越粗),性能越低,验证了“细分辨率”是性能提升的关键。
5. 优势与局限
主要优势
- 极致的参数效率:14M参数即可超越165M的Transformer模型,适合边缘部署。
- 推理速度快:SSM的线性复杂度使模型在长序列下仍比CAV-MAE快(如图1b所示,patch=6时显著更快)。
- 可调节的吞吐-精度权衡:通过改变patch size,可以在速度和精度之间灵活切换。
局限性
- 依赖教师模型:性能上限受限于教师(CAV-MAE)的质量,若教师更强,学生可能还能更好,但目前缺乏更强的开源音视频教师。
- 训练复杂度:需要多阶段初始化(ImageNet + DASS),训练流程较复杂。
- 性能差距:虽然超过CAV-MAE,但仍未达到最强基线EquiAV(54.6 mAP)的水平,尤其在AudioSet上差距明显(52.7 vs 54.6)。
6. 关键结论与启发
最重要的Takeaway
“小模型可以通过更细的输入分辨率和更深的联合建模来弥补参数量的不足”——SSM的线性复杂度使得“长序列+深融合”成为可能,而Transformer因二次复杂度被迫“短序列+浅融合”。这为高效多模态建模提供了新范式。
对后续研究的启发
- 更强的教师探索:论文提到未来可尝试CAV-MAE之外的更强教师(如EquiAV),可能进一步提升学生性能。
- 更细粒度的融合位置搜索:目前是“组级”融合(group-level),未来可做“层级”(layer-level)融合搜索,找到最优融合深度。
- 扩展到其他多模态任务:该蒸馏框架可推广到视频-文本、图像-音频等其他多模态场景。
- 生成式任务:目前仅验证了分类任务,未来可探索SSM在音视频生成(如视频描述、音频生成)中的潜力。
总结:DAVSS证明了“蒸馏+SSM+细分辨率”是构建高效多模态模型的可行路径,为资源受限场景下的音视频理解提供了新思路。