2026-11-20 eess.AScs.SD 16 篇

ArxivWatcher 每日综述

日期: 2026-11-20 | 共 16 篇 | 大佬论文 0 篇 今日无领域大佬坐镇,但高分工作集中在语音场景生成、音频 LLM 时间定位与韵律表示三个方向,整体质量分布较为均衡。 ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ • [1] 把"语音场景生成"重构为两条独立 token 流的联合语言建模,源感知编解码器将语音与环境声解耦,可直接用野外真实录音适配,是今日最高分工作。 • [12] 揭示音频 LLM 的"听到了却说不出来"现象:少数注意力头已编码事件时间,免训练的头引导解码把时间信息注入答案,思路干净且可解释。 • [15] 用微调、线性探针、提示三种方式三角验证重音信息:文本模型内部有表示但报告不出来(68.8% 天花板),语音模型达 84.7%,为 TTS 前端选型提供直接证据。 • [7] TELEVAL 以无指令、音频条件化的方式评测中文口语交互,提出"Caption Trap"——模型能识别副语言信号却不据此调整回应,直指现有基准的盲区。 • [16] Rhythm-TTS 把离散 codec token 降格为"规划草稿",用流匹配生成连续潜变量绕开码本重建瓶颈,并补上静音停顿的概率建模。 ═══════════════════════════════════════════════════════════ TTS / 音乐生成 ═══════════════════════════════════════════════════════════ [1] Joint Language Modeling for In-the-Wild Speech-Scene Generation with Distinct Token Representations 语音与环境声拆为两条离散 token 流交错自回归联合生成,配合源感知神经编解码器,支持真实野外录音适配。 [2] UMelCodec: An Ultra-Low-Bitrate and Lightweight Mel-Domain Neural Speech Codec 纯梅尔域、不依赖预训练语义或生成模型,325 bps 下实现可懂重建,GPU/CPU 均可实时。 [6] AudioTurbo: Fast Text-to-Audio Generation with Rectified Diffusion 对预训练 TTA 扩散模型做后训练蒸馏,5–10 步(甚至 3 步)生成,无需从零训练新模型。 [16] Rhythm-TTS: High-Fidelity Shortcut Latent Modeling and Probabilistic Rhythm Generation for Zero-Shot Text-to-Speech 离散 token 仅作规划先验、流匹配生成连续潜变量,并以概率化时长与静音采样带来节奏多样性。 [15] Language models represent more about emphasis than they can tell you 重音信息在语言模型内部有表示但难以显式报告,文本路线存在约 68.8% 的天花板,语音信号额外贡献显著。 ═══════════════════════════════════════════════════════════ 语音识别 (ASR) ═══════════════════════════════════════════════════════════ 今日无该方向论文。 ═══════════════════════════════════════════════════════════ 语音理解与大模型 ═══════════════════════════════════════════════════════════ [5] WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding 开源全模态视频理解模型家族(2B–35B-A3B),混合思考范式加三阶段训练流水线,音视频联合理解刷新开源 SOTA。 [7] TELEVAL: A Benchmark Designed for Spoken Language Models in Chinese Interactive Scenarios 无指令、音频条件化的中文交互评测基准,将评测解耦为内容完成与交互适当性,揭示"Caption Trap"现象。 [11] From Attention to Semantics: Detecting and Mitigating Sound Event Hallucinations in Large Audio-Language Models 指出幻觉根源是"关注到了但语义对不上"而非注意力不足,提出免训练的事件级语义支撑检测与差异化掩码重生成。 [12] When Sounds Turn Heads: Recovering Event Timing That Audio LLMs Fail to Say 利用内部注意力头的时间信息做免训练重排,把模型"听到但没说"的时间定位能力释放出来。 ═══════════════════════════════════════════════════════════ 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ [4] Language-Oriented Semantic Modeling for Target Language Extraction 用语言提示微调的大语音模型生成目标语言语义 token 作为交叉注意力先验,CommonVoiceMix 上最高 +1.16 dB SI-SDR。 ═══════════════════════════════════════════════════════════ 其他方向 ═══════════════════════════════════════════════════════════ ── 声音事件与场景 ── [13] ZoionNET: Low-Power Animal Intrusion Detection Using an Acoustic Deep-Learning Classifier for a Cellular Remote-Sensing System 以麦克风替代摄像头的低功耗边缘节点,YOLOv8 微调加 int8 量化双级级联,约 133 美元成本实现动物入侵预警。 ── 音频/多模态表征与生成 ── [9] Omni-modal decomposition autoencoders learn full-stack wearable disentangled representations 共享编解码器加锚点对齐与成分正交损失,模型规模不随模态数增长,同时完成融合、解耦、分类与生成。 [14] Sonic Palette: Predicting Dynamic Color Themes from Music 把音乐→配色从静态调色板改为逐帧序列预测,自回归 Transformer 以音频上下文与历史主题为条件生成动态色彩主题。 ── 空间音频与声学建模 ── [3] Blind tests of a simple-body model of submarine target strength on open benchmarks 用球/柱/锥/板的闭式回声叠加快速预测潜艇目标强度,在 BeTSSi 基准上盲测,镜面方向精度可比全波方法,但缺边缘衍射。 ── 语音安全与隐私 ── [10] The landscape of AI speech generation and deepfake detection Simon King 的立场综述:以"欠定任务"与跨领域借用解释生成难题,将生成与检测置于军备竞赛框架下分析。 [8] Modeling and Link Budget Feasibility Analysis of Secure LoRa-Based Peer-to-Peer Communication for Short-Range Tactical Networks 去中心化 LoRa 加密对讲的链路预算论证,AES-128 下沉至固件层,但全文仅理论推算、无实测数据。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 三条线索值得注意。其一,"解耦"成为生成侧的共同策略:[1] 拆语音与环境声、[16] 拆规划与声学、[9] 拆模态成分,本质都是拒绝把异质信息压进单一表示空间。其二,音频 LLM 的可解释性研究开始产出可用的推理期方法:[11] 与 [12] 都从注意力入手,但一个指向语义支撑、一个指向时间信息,且均为免训练,说明"诊断—干预"范式正在成型。其三,评测侧出现反思潮:[7] 质疑"描述感知"替代"恰当回应",[15] 质疑"内部表示"等同"可报告能力",两者共同指向同一个问题——基准分数与实际能力之间的错位。相比之下,ASR 方向今日完全缺席,语音安全两篇([10] 综述、[8] 无实测)证据强度有限。
2026-11-19 eess.AScs.SD 16 篇

ArxivWatcher 每日综述

日期:2026-11-19 | 论文总数:16 篇 | 大佬论文:0 篇 今日无重磅组工作,但 7.5 分段集中出现(9 篇),整体呈现「健康/病理语音 + 可控生成」双热点。 ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ • [2] 21Codec 把说话人身份从 codec token 中剥离、改由解码器外部注入,直击流式 TTS 的分块声音漂移问题——这是表征层面的诊断,而非解码器打补丁。[2] • [9] 立场论文给出刺眼数据:全双工语音智能体在真实声学条件下成功率仅 26–38%,79–90% 失败源于「该不该行动」而非识别错误,并提出显式决策层。[9] • [4] 系统检验帕金森语音检测的性别差异,发现男性患者检测长期停留在随机水平附近,且单性别训练无法跨性别泛化——对既有文献结论矛盾给出受控解释。[4] • [8] SIGMA 用说话人日志剔除访谈者语音 + 有序项目反应理论联合建模 PHQ-8 八条目,E-DAIC 上 CCC 0.762,是今日健康方向最完整的方法论。[8] • [14] 无标签、CPU 可跑的课堂教师/学生分割,靠「会话中心性」这一结构线索替代声纹注册,安卓端比 pyannote 快 4.8 倍,隐私约束下的实用方案。[14] ═══════════════════════════════════════════════════════════ ── TTS / 音乐生成 ═══════════════════════════════════════════════════════════ • [2] 21Codec: Decoder-side Speaker Control for TTS  FSQ 量化 + Wav2Vec2 语义融合,对抗说话人分类器与共振峰偏移增强剥离 token 中说话人信息,解码端自适应调制注入外部嵌入。 • [3] Location Matters: Layer-wise Prompt Conditioning for Voice–Style Disentanglement in TTS  逐层门控融合音色与风格提示,发现二者均宜「早注入」,但同时出现时模型偏向风格,解耦需架构层面施压。 • [5] Audiobook-CC: Controllable Long-context Speech Generation for Multicast Audiobook  基于 cosyvoice2,用前后文边界标记建模句间上下文、同说话人内容无关提示做风格解耦、自蒸馏增强情感,面向多角色长篇有声书。 • [10] Constructing Dynamic Conversations with Neural Back-channel Generation and Voice-line Scheduling  两阶段流水线把独立录制/合成的双轨对话拼接为带反馈语与自然重叠的对话,加剩余时长预测头对抗惯性偏置,创作者可调反馈语频率与节奏。 • [12] Harmonic Circuit: Chord Progression Lies in a Sparse Principal Information Flow  把 NLP 电路发现迁移到 ChatMusician / MuPT,定位负责 I…V→I 主和弦根音预测的稀疏子网络,并以因果干预验证其主导作用。 ═══════════════════════════════════════════════════════════ ── 语音识别 (ASR) ═══════════════════════════════════════════════════════════ 今日无纯 ASR 论文。 ═══════════════════════════════════════════════════════════ ── 语音理解与大模型 ═══════════════════════════════════════════════════════════ • [1] Beyond Intelligibility: Fine-Grained Perceptual Assessment of Dysarthric Speech with ALLMs  在 Qwen2-Audio / Qwen2.5-Omni / SALMONN 2 上做两阶段提示词条件化多任务,统一预测构音障碍五个感知维度,声称可比肩单任务专用模型。 • [7] Robustness of Text-Only Adapted Speech LLMs for Spoken Semantic Parsing  CORTIS 冻结语音编码器与适配器、仅用文本监督微调 LLM,语音输入直接产出意图/槽位/函数调用;核心待验问题是噪声下是否优于 ASR-LLM 级联。 • [9] Great Listeners, Poor Decision-Makers: Rethinking Agentic Audio AI  提出在推理核心与执行之间插入显式决策层,综合六类证据在「执行/等待/追问/沉默」间选择;属立场与框架论文,量化验证尚待展开。 ═══════════════════════════════════════════════════════════ ── 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ • [6] End-to-End Multi-Task Learning for Adjustable Joint Noise Reduction and Hearing Loss Compensation  BSRNN 双掩码多任务 + 固有可微听觉模型 + 不确定性自动加权,推理时可独立调节降噪与补偿强度,免去按人重训。 • [13] Exploring Speaker-Aware Engagement Modeling for Children with Autism Spectrum Disorder  Pyannote 分离儿童与照护者语音后分别提 eGeMAPS 训练经典分类器;分离带来一致但不显著的提升,两方语音的相对重要性因人而异。 • [14] Label-Free Role-Aware Segmentation of Classroom Recordings  说话人嵌入聚类 + 凝聚聚类 + 会话相对「中心性」特征,逻辑回归区分教师与学生,英/德语教师 F1 0.81/0.87,端侧可跑。 ═══════════════════════════════════════════════════════════ ── 其他方向 ═══════════════════════════════════════════════════════════ • [4] Sex Differences in the Detection of Parkinson's Disease from Speech  跨 SSL / FBank / ComParE 表征流水线,用控制数据集规模与年龄的子集及跨性别训练协议,揭示男性检测失效与泛化失败。 • [8] SIGMA: Speaker-Isolated, Symptom-Structured Multimodal Estimation of Depression Severity  说话人日志剔除访谈者 + 文本/音频/视频互参 + 分级反应模型联合建模 PHQ-8 八条目,E-DAIC 上 CCC 0.762。 • [11] RespCCT and FreqCCT: Compact, Explainable and Cost-Aware Convolutional Transformers  约 12.5–17.3 万参数、从零训练的小型卷积 Transformer,七分类呼吸疾病任务接近但未超过 ImageNet 预训练大网络,附完整成本与可解释性账本。 • [15] Why Multi-Source Audio Fails to Compose: A Geometric Diagnosis and Its Remedy  将多源音频生图失败归因于 BEATs token 在 CLIP 空间中的几何错位,换 CLAP 编码器 + 推理时注意力修复,无需重训扩散主干。 • [16] Practical Assessment of Agentic Systems in Acoustics  以车内噪声故障检测与超材料设计为标尺,逐元素消融 OpenClaw 多智能体的技能/知识/文档/模型组件,把智能体本身当作实验对象。 ═══════════════════════════════════════════════════════════ 趋势小结 ═══════════════════════════════════════════════════════════ 其一,健康与病理语音持续升温([1][4][8][11][13] 五篇),且方法重心从「能不能检出」转向「对谁失效、为何失效」——性别分层、说话人隔离、症状结构化成为共同方法论。其二,可控生成进入表征与结构层面:[2][3] 讨论说话人/风格信息该放在哪、[10][12] 讨论对话轮替与和声进行在模型内部如何组织,均不再满足于端到端堆数据。其三,智能体评估开始自我审视,[9][16] 分别从决策层缺失与框架组件消融两侧指出:当前瓶颈不在感知,而在判断与工程配置。值得注意的空白是 ASR 方向今日挂零,语音识别的基础问题在本批论文中完全让位于下游任务。
2026-11-18 eess.AScs.SD 17 篇

ArxivWatcher 每日综述

日期: 2026-11-18 分类: eess.AS / cs.SD 论文总数: 17(大佬论文 0 篇) ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ [10] 三模态符号绑定机制分析:发现 AVLLM 内部借助"时间编号/空间位置编号"抽象符号完成"谁说了什么"的绑定,并用现成 ASD 画框提示 + 轻量 LoRA 修复对齐瓶颈,是今日最高分且诊断—治疗闭环完整的工作。 [14] BaME 回归 Mel 谱做生成式语音增强:子带感知 Transformer + 相位感知声码器 + 一步保真-感知对齐,在极低参数量下同时兼顾保真度、感知质量与效率,思路清晰、工程价值明确。 [12] 首个专为 1-bit 权重/激活设计的二值化神经声码器:指出"逐层替换二值卷积"会导致谐波结构崩坏,转而用 RND 值域-零空间分解与分层子带建模重构架构,为端侧 TTS 提供 32× 存储压缩的可能路径。 [13] GRPO 约束探索用于未知说话人数的联合多说话人 ASR 与日志:用多维约束感知奖励(CoT 人数计数、置换不变 cpWER、时间对齐、爆发惩罚)替代纯 SFT,针对性地压制重叠语音下的爆发式幻觉。 [5] 重新审视"联合音视频生成"的 jointness:用语义欠指定提示词诊断出四个主流模型在模糊提示下语义一致性接近随机配对,说明现有"一致"只是各自跟随文本的副产品,并提出轻量后训练 JointREPA。 ═══════════════════════════════════════════════════════════ ── TTS / 音乐生成 ═══════════════════════════════════════════════════════════ • [12] High-Fidelity Binarized Neural Vocoder 首个面向 1-bit 权重与激活的时频域声码器,用 RND 分解 + 分层子带建模避免直接二值化带来的频谱退化。 • [6] Score-Informed Transformer for Refining MIDI Velocity in Automatic Piano Transcription 以乐谱 onset 为 token 的轻量 Transformer 作为插件,对现有 AMT 系统的力度分支做有界残差修正。 • [11] Evaluating the Evaluation of Music Generation Models with Generative Psychometrics 收集 150 篇 ISMIR 论文的主观听测问题,用 LLM 嵌入 + 网络心理测量学在无人类作答数据下归纳出六个稳定评价维度。 • [8] AutoMV: An Automatic Multi-Agent System for Music Video Generation 免训练多智能体流水线,LLM 分层规划把时间对齐歌词与音乐结构转成带时间戳镜头脚本,并配套 M2VBench 基准。 ═══════════════════════════════════════════════════════════ ── 语音识别 (ASR) ═══════════════════════════════════════════════════════════ • [13] Beyond Mimicry: Constrained Exploration with GRPO for Joint Multi-Talker ASR and Diarization under Unknown Speaker Counts 基于 Qwen2.5-Omni-7B 的两阶段训练,用序列级不可微约束奖励替代纯 SFT,缓解重叠语音下的幻觉与标签崩坏。 • [17] ASR-Protected Fusion and Reference-Anchored Policy Optimization for Joint ASR and Word-Level Speech Anti-Spoofing 让 ASR 在转写同时直接标注被篡改的词,用 ASR 保护子空间门控融合与参考锚定策略优化兼顾检测与转写。 ═══════════════════════════════════════════════════════════ ── 语音理解与大模型 ═══════════════════════════════════════════════════════════ • [10] Who Says What: Symbolic Trimodal Binding Mechanisms in Audio-Visual LLMs 表征相似性 + 因果中介分析定位音视频对齐瓶颈,ASD 画框视觉提示即可显著改善说话人归属。 • [5] Beyond Co-Generation: Rethinking Jointness in Joint Audio-Video Generation 提出"语义欠指定提示词"检验真正的跨模态协调,揭示现有模型 intrinsic jointness 严重不足。 ═══════════════════════════════════════════════════════════ ── 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ • [14] Back to Mel: Learning to Bridge Fidelity and Perception in Generative Speech Enhancement 以 Mel 谱为声学表示的生成式 SE 框架,三项设计协同在低参数量下平衡保真、感知与效率。 • [1] Personalized Causal Low-Bitrate Coded Speech Restoration with Speaker Embeddings 系统对比嵌入条件化与聚类模型选择两种个性化路线,发现前者稳定提升感知质量且几乎零额外计算。 • [2] Insight into Parametric First-Order Ambisonics Upscaling in Time and Frequency Domains 在时频域挑选能量最强的少量早期反射做高阶渲染,多人同时说话场景下空间感知收益最明显。 ═══════════════════════════════════════════════════════════ ── 其他方向 ═══════════════════════════════════════════════════════════ • [3] Sleep2Word: Peripheral-to-EEG Translation via Duration-Aware Wordization 让呼吸/ECG/PPG 各自学习变长"生理单词",用分块自回归解码在统一时间轴上重建整夜 EEG 频谱。 • [7] Why ML-based cough models do not generalize: a systematic cross-dataset evaluation for tuberculosis screening 跨数据集系统评估显示咳嗽 TB 筛查模型学到的主要是设备与采集站点等捷径,外部验证大幅掉点。 • [9] A 1000-hour EEG-EMG-audio dataset of Japanese speech production 3 名日语母语者约 1020 小时同步 EEG/面部 EMG/音频,覆盖朗读、默念复述与听书,填补语音产出数据缺口。 • [4] Pluggable Subband-Decoupled Fusion and Unlabeled Capture Prototype Calibration for Cross-Domain IoT RF Fingerprinting 用盲信噪比门控融合有源子载波与空子载波再生两类互补线索,配合免反向传播原型校准实现零重训跨域认证。 • [15] Structure Across Voices: Comparing acoustic-event type accumulation and sequence dependence across four vocal corpora using frozen audio encoders 统一冻结编码器 + 语料内聚类并稀有化匹配观察机会,发现四类发声库呈多维特征轮廓而非单一层级排序。 • [16] Music of the Deep: An acoustic blueprint of sperm whale codas 将抹香鲸尾音与音乐在单元内组成和单元间序列两层做匹配统计比较,并据此评估合成鲸声的声学差距。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 今日 17 篇无大佬论文,但主题分布颇具信号:一是"机制诊断先行"成为多模态与安全方向的共同范式——[10] 用因果中介定位绑定瓶颈、[5] 用欠指定提示词拆穿伪联合、[7] 用跨数据集实验揭穿捷径学习,均把"模型到底学到了什么"置于性能数字之前。二是效率与部署约束驱动架构重设计:[12] 与 [14] 都拒绝"逐层替换/堆叠"的粗暴路线,转而从表示层(1-bit 值域分解、Mel 谱先验)重新出发。三是强化学习正从 ASR 幻觉治理 [13] 延伸到安全联合生成 [17],序列级不可微目标的约束优化成为替代纯 SFT 的通用手段。此外,健康与生理信号方向([3][7][9])持续以数据规模与泛化性评估为重心,跨域泛化仍是该领域最尖锐的未解问题。
2026-11-17 eess.AScs.SD 49 篇 快照总览

ArxivWatcher 每日综述

日期: 2026-11-17 分类: eess.AS / cs.SD 论文总数: 49 今日论文总览 [1] Why Do Low-Activity Speakers Disappear in Speaker Diarization? Decomposing Lost Speakers and What Training-Free Fixes Can Recover — Fumiaki Yamaguchi [2] Hardware-Friendly Plug-and-Play MVDR Beamforming for Microphone Arrays: Algorithm, Prototype, and System-Level Feasibility — Chengbo Chang、Ziye Yang、Jie Chen [3] Pixel-KWS: Rendered-Glyph Representations for Orthographically Robust Open-Vocabulary Keyword Spotting — Adarsh Arigala、Ramesh Gundluru、Srinivasan Umesh 等 [4] Leveraging Dual-Process Theory for Multimodal Multiparty Turn-Taking Prediction — Rutherford A. Patamia、Ming Liu、Wei Luo 等 [5] Rethinking Post-Training for Expressive Zero-Shot Text-to-Speech — Jingbin Hu、Xinfa Zhu、Hao Wang 等 [6] ProTTS: End-to-End Prominence-aware Natural and Controllable Text-to-Speech via Automatic Word Stress Discovery — Sai Harshitha Aluru、Chiranjeevi Yarra [7] Clinician Assessment of Laryngeal Disease with Auditory AI before Laryngoscopy: A Paired Reader Study — Siyuan Hou、Shuting Yang、Zengrui Jin 等 [8] VoxMel TTS Technical Report — Wenhao Guan、Jiaxin Ye、Haitao Li 等 [9] Validating Acoustic-to-Articulatory Inversion with Real-Time MRI: From Vocal-Tract Fidelity to Phonetic Consequences — Tharinda Piyadasa、Michael Proctor、Amelia Gully 等 [10] Progressive Layer-wise Supervision: Deep-to-Shallow Supervision Annealing for Efficient and Robust Speech Deepfake Detection — Hoan My Tran、Xin Wang、Xuechen Liu [11] Layer-wise Linear Probing of an Encoder-free Audio-capable Language Model — Laishram Rahul、Shruthi B. S.、Parismita Gogoi 等 [12] Towards Microphone-Invariant Speech Representations for Transformer-Based Voice Disorder Detection — Iva Ewert、Felix Putze、Marvin Borsdorf 等 [13] OmniTag-LLM: Multilingual Multitask Speech Tagging — Aref Farhadipour、Francesco Verdini、Antonis Asonitis 等 [14] Winning the Leaderboard, Losing the Distribution: Diagnosing and Mitigating Acoustic Narrowing in Low-Resource ASR — Kadir Goksel Gunduz [15] Lightweight Replay Attack Detection via Interpretable Physical Descriptors — Saba Nasiri、Alireza Amirshahi、Milos Cernak [16] Factorized Self-Supervised Speech Tokenization — Benjamin Van Niekerk、Jean-Philippe Letendre、Nicol Visser 等 [17] Beyond Controllability: Speaker Diversity in Instruction-Guided Text-to-Speech — Yi-Cheng Lin、Jia-Kai Dong、Kuan-Yu Chen 等 [18] CausalGloss: Multi-Evidence Action Control for a Simultaneous Mandarin Speech-to-ASL Gloss Cascade — Mingze Li、Satoshi Nakamura [19] Sada-ASR: A Production Multidialectal Arabic Speech Recognition System — Mahmoud Khaled、Mohammed Abd-Elnaser、Mahmoud Mohsen 等 [20] High-Throughput Serving of Nemotron 3.5 Transcribe with Regime-Aware Megakernels and Kernel Fusion — Aditya Chatterjee、Sanjay Singh Chauhan、Mayank Jain 等 [21] WAXAL: A Large-Scale Multilingual African Language Speech Corpus — Abdoulaye Diack、Perry Nelson、MohamedElfatih MohamedKhair 等 [22] Toward Fair Speech Technologies: A Comprehensive Survey of Bias and Fairness in Speech AI — Yi-Cheng Lin、Yun-Shao Tsai、Kuan-Yu Chen 等 [23] WTMOS: A Robust WavLM-Transformer Framework and ViViT Benchmarking for Cross-Corpus Audio MOS Prediction — Mustafa Ozan Duman、Ahmet Emir Dirik [24] What does the model actually see? Evaluation protocols and input availability in data-driven prediction of room acoustic parameters — Akın Oktav [25] Separate First, Then Associate: A Two-Stage Approach for Real-World Audio-Visual Speech Enhancement — Tongtao Ling、Zhenlong Guo、Zhong-Qiu Wang [26] VoxSafeBench: Not Just What Is Said, but Who, How, and Where — Yuxiang Wang、Hongyu Liu、Yijiang Xu 等 [27] SPDMX: Large-Scale Open Stem Audio From Symbolic Music — Phillip Long、Eduardo Escoto、Julian McAuley 等 [28] Dependable Voice Command for Multi-UAV Swarms Using Small Language Models — Afshin Ameri、Luiz Giacomossi、Håkan Forsberg 等 [29] ProSing: Zero-Shot Fine-Grained Singing Technique Conversion — Xinhao Guan、Jingyue Huang、Kangrui Chen 等 [30] Attribution-Guided Shared-Private Decoupling for Noise-Reduced Audio-Visual Representation Learning — Linge Wang、Yingying Chen、Bingke Zhu 等 ……另有 19 篇,请打开当日报告查看。
2026-11-16 eess.AScs.SD 16 篇

ArxivWatcher 每日综述

日期:2026-11-16 | 共 12 篇(大佬论文 0 篇) ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ • [7] 全双工对话的打断/附和时机决策:指出 GRPO 采样式 RL 存在「零梯度陷阱」(23–34% 训练窗口全失败)与「信用泄漏」,改用窗口似然的闭式积分(noisy-OR / 生存乘积)替代采样奖励,六个开源模型上打断/保持 F1 提升且不产生「对沉默说话」副作用。今日最高分,问题诊断与方案替换都相当扎实。 • [16] 提出「对齐诅咒」:形式化论证文本-音频表示对齐越强,文本侧越狱越易迁移到音频侧(KL 散度 + Pinsker 不等式),并指出当前音频安全评估因不区分模态访问假设而系统性低估风险。视角新颖,把跨模态安全从经验观察提升到机制解释。 • [3] marimba:冻结 Qwen3-ASR 0.6B 编码器共享特征,用「类型化决策」接口统一处理词出现判断、话轮结束、语种、说话人变化等任务,词级判断零样本且输出可校准概率而非自由文本。工程实用性强,与音频 LLM 的自由生成路线形成对照。 • [15] ZONOS3-Mini:886M 参数(每 token 激活约 100M)的端侧零样本克隆 TTS,靠 15Hz 低帧率编解码器 ZAC-1 压缩序列、GDN/注意力混合潜在 MoE 骨干,在笔记本与手机上实时推理,55 语言集上克隆质量接近大模型。端侧 TTS 的新 Pareto 工作点。 • [2] ART 六扬声器声场重现:面向临床言语测听,用「房间中的房间」补偿框架加直达声专用扬声器与 SII 加权 C50 联合优化,让普通混响房间模拟目标声学环境,使不同诊所的 SRT 结果可比。应用动机清晰,是今日评分并列第二的论文。 ═══════════════════════════════════════════════════════════ TTS / 音乐生成 ═══════════════════════════════════════════════════════════ • [15] ZONOS3-Mini Technical Report —— 886M 参数端侧零样本克隆 TTS,15Hz 编解码器 ZAC-1 大幅压缩音频序列,混合 GDN/注意力潜在 MoE 骨干配双路径说话人条件,声称在 55 语言集上兼顾实时性与克隆质量。 ═══════════════════════════════════════════════════════════ 语音识别 (ASR) ═══════════════════════════════════════════════════════════ • [8] RECOVER —— 黑盒 ASR 实体纠错框架:同一识别器多温度采样出多条假设作为「证据」,检索候选实体后由 LLM 在词表硬约束下提议修改,再经规则护栏与 LLM 评审闭环把关,针对 1-best 中已丢失实体的恢复问题。 • [13] CamSpokenNLI —— 为喀麦隆皮钦英语与 Camfranglais 构建小规模口语前提 NLI 种子资源,含泄漏审计协议;基线显示模型准确率高于随机但疑似依赖假设句措辞捷径,零样本 Whisper 在这两种变体上表现很差。作者自述为 pilot 资源,结论应谨慎看待。 ═══════════════════════════════════════════════════════════ 语音理解与大模型 ═══════════════════════════════════════════════════════════ • [3] Marimba: A System One Model for Speech —— 基于冻结 ASR 编码器的类型化语音决策系统,零样本 n-best 解码打分加问题条件化读出层,统一输出可校准的多任务概率。 • [7] Integrate the Reward, Don't Sample It —— 用窗口似然的闭式积分替代 GRPO 采样奖励估计,解决全双工模型打断/附和决策中的零梯度与信用泄漏问题。 • [14] Activation Steering the Nan-Shan in Typhoon —— 艺术装置式长程自喂养生成实验,按艺术家标注的蒲福风级曲线做自适应激活引导,每步并行多候选并用强度探针挑选;兼作对「可控性」的批判性反思,技术贡献偏概念验证。 ═══════════════════════════════════════════════════════════ 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ • [1] Anomalous Sound Detection Using Separation Features and Paired-Mixture Representation Learning —— 无需外部预训练与工况标注:用「目标机器 + 其他机器」混合训练分离器,以配对混合关系驱动表示学习,再用配对差异估计协方差做嵌入校正,余弦最近邻打分。 • [6] FEND: Far-End Detection in Outbound Voice AI Calls —— 把外呼接听方判定从「人/机器」二分类扩展为真人/语音信箱/IVR/AI 接听四分类,多检测器融合,AI 接听主要靠词间停顿等时序特征而非频谱识别。 • [9] GigaEdge Spench —— 开源流式语音增强 SDK,把神经降噪与可配置 DSP 链(重采样、响度控制、回声消除)整合为跨平台流水线,并系统测量模型选择、块大小、共享模型并发数对质量与算力的影响。 ═══════════════════════════════════════════════════════════ 其他方向 ═══════════════════════════════════════════════════════════ • [2] Reproduction of Simulated Acoustics Scenes Using Acoustics Room Transformer —— 六扬声器临床声场重现,直达声专用扬声器 + SII 加权 C50 优化,目标是让 SRT 测试跨诊所可比。 • [4] Multiple spontaneous otoacoustic emissions as a single standing wave unstable to modulation —— 二维耳蜗模型证明等间距 SOAE 谱线可源于单一驻波的自泵浦不稳定性,借激光物理的增益泵浦与四波混频统一「驻波说」与「互调说」。 • [16] The Alignment Curse —— 形式化模态对齐与跨模态攻击迁移的关系,揭示文本越狱可系统性迁移至音频侧,呼吁评估中区分模态访问假设。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 今日无大佬论文,但两篇 8.5 分工作都属「重新审视既有范式」:一篇质疑采样式 RL 在二值时机决策上的结构性缺陷并给出闭式替代,一篇把跨模态安全从经验现象提升为可形式化的机制命题。系统与部署侧同样活跃——端侧克隆 TTS、流式增强 SDK、黑盒 ASR 纠错、外呼接听方四分类,均强调在真实约束(算力、黑盒接口、商用链路)下工作而非刷榜。此外临床与听觉机制方向(声场重现、SOAE 建模)延续了小规模但动机扎实的传统。值得注意的共性:多篇论文的核心论点是「现有评估口径不对」——无论是模态访问假设、二分类标签,还是只看质量分数不看部署成本。
2026-11-13 eess.AScs.SD 39 篇

ArxivWatcher 每日综述

日期: 2026-11-13 论文总数: 38 篇(大佬论文 0 篇;注:编号 [31] 在提供列表中缺失,实际可见 37 篇) ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ • [1] 揭示语音分词器在语义层面的脆弱性:小幅扰动即可破坏语义编码并拖垮下游 ASR 与 LALM,且危害远超同 SNR 高斯噪声;配套提出可迁移攻击 T-SemAttack 与防御分词器 ROSETok,攻防闭环完整。评分 8.2,今日最高分之一。 • [16] WavCube 用 128 维连续隐空间统一理解、重建与扩散生成,直击语音领域"理解/生成双塔割裂"的根本障碍;论文实测直接喂 WavLM 特征给 DiT 会导致 WER 110% 的崩溃,反衬其信息瓶颈设计的必要性。评分 8.2。 • [8] Kezek 面向全双工对话数据制备的真实痛点:单声道双人对话拆分为逐说话人音轨,重点解决短回应丢失、串音泄漏与声道互换三类致命失败模式,工程价值明确。评分 8.2。 • [38] ClariCodec 把量化重构为随机策略、用 GRPO 以不可微的 WER 为奖励直接优化 300 bps 极低码率可懂度,LibriSpeech test-clean WER 4.64%→3.55%,是"指标不可微就用 RL 绕过去"的干净范例。评分 8.0。 • [5] 结构化说话人条件(SSC)指出 DiCoW 类四状态条件的信息压缩缺陷——不同干扰人配置可产生完全相同的条件序列,进而用轨迹历史编码 + 声学身份参考 + 低秩调制补足。评分 7.8。 ═══════════════════════════════════════════════════════════ TTS / 音乐生成 ═══════════════════════════════════════════════════════════ • [12] RSE-TTS: Compact Text-to-Speech through Shared Text-Aware Reference Encoding and Generation 复用预训练自回归 TTS 骨干自身作为参考编码器,参考语音与文本联合压缩为 8 个向量,参数减 48% 同时提升可懂度与说话人相似度。 • [13] Human-Likeness and Conversational Preference Diverge for Synthesized Agent Speech in Customer-Service Calls 成对偏好听力实验显示"像真人"与"愿意对话"两种判断在 6 个商用 TTS 系统上排名不一致,提示仅测自然度或单一音色会误判客服场景选型。 • [4] qVocalTract: Efficient encoding framework of vocal-tract spectra on a quantum computer 用无辅助比特阶梯式电路在真实超导处理器上编码声道频谱,论证大键维 MPS 顺序制备的"精度换噪声"权衡在硬件上并不划算。 • [32] Convolutional VocalTrax: Replacing Backpropagation Through Time with Convolution in Differentiable Articulatory Synthesis 将可微发音合成的逐样本波导递归替换为频域精确响应的分块卷积,声道前反向加速 47–63 倍,且拟合参数在 ASR 上更可读。 • [37] Streaming Generation for Music Accompaniment 以"未来可见度 t_f"与输出块大小 k 为设计轴形式化流式伴奏的延迟—质量权衡,在 Slakh2100 上量化不同系统配置的连贯性与节奏对齐代价。 • [24] Can Music Generation Models Tap Along? Evaluating Generative Approaches to Beat Tracking 让冻结的 MusicGen 生成同步打击乐轨再由轻量跟踪器提取节拍,效果接近 SOTA 传统跟踪器且在鼓声缺失时更稳健。 • [22] Evaluating AI Musical Creativity: Towards a Quantitative Multi-Dimensional Framework Based on Value, Novelty, and Surprise 基于 Boden 三要素理论提出 M-value / M-novelty / M-surprise 指标集;属概念性框架,未做实证验证,评分 5.5 反映其证据强度有限。 ═══════════════════════════════════════════════════════════ 语音识别 (ASR) ═══════════════════════════════════════════════════════════ • [2] Scaffolding Self-Transduction with Alignment Attention Mask for Aligner-Encoder ASR 把外部强制对齐做成编码器自注意力掩码、训练中淡出;oracle 实验证明对齐推理而非 token 预测才是该类模型的主要瓶颈。 • [11] Hy ASR 3.0 Technical Report 腾讯混元 LLM-based ASR 系统报告:音频条件热词检索、三阶段训练(SSL 编码器 + 伪标签预训练 + 领域专家 RL 与多教师 on-policy 蒸馏)、句内上下文消歧,覆盖普通话/英语/粤语及 13 种方言。 • [17] GigaSpeechBench: A Real-World Multilingual Speech-to-Text Benchmark 680 小时人工标注真实场景基准,覆盖低资源中东/东南亚语言、中文方言、英语口音、术语、老幼语音五个长尾轴,并引入实体级 B-WER/B-CER。 • [34] Dynamic Block-Online Streaming ASR for Low-Resource Agglutinative Code-Switching Speech with Morphology-Aware Evaluation 用 VAD 触发的可变延迟宏块换取块内双向注意力,修复孟加拉语-英语黏着语码切换中后缀跨边界导致的对齐漂移,并配套 CS-WER 指标。 • [35] Beyond Word Error Rate: A Failure Taxonomy of Streaming Dictation ASR 提出四层错误分类(识别/格式化/语言处理/模型之前)与双参考文本设计,实测 11 个系统发现相同 WER 下错误类型差异巨大。 • [5] Structured Speaker Conditioning for Diarization-Guided Target-Speaker ASR (见今日重点)用目标中心关系编码保留轨迹历史、参考说话人条件提供声学身份,解决长会议中条件漂移与身份混淆。 ═══════════════════════════════════════════════════════════ 语音理解与大模型 ═══════════════════════════════════════════════════════════ • [9] An LLM Is All You Need: Data-Efficient Adaptation to Full-Duplex, Word-Level Spoken Dialogue 冻结 Qwen3-Omni,仅约 30 GPU 小时 LoRA 适配 + 状态机约束的 token 化话轮决策,即获得逐词级打断与附和能力。 • [33] Duo: A Reciprocal World Model for Full-Duplex Interaction 提出"互惠世界模型"概念并实现 Duo v1:意图模块与因果音视频扩散耦合,支持实时可打断的视听对话;概念宏大,实际系统规模与评测细节需看正文。 • [3] JEV-VAD: Efficient Semantic Endpointing via Task-First Conditioning and Decoder-Prefix Pruning 基于 Qwen3-ASR-0.6B 的免转录语义端点检测:任务指令前置、标量端点读出、物理裁剪解码器前缀,直指"为二值决策保留整套生成通路"的浪费。 • [28] DeALR: Decoupled Audio-Latent Optimization with Acoustic Backtracking for Test-Time Reasoning 测试时让冻结 LALM"回头重听"关键音频片段,联合优化隐空间思维向量与音频跨度,缓解纯文本推理中声学证据被语言先验淹没。 • [29] Right Answers, Inconsistent Evidence: Source-Level Counterfactual Auditing of Large Audio-Language Models 提出 TRACE 源级反事实审计与 H 统计量,发现约 6.3% 的正确答案建立在混乱证据排序上,且仅做目标移除检查会漏检 42.5%。 • [7] MESH: Multi-receiver Evaluation of Spatial Hearing across Egocentric and Allocentric Views 基于 SoundSpaces 2.0 构建多接收器空间听觉基准,13 类数值化物理误差任务覆盖自我/世界中心与静态/动态,结论是现有音频大模型远不能关联"谁—在哪—怎么动"。 • [23] Harmony: Bridging Audio Understanding and Editing through Agentic Collaboration LLM 规划器 + Qwen3-Omni + 分析工具的智能体式音频编辑,用编辑驱动协同规划与证据引导的有界纠错补上"规划缺音频证据、执行缺中间检查"的缺口。 ═══════════════════════════════════════════════════════════ 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ • [8] Kezek: Splitting Mono Two-Person Conversations into Per-Speaker Tracks for Full-Duplex Dialogue Data (见今日重点)两阶段解耦 + 整段录音级身份决策 + 相位不敏感波形指纹 + 词门控活动标签,输出严格混合一致的逐说话人音轨。 • [27] FineSpeaker: Reliable Speaker Representation Learning at Fine Temporal Resolution 多尺度卷积 + 滑动窗口自注意力 + VAE/Flow Matching 生成式解耦训练,使单帧级说话人表征同时服务短时确认与高分辨率日志。 • [20] GigaEdge Spench: An SDK for Practical Streaming Speech Enhancement 开源流式增强 SDK,核心是把模型与流状态分离以支持多流共享,并系统量化模型选择、块大小、并发数对质量与算力的影响。 • [6] The Unseen Threat: How Complementary Combinations of Acoustic Features Compromise Speech Privacy 发现 RMS/音高与时间平滑梅尔频谱拼接后隐私泄露被显著放大,说明逐特征评估会严重低估真实风险。 • [18] Beyond Speech: Dual-Domain SSL Fusion for Unified All-Type Audio Deepfake Detection EAT-large 与 XLS-R 双域逐层加权 + token 级拼接,类型无关统一二分类,AT-ADD Track 2 以 95.58% Macro-F1 获第二。 • [1] Speech Tokenizers are Vulnerable: Transferable Semantic Attack and Robust Tokenizer (见今日重点)多语义编码器集成 + 心理声学约束的 PGD 攻击,与编码器级语义蒸馏对齐的防御分词器 ROSETok。 ═══════════════════════════════════════════════════════════ 其他方向 ═══════════════════════════════════════════════════════════ • [10] Distributionally Robust BEST-RQ For Speech Representation Learning 把多个随机码本视为 DRO 的"组"并做 KL 正则化自适应重加权,缓解 BEST-RQ 对码本抽签的敏感性。 • [14] MusicRWKV: A Multimodal RWKV Framework for Music Representation Learning 以 RWKV 替换 Transformer、可逆压缩缩短长序列、FiLM 调制替代 cross-attention 融合波形/频谱/元数据三模态。 • [15] HRIR-Former: Grid-Free Time-Domain Reconstruction of Head-Related Impulse Responses with a Spatially Encoded Transformer 把 HRIR 空间上采样建模为球面掩码修补,时域直接重建保留相位,摆脱固定 793 方向网格与最小相位假设。 • [19] SonoDyno: A Sonic Dynamometer for Engine Speed and Load Estimation from Audio 用阶次能量梳与旋转动力学约束从录音联合推断转速、气缸数与归一化负载,破解"4 缸 6000 rpm 与 8 缸 3000 rpm 同谱线"的歧义。 • [21] Multi-Step Underwater Acoustic Channel Prediction via Dual-Domain Structure Preservation and Pretrained Transformer 借 Chronos-T5 做水声信道一次性多步预测,双域结构保持 + 时延-时间 patch 嵌入 + BOFT 正交微调,实测 NMSE 降 85% 以上。 • [25] CFGComposer: Compositional Audio-Text-to-Motion Generation via Copula Score Correction 指出 A2M 与 T2M 专家简单相加会漏掉跨模态交互项,用 CFG 式差分估计 copula score 修正,兼顾节拍同步与语义对齐。 • [26] Computational Raga Recognition: A Theory-Driven Approach 将 Nyasa、Vadi-Samvadi 等六种拉格理论特征翻译为可计算量并与参考模型逐项比对,以 Yaman 拉格为案例;验证范围有限。 • [30] On-Edge Acoustic Continual Anomaly Detection: A Cross-Platform Comparative Study 同一 TFLM 模型部署于 ESP32-S3 与 Nicla Vision,用扬声器物理回放对比五种机器声音,结论是跨硬件平台性能相当。 • [36] Evaluation of Music Version Retrieval Methods for Setlist Identification in Live Concerts 在 ASID 基准统一协议下对比 Re-MOVE、CLEWS 与 NAVE,片段级频谱嵌入比手工色度特征高约 12 个百分点,256 维 NAVE 已可比 1024 维 CLEWS。 • [39] S3-S2ST: Semantically Supervised Streaming Speech-to-Speech Translation Thinker-Talker 架构 + 语义监督的 READ/WRITE 门控,推理时用可调阈值在固定输入粒度下独立调节质量—延迟,无需重训。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 其一,"统一表征"成为主线:[16] 的连续隐空间、[1] 的分词器攻防、[38] 的 RL 优化码率可懂度,都指向同一个判断——前端表示层才是整条语音流水线的瓶颈与风险面,而非下游模型能力。 其二,全双工从模型走向数据与系统:[8] 解决训练数据制备、[9] 解决低成本适配、[33] 试图把交互主体纳入世界模型,三篇合起来勾勒出"数据—适配—系统"的完整链条。 其三,评测反思集中爆发:[17][35][29][7] 分别从长尾覆盖、错误类型学、证据自洽性、空间物理误差四个角度质疑单一标量指标,且都给出了可操作的替代度量,这是今年少见的"评测方法学"密集产出。 其四,低延迟与流式的工程化讨论明显加深:[34][37][39][20] 不再只报质量分数,而是把延迟、块大小、并发、阈值作为一等设计变量显式建模——这对实际部署的意义可能大于任何单点 SOTA。
2026-11-10 eess.AScs.SD 57 篇

ArxivWatcher 每日综述

日期:2026-11-10  论文总数:57 篇  大佬论文:1 篇(Fei-Fei Li) ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ • [1] Embodied First Exam(Fei-Fei Li 参与):把通用编程智能体接到 47 种模拟机器人上跑 1156 个任务,用"状态可见性/重置/实时性"三轴拆解物理约束——满权限下最强智能体解 77%,仅靠传感器且不可重置时跌到约 30%。这是今日唯一大佬论文,也是把"agent 能否控制物理世界"变成可测量问题的框架性工作。 • [24] WaveGen:真正意义上的 text-to-waveform 扩散 TTS,用 Spectral Forcing 让单模型在生成 24kHz 波形的同时内部学出一条频谱轨迹,彻底甩掉 codec、Mel 声码器、时长预测器与 BERT 前端。若其"无外部中间模块"的主张在听测中站得住,这是 TTS 流水线极简化的一个标志性尝试。 • [47] MAAS:把 7T fMRI 的 ROI 级神经活动直接注入 Stable Audio 的 DiT 交叉注意力层,绕过"先回归到 CLAP/YamNet 嵌入再生成"的两阶段瓶颈,并顺带给出各听觉皮层区域对重建的贡献分析。方法上解决了 DiT 架构(RoPE/GQA)不适配脑信号条件化的工程难题。 • [22] BARS:非自回归 Flow Matching 说唱生成,靠非对称缩放 RoPE(A-RoPE)同时解决歌词-音频对齐与"说唱速度独立于伴奏时长"的控制问题,是歌唱合成里少见的把"节奏自由度"当作一等目标的工作。 • [41] LAION-Audio-XL:3.65 亿音频-文本对的公开数据集 + CLAP2 模型族的算力最优缩放研究,填补了音频领域长期缺失的"公开大数据 + 缩放规律"这一环,对后续所有 CLAP 类工作都是基础设施级贡献。 ═══════════════════════════════════════════════════════════ TTS / 音乐生成 ═══════════════════════════════════════════════════════════ • [2] M5-TTS:50M 参数的多语言多方言 TTS,层级式多 token 预测 + 带字符级错误反馈的 GRPO 后训练,主打纯 CPU 流式合成。 • [17] Industry case studies of adapting TTS:养老院与机场两个真实 HRI 场景的案例研究,发现"靶向减速"与嘈杂模式(降速+提音高)等简单改动即显著改善非默认用户的聆听体验。 • [22] BARS:Flow Matching 说唱人声生成,A-RoPE 实现歌词对齐与说唱速度独立控制。 • [24] WaveGen:Spectral Forcing + 解耦 DiT 头的真端到端波形扩散 TTS。 • [25] MINT-Bench:多语言指令跟随 TTS 基准,四轴分层分类 + 三阶段防泄漏数据构造 + 内容/指令/音质三级解耦评测。 • [35] Guidance at Pure Noise...:机理分析指出少步流匹配 TTS 的说话人相似度损失源于首步 CFG 造成的轨迹整体平移,提出免训练的 FSU / FSU-Mid 采样器,且网络评估次数更少。 • [48] Ninada:VITS 单 ONNX 图运行时切分为先验/flow/声码器三子图 + 感受野 halo 交叉淡化,配合设备能力路由双档声码器,覆盖英语、梵语与十种印度文字。 • [13] REAL:语音奖励模型输出带时间戳的结构化证据链("哪个时间点、什么声学现象、影响哪个感知维度"),把 MOS 评估推向可追溯诊断。 • [21] Music Inpainting With Similarity-Guided Latent Diffusion:把自相似检索候选作为带噪观测引入 DPS 辅助似然项,训练免费的"检索+生成"混合长缺口修补。 • [31] VocalCoachBench:首个评测音频语言模型能否给出"诊断+纠正"式声乐教练反馈的基准,12 个主流模型在细粒度诊断对齐上远逊专家。 • [38] Small Data Generative AI...:以波斯书法笔触声 sarīr 为案例,论证艺术家自采小数据训练 RAVE/StyleGAN2 可捕捉大模型完全无视的文化特定质感。 • [34] Patchbay:ADS-B 航空数据的模块化合成器可听化,核心创意是把"整架飞机"作为一等连接类型、以雷达扫描前沿触发音符(作者明确不声称实用价值)。 ═══════════════════════════════════════════════════════════ 语音识别 (ASR) ═══════════════════════════════════════════════════════════ • [5] Pandemonium:把 DiCoW 的 diarization 条件化机制移植到 Parakeet 长篇骨干,加入跨说话人多头注意力与 STNO 掩码精修,让多个说话人解码流互相可见,多个会议基准刷新单麦 SOTA。 • [37] DIY Customized Speech Recognition...:构音障碍研究者本人主导,用 LoRA 微调 Whisper 把 WER 从 49%→17%(medium)/30%→12%(large-v3),全本地流程,欧洲葡萄牙语。 • [29] EvolveCaptions:听人伙伴实时纠错 + DHH 用户录制针对性短语持续微调 ASR,平均约 5 分钟额外录音使 WER 中位数降 27.2%(评分 0.0,解读信息有限)。 ═══════════════════════════════════════════════════════════ 语音理解与大模型 ═══════════════════════════════════════════════════════════ • [8] Capability-Guided Iterative Online Optimization:级联对话中 ASR 与 TTS 互为师生,用域级可懂度探针动态决定教师方向并跨周期刷新检查点,摆脱固定方向的错误传播。 • [15] IRIS-Embed:用指令动态加权 LALM 音频编码器各层隐状态并做对比学习,把 LALM 直接当嵌入模型用的宏平均 Recall@50 从 16.27% 显著拉起。 • [33] Machine Hearing:跨 11 个数量级采样率、7 领域 13 任务的机器听觉基准,揭示现有音频大模型在人耳范围外几乎"失聪",并提出 FFT+膨胀 1D CNN 双路编码器 MachEar。 • [49] LongCap:分块交错处理 + 相对时间戳 + 保留上下文,实现小时级(至 16 小时)带时间戳音频描述的长度外推。 • [50] X-Talk:事件驱动、全链路流式的模块化 S2S 框架,用工程优化论证级联架构的潜力被低估,延迟达亚秒级。 • [51] TWNM:用 FOA 仿真监督 + 双流空间编码器 + 三级 ASA 任务体系与 SAPO 偏好优化,让 LALM 回答"声音在哪里、是否物理合理",自建基准 70.8%。 • [57] EmbeddingGemma 2:744M 参数统一多模态嵌入,模块化编码器可按需以 271M/439M/577M 运行,原生支持交错输入。 • [18] Police Behavior Patterns Through Radio Analysis:34 城 10 万+小时警用无线电语料,结合转录、BERTopic 与符号转移熵做行为模式与异常事件分析。 • [54] PitchBench:28 个实验、17667 条三元组的分层音高感知诊断基准,最强模型平均准确率仅 47.7%。 • [56] MuSP-Bench:音乐家手工出题 490 道,跨乐谱与演奏的长程推理评测,前沿模型两类任务均表现很差。 • [20] GlobalTap:59 国 200 首曲目的众包敲拍节拍基准,证明普通听众标注可达专家级感知质量,绕开西方音乐偏置。 • [11] SCLAP:用一维最优传输替代均匀池化做帧-词元对齐,无需时间标注即提升长音频零样本定位。 • [28] Can LLMs Aid in Annotating Speech Emotional Data:把能量、基频、性别与 VQ-VAE 离散码注入 ChatGPT 提示词做情感标注,以增强数据方式在 IEMOCAP/MSP-IMPROV 超基线。 ═══════════════════════════════════════════════════════════ 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ • [12] Nemotron 3 Diarization:Streaming Sortformer 升级到 8 人容量、10ms 输出,纯 Transformer 骨干 + 学习式上采样 + 活动/幻影辅助损失,同时压低训练与推理成本。 • [6] Virtual-Flow:条件流匹配生成 12 个虚拟麦克风补足 4 真实通道,用时延叠加伪目标做半监督、两阶段 reflow 单步蒸馏。 • [26] SIPS:把预训练预测式增强器当确定性漂移、干净语音训练的分数先验当去噪项,在随机插值 SDE 采样中数学自洽融合,缓解保真 vs 自然的取舍。 • [46] Textraction:TF-Locoformer 骨干 + 轻量极性敏感文本编码器 + 逐块交叉注意力,单次前向完成单/多通道文本引导提取,无需分离-选择流水线。 • [4] BAmbiDrop:通过 Ambisonics 原点重定位为每个麦克风生成掩码并复数平均,冻结网络即实现阵列无关的零样本双耳渲染。 • [9] CallCleaner:用 SAM-Audio 的时间跨度提示零样本降噪动物叫声,再蒸馏为 19M、无需检测器、CPU 上快实时约 90 倍的学生模型。 • [27] Sensing Bone-Conducted Speech with Earbuds:实测两只耳机在多受试者下的骨传导语音振动,给出低通频谱(400Hz 以上陡降)与沿耳道口内外方向的空间特性,论证单轴加速度计可行。 • [10] Discriminator-free adversarial domain adaptation:复用任务分类器作隐式判别器、以核范数 Wasserstein 差异为对抗损失,用于 SER 与病理语音检测的域对齐。 • [43] Reverberant Speech Conditioning...:用 Rec-RIR 重建的脉冲响应替代难获取的参考 RIR 做材质感知声学参数地图预测,T30 误差从 31.5% 降至 19.9%,但主要修正整体水平而非空间分布。 ═══════════════════════════════════════════════════════════ 其他方向 ═══════════════════════════════════════════════════════════ ── 神经音频编解码与低层音频处理 ── • [23] AudioCodex:严格因果的连续音频自编码器,幅度/相位解耦 + Mean Flow 单步生成式解码 + 球面归一化瓶颈,立体声压到约 10Hz 隐序列仍可流式实时。 • [3] Lightweight Neural Prediction for MDCT:0.13M 参数 CNN 预测器即插即用塞进传统 MDCT 编码器,用短窗达到 4 倍长窗的编码质量。 • [36] Real-Time Arbitrary Resampling:输出驱动的位置增量累加 + 两样本线性插值实现相位连续微调音高,作者坦承核心思想不新、卖点在低成本核(评分 4.5)。 ── 音频安全与隐私 ── • [44] MUTE:仅扰动音频,在注意力分布与逐帧嵌入两层同时破坏音画对齐,使说话头生成产出唇形错位视频,兼顾黑盒迁移与后处理鲁棒。 • [7] CASA:LLM 驱动的临床语音匿名化智能体,按任务动态组合声纹与内容匿名化工具,在隐私阈值内保住诊断线索。 • [42] MoBiMark:手机扬声器超声回声感知声道运动,把静态 UID 与内容相关动态 SID 双层水印在采集时嵌入语音。 • [39] MLN-WavLM:完全不用伪造样本,仅在冻结 WavLM 多层表征上拟合收缩马氏距离正常性模型;源域接近有监督基线,但跨域排序退化无法靠阈值挽救。 • [40] From Sound to Occupancy:设备端压缩嵌入 + 服务器端时序推断做建筑占用传感,办公室 AUC 0.87、词恢复率 ≤1%,但说话人身份仍以 55–77% 泄露。 ── 空间音频与声学仿真 ── • [14] Bat Directivities:七种回声定位蝙蝠的全空间发射/接收指向性数据集,GPU 加速 Burton-Miller BEM 仿真,覆盖 4π 球面、20–160kHz。 • [19] Motion-Native Channel Tracking:用共享 B 样条连续轨迹在观测级直接耦合稀疏导频,替代"先估快照再平滑"的近场 XL-MIMO 信道跟踪(THz 通信,非声学)。 ── 音频生成与编辑 ── • [32] STEER:发现音频编辑"改错对象"根源于去噪轨迹前 1–5 步,用任务分组的关键早期噪声区间重采样 + 自生成偏离轨迹纠错监督提升选择性编辑可靠性。 • [53] AV-Phys Bench:首个系统评测联合音视频生成模型物理一致性的基准,最强模型约 66% 通过率,场景动态变化时全线大幅下降。 • [52] VPA Chick Vocalisations:无监督检测-特征-聚类流程分析小鸡叫声,发现 VPA 暴露使软叫声变多、响叫声变少且更"扁平"。 • [45] Bayesian Tonal-State Inference:用相邻窗口后验重叠度 λ 约束证据强度参数,替代无法校准的专家调性标签(评分 0.0,解读信息有限)。 ── 关键词检测与硬件 ── • [30] TsetlinKWS:首个卷积 Tsetlin 机 KWS 加速器,状态驱动数据流 + MFSC-SF 特征 + OG-BCSR 图匹配压缩,16.58µW / 0.63mm²,12 关键词 87.35%。 ── 系统与原型 ── • [16] KR A1:人形机器人交互原型,OpenVoice v2 克隆 + Qwen2.5-3B 对话 + 两层情绪管线,仅语音克隆部分做了小规模非正式测试(评分 4.5)。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 其一,"去中间模块"的极简主义在 TTS 与编解码两端同时抬头:[24] 试图用单模型直接从文本生成波形,[23] 用连续因果自编码器替代离散 token,[3] 则反向证明小神经模块可以"寄生"在传统编码器里而不替换整条管线——三条路径指向同一个问题:中间表征到底是助力还是天花板。 其二,评测基准的爆发是今日最显著的现象:[25][31][33][49][53][54][56][20] 八篇均为基准或诊断性工作,且普遍从"总分"转向"分层解耦 + 可审计证据"——MINT-Bench 拆内容/指令/音质,PitchBench 拆原子/语境/旋律,AV-Phys 拆视觉/音频/跨模态物理。领域正在从"谁分高"转向"错在哪一层"。 其三,物理与世界约束开始进入语音与音频的评测视野:[1] 用三轴物理约束考察 agent,[51] 要求模型回答"声音在哪里、是否物理合理",[53] 直接质问生成模型是否懂物理。这与传统的 WER/MOS 范式是两条不同的评价轴。 其四,隐私与安全方向持续细化且更诚实:[39] 明确报告"跨域排序退化无法靠阈值挽救",[40] 主动承认"说话人身份仍会泄露",这种把失败模式写进摘要的做法值得肯定。 其五,少步采样与流式部署的机理研究开始出现:[35] 首次解释少步流匹配 TTS 的 SIM 损失来源并给出免训练修复,[48] 把 ONNX 图切分做到运行时级别——工程细节正在成为可发表的研究对象。
2026-11-09 eess.AScs.SD 29 篇

ArxivWatcher 每日综述

日期:2026-11-09  共 29 篇(大佬论文 1 篇) ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ • [11] 全双工对话中"该打断还是该附和"的决策训练。作者指出 GRPO 采样式强化学习存在零梯度陷阱(23%–34% 的窗口无学习信号)与信用泄漏,改用窗口奖励的闭式积分直接最大化似然,在六个开源模型上改善了让出/保持平衡且不产生"对沉默说话"的副作用。今日最高分 8.5,方法论层面的批评相当扎实。 • [21] AudioSphere 把单通道音频 MAE 扩展到四通道 Ambisonics,同时重建频谱与强度向量,使冻结的自监督骨干即可做真实场景 SELD,且单通道分类不退化。首次打通"自监督音频表征"与"空间听觉"的二分困境。 • [14] VoxCanvas-41M 发布约 4100 万对中英双语指令式语音编辑数据及可扩展构建流水线,并系统刻画编辑能力的学习动态。填补了该方向长期只有私有数据的空白,规模比此前公开的 GigaEdit-L 高一个量级。 • [29] 用注意力敲除做因果干预,追踪音视频大模型中听觉与视觉信息流,发现跨模态整合发生在中早期层并汇入"后置聚合 token",此后原始模态 token 可弃。为 AVLLM 的可解释性与推理效率优化提供了直接依据。 • [1] 大佬论文(Fei-Fei Li 参与)。TOOLDEX 构建 ego-exo 同步采集的创造性工具使用演示数据集,以"手-工具-目标物"三角分解组织标注,覆盖可变形目标物,并配套推理、3D/4D 重建与机器人策略学习三层基准。 ═══════════════════════════════════════════════════════════ TTS / 音乐生成 ═══════════════════════════════════════════════════════════ • [9] Bridging Spiking and Continuous Dynamics in SNN: A Muscle-Inspired Model 从 AdLIF 阈下二阶动力学导出无阈值可训练积分层,把脉冲流还原为连续声学特征,在语音合成上验证高维韵律/声学重建。 • [14] VoxCanvas-41M 4100 万对中英双语指令式语音编辑数据 + 学习动态分析,见今日重点。 • [8] SPDMX: Large-Scale Open Stem Audio From Symbolic Music 以听感引导的开源渲染配方(FluidSynth + MIDI-DDSP)把公有领域乐谱 PDMX 转成可自由再分发的多轨音频,规避商业音源库的授权限制。 • [12] Encoding of musical structures in hidden units of RBMs 用标准 RBM 在巴赫钢琴卷帘上训练后逐单元解码,结论偏消极:隐藏单元只编码局部音高-时间纹理,未形成旋律、和弦、调性概念,也无移调不变性。 ═══════════════════════════════════════════════════════════ 语音识别 (ASR) ═══════════════════════════════════════════════════════════ • [5] AISHELL8-FISHEYE 47 小时鱼眼/普通相机同步拍摄的普通话视听数据集,并给出畸变感知基线;核心问题是鱼眼径向畸变下唇读特征能否迁移。 ═══════════════════════════════════════════════════════════ 语音理解与大模型 ═══════════════════════════════════════════════════════════ • [11] Integrate the Reward, Don't Sample It 全双工打断/附和决策的闭式似然训练,见今日重点。 • [18] Real-Time Short-Response Selection for Spoken Dialogue Systems 复用 VAP 轮次转换模型的中间特征做对比学习,从预生成短句库中低延迟挑选语境相关填充语,绕开 ASR/LLM/TTS 链路延迟。 • [19] Improving LALM Embedding Baselines for Instruction-Aware Speech Retrieval 用文本指令动态预测音频编码器各层权重并加权聚合,配合对比学习;关键观察是不同检索需求偏好不同层,最后一层并非最优。 • [26] LEMMO: A Large Electromagnetic Model leveraging Pretrained LLMs 分层线性注意力编码器 + 指令条件化证据检索,处理最长 800 万复数采样点的原始 IQ 波形;论文同时报告全量微调会使 MMLU 从 57.41% 跌至 30.00%。 • [29] From Senses to Decisions 音视频大模型信息流的因果追踪,见今日重点。 • [27] Same Words, Different Judgments 同一语义内容以文本/TTS 语音两种模态呈现,用 ICC 刻画评分者数量-可靠性曲线;结论是语音偏好数据同样可靠但评分行为显著不同,文本评估协议不可直接迁移。 ═══════════════════════════════════════════════════════════ 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ • [3] AccentCanvas 共享离散扩散模型统一口音归一化与 L1→L2 转换,帧级语音活动条件保证局部语音/停顿对齐;作者报告仅用合成数据训练无法生成 L2 口音。 • [4] GTCRN-SS 把单输出 GTCRN 改造成因果双说话人分离器,以残差分配契约安置噪声/残余能量,<1M 参数、6.1 G MACs 下带噪 Libri2Mix 达 10.1 dB SDRi。 • [10] REAL-2MIX 指出 AV-TSE 可能无视视觉提示、总输出声学主导者;构建真实双人混合基准 QIANGDA(同一混合音频分别用 A/B 唇动查询)与 VOXBLINK2-AVSE 语料。 • [2] Conflict-Aware Meta-Learning for Speech Deepfake Detection 在 MLDG 框架内检测源域学习与泛化梯度的方向冲突(实测超 43% 迭代为负余弦),以非对称梯度手术、EMA 锚点与逐层投影化解。 • [22] AnomSep 用 NNE 做初步异常声分离,再以流匹配在预训练音频潜空间精修,兼顾检测精度与"可听解释";针对的是端到端检测器只给标量分数的缺陷。 ═══════════════════════════════════════════════════════════ 其他方向 ═══════════════════════════════════════════════════════════ ── 声音事件与场景 ── • [6] NAVE 面向南极鲸类发声检测的 Conformer:四通道噪声感知归一化前端 + 频率动态卷积 stem + 与叫声时长匹配的宽卷积核,单模型单次前向超过需边界提议与后处理调参的 WhaleVAD-BPN。 • [20] SAS: Scene-Annotated AudioSet Strong 用视觉分类器 + LLM 投票为 AudioSet Strong 补场景标签,并以 dPPMI 解耦声学与语义画像;核心发现是场景身份由高辨识度事件而非高频事件决定。 • [21] AudioSphere 多通道掩码自编码器,见今日重点。 ── 通用音频生成与编辑 ── • [15] FoleyForge 基于 rectified-flow 的指令式音效编辑,源条件以变长序列前置注入而非通道拼接,配多控制轴 CFG;训练三元组由多模态大模型合成。 • [13] TOMORI LLM 生成 Lua 代码直接操控 REAPER 原生工程做混音,配套按指令抽象度分级的基准;结论是抽象感知请求("人声更靠前")在工程结构与音质上双双失效。 • [25] AUTEUR 让语言模型生成"前景/情境/声音属性/审计理由"四字段声学计划,配合 RLOO 音频反馈优化,对四个 T2A 系统报告最高 95.6% 攻击成功率。 ── 自监督表征与音频理解 ── • [24] Asymmetric Correspondence Learning 用双编码器共享解码瓶颈分离 HuBERT 的词汇与风格嵌入,随后指出线性探针判定的"信息已剥离"是假象——残余信息以非线性方式沿声门源/声道滤波器维度组织。 • [28] Unsupervised Evaluation of Deep Audio Embeddings for Music Structure Analysis 9 个通用模型 × 3 种经典无监督分割算法,冻结嵌入 + 小节级自相似矩阵做边界检测;通用嵌入整体优于频谱特征,但模型间差异明显,MATPAC++ 最接近专用模型。 ── 副语言、情感与安全 ── • [16] Fuzzy-FedAvg 模糊 Q-learning 学出的同一套权重同时支配客户端选择与模型聚合,配三层 straggler 管理;作者指出此前联邦 SER 工作无一同时处理统计与系统异质性。 • [17] Concordance-Optimal Continuous Music Emotion Estimation 方差分解证明池化帧级相关系数被歌曲间差异主导、无法区分退化模型;提出 MSE+CCC 损失、双分支跨模态时序融合与有覆盖保证的共形预测区间。 • [23] Mind the Divergence 以三模态预测的归一化 JSD 作为统一控制信号,同时调节跨模态门控、可靠性加权温度与 LLM 提示策略,高分歧样本上提升尤为明显。 • [7] AircraftWitness 预注册盲测:理想条件下用飞机多普勒曲线 + ADS-B 轨迹反推录音地点成功率约 6%–8%,随机公开录音上几乎失效。对"该技术很可靠"的既有印象是有力修正。 • [1] ToolDex(大佬论文) ego-exo 创造性工具使用数据集与三层基准,见今日重点。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 今日最鲜明的信号是"对既有评估与训练范式的结构性反思",而非单纯刷点。三条线索值得注意:其一,[11]、[17]、[24]、[27] 分别从强化学习梯度、相关系数统计、探针敏感度、跨模态评分行为四个角度指出当前指标或训练目标可能系统性高估能力,且都给出了替代方案而非仅停留在批评;其二,数据资源建设密集([1][5][8][10][14]),且普遍强调可再分发性与真实采集条件,反映社区对"合成到真实"鸿沟的警觉;其三,空间与多通道音频的自监督表征([21])与全双工交互的时序决策([11][18])正在成为独立的技术簇。相对而言,传统 TTS 与 ASR 方向今日偏冷,语音编辑与音效编辑则明显向"指令式、保留源身份"收敛。
2026-11-06 eess.AScs.SD 23 篇 快照总览

ArxivWatcher 每日综述

日期: 2026-11-06 分类: eess.AS / cs.SD 论文总数: 23 今日论文总览 [1] A Unified Multi-Encoder Framework for Music Lyric Intelligibility Assessment: Bridging Invasive and Non-Invasive Paradigms — Jing Yang、Shenghao Liao、Shuqing Zhang 等 [2] FUSEMOS: Perceptual Evaluation of Text-to-Music Generation with Dual-Encoder Fusion and Ranking-Aware Composite Loss — Jing Yang、Haoyu Wang、Ningning Pan 等 [3] Auditory and Visual Virtualization in 6DoF XR: Effects on Plausibility and Dynamic Auditory Distance Perception — Johannes M. Arend、Christian Scheer、Melissa Ramírez 等 [4] Joint Higher-Order Low-Rank Tensor Decompositions for Multichannel Acoustic System Compression — Matthias Blochberger、Filip Elvander、Jan Østergaard 等 [5] SubRoformer: Subband Time-Domain Representation for Music Source Separation — Chunyat Wu、Chuang Ding、Paris Smaragdis 等 [6] Improving the Clinical Generalizability of Machine Learning-Based Alzheimer's Disease Detection Across Domains and Modalities: A Comprehensive Review — Yingchao Huang、Yuhan Su、Xin Wang 等 [7] ProCraft: Instruction-Driven Music Production from Free-Form Text — Yuan-Chiao Cheng、Yi-Hsuan Yang、Vincent K.M. Cheung [8] VoxCanvas-41M: A Large-Scale Bilingual Dataset for Instruction-Based Speech Editing and Its Learning Dynamics — Zhikang Niu、Wenming Tu、Yalin Li 等 [9] DM-ASR: Diarization-aware Multi-speaker ASR with Unified Offline and Online Decoding with Large Language Models — Li Li、Ming Cheng、Weixin Zhu 等 [10] Murmur: Efficient Long-Context ASR Inference with Hierarchical Chunking — Wei-Tzu Lee、Keisuke Kamahori、Baris Kasikci [11] Structural and Representational Agency in LLM-Driven Timbre Generation and Interpolation — Joseph Cameron、Alan Blackwell [12] Decode Before You Hear: Speculative Listening for Chunk-Interleaved Full-Duplex Speech Language Models — Yutong Bian、Yanglin Zhang、Yuxiang Wang 等 [13] Latent Terrain: Adapting Neural Audio Autoencoders as Design Materials in NIME — Shuoyang Jasper Zheng、Keigo Yoshida、Nico García-Peguinho 等 [14] Design of a Speech Enhancement-Based Deep Semantic Autoencoder for Wireless Communications — Xiaoling Han、Bin Lin、Nan Wu 等 [15] FFMT: Frequency-Factorized Multi-Rate Tokenization for Music-to-Dance Generation — Qirong Guo、Ruijie Li、Zeyan Li 等 [16] Adaptive and High-Fidelity Matching Algorithm for Retrieval-Based Accent Conversion — Xinran Wang、Ning Chen、Yixin Luo 等 [17] Route-DMD: Distribution Matching Distillation with Task-Routed Mechanism for Speech Foundation Models — Yanru Huo、Zhikang Niu、Wenming Tu 等 [18] Gabor Gabor: E-Gaborformer, a Strictly Causal Speech Recognizer with Gabor-Dictionary Convolutions and Delta-Rule Memory — Nir Krakowski、Tamir Cohen、Ohad Zohar 等 [19] FastWave: Optimized Diffusion Model for Audio Super-Resolution — Nikita Kuznetsov、Maksim Kaledin [20] Empirical Study of Pop and Jazz Mix Ratios for Genre-Adaptive Chord Generation — Jinju Lee [21] How Far Can Chord-Symbol Time-Series Adaptation Carry Genre Identity? Capabilities and Boundaries in Multi-Genre Chord-Symbol Modeling — Jinju Lee [22] Implementing Keyword Spotting on the MCXN947 Microcontroller with Integrated NPU — Petar Jakuš、Hrvoje Džapo [23] TV-AudioRemover: Joint Text-Visual Guided Sound Removal with Multi-Task Hard-Mixture Curriculum — Xinyue Guo、Jianxuan Yang、Daiguo Zhou 等
2026-11-05 eess.AScs.SD 24 篇

ArxivWatcher 每日综述

日期:2026-11-05 | 论文总数:24 篇 | 大佬论文:0 篇 ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ • [15] VIPBench 用 1,290 名听众、12.4 万次"是否同一人"判断构建了首个大规模人类感知对齐的说话人识别基准,发现没有模型达到人类可靠性上限,且克隆语音是机人分歧最大处——这是今天评分最高的工作,也把"声纹安全"的评价标准从元数据标签推向感知层。 • [21] CRESiST 把同声传译的读写时序策略形式化为 MDP,用 Actor-Critic 自增强在无对齐监督下自主学出"何时读、何时译",在质量-延迟帕累托前沿上取得进展,摆脱了对强制对齐的依赖。 • [10] DUET 发现扩散/流匹配 TTS 的隐藏状态中存在与说话人近乎正交的"情感方向",据此做隐藏空间+梅尔空间的双空间免训练引导,是即插即用情感控制的干净思路。 • [16] LiveFoley 用尾随滑动窗口与扩展去噪窗口,在约 0.08 秒视觉前瞻下同时拿到接近离线的音画对齐与流式最优音频质量,并给出用户研究的感知延迟阈值(动作音效 0.34 s / 语音 0.49 s / 环境音 0.85 s),工程参考价值高。 • [19] Confucius4-R2T2 提出"最长稳定前缀"标签后训练,把全上下文 ASR 改造成输出永不回改的流式模型,把"稳定性"当作与准确率、延迟正交的一等约束来优化。 ═══════════════════════════════════════════════════════════ TTS / 音乐生成 ═══════════════════════════════════════════════════════════ • [10] DUET: Unified Dual-Space Emotion Control for Diffusion and Flow-Matching Driven Text-to-Speech 免训练情感控制:沿隐藏空间情感方向引导 + 可微声码器回传的梅尔空间修正,双空间联合干预冻结骨干。 • [12] MuLaCover: Flexible Cover Song Generation via Symbolic Tonal Control 以 BPM 归一化的符号化乐谱(旋律+和弦)替代帧级条件,经门控交叉注意力注入预训练文本到歌曲模型,解除逐帧对齐束缚。 • [24] MusTBench: Benchmarking and Advancing Temporal Grounding in Music LLMs 指出音乐 LALM 能说"发生了什么"却说不准"何时发生",构建专家校验基准并给出四阶段训练配方(转变感知预训练、正弦时间嵌入、任务均衡 SFT、连续奖励 GRPO)。 ═══════════════════════════════════════════════════════════ 语音识别 (ASR) ═══════════════════════════════════════════════════════════ • [19] Confucius4-R2T2: A Stable-Prefix Streaming ASR Model for Real Real-Time Transcription 用最长稳定前缀标签与 Wait token 学习,使流式输出不可修改,精度接近全上下文模型。 ═══════════════════════════════════════════════════════════ 语音理解与大模型 ═══════════════════════════════════════════════════════════ • [3] Speaker-Consistent Grounding for Confusion-Resilient LLM-Based Target Speech Extraction 两阶段抗混淆 TSE:先用免训练候选选择修复证据身份,再用码空间汉明距离约束 LLM 解码,针对"跟错人"与"内容漂移"两类失败。 • [7] SAUCE: Summary Analysis Using Conversation Entailment 无参考对话摘要评估,用 LLM 事实抽取 + NLI 蕴含构建可追溯事实账本,同时度量忠实度与覆盖度。 • [8] PAID: Phoneme-Aligned Acoustic Units for Cross-Corpus L1-Background Classification 按音素区间池化冻结 Whisper 特征并附音素身份嵌入,把口音线索从全局池化中解放出来。 • [11] OLIVE: View-Augmented Latent Prediction with Waveform Reconstruction for Speech SSL 把波形重建(HiFi-GAN 解码器)与掩码蒸馏放进同一次预训练,兼顾判别性与生成所需细节。 • [21] CRESiST: Self-Enhancing Explorative Policy Learning for Simultaneous Speech Translation 读写交错架构 + Actor-Critic 自增强 + 反向蒸馏,无对齐监督下自学流式读写策略。 ═══════════════════════════════════════════════════════════ 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ • [5] Human-like cross-language generalisation in deep neural speaker embeddings and its acoustic foundations 18 种嵌入模型 × 粤英双语感知 × 29 维声学特征的三方 RSA 对齐,发现机器跨语言泛化与人类听觉高度平行。 • [15] VIPBench: A Human-Aligned Benchmark for Voice Identity Perception in the Age of Voice Cloning 大规模人类听感基准,引入噪声上限与四任务协议,揭示克隆语音上的机人分歧。 • [1] CLRM: Cross-Layer Relation Modeling for Audio Deepfake Detection 插件式增强:显式建模冻结 SSL 编码器层间的差异/交互/相似度,轻量融合进现有检测器。 • [17] GraphSeal: Graph-Augmented Speech Deepfake Detection via Temporal-Spectral Artifact Propagation 以时间相邻 + 频谱相似构建动态图,用 GATv2 传播伪造伪影,弥补固定拓扑图模型的局限。 ═══════════════════════════════════════════════════════════ 空间音频 / 多模态视听 ═══════════════════════════════════════════════════════════ • [2] Virtual Microphone Array for Direction-of-Arrival Estimation Based on Fiber-Optic Position Sensing 单参考麦 + 光纤形状传感实时重建运动麦轨迹,把运动位置当虚拟阵元,用 TDOA 双曲面求交定位。 • [4] The Hearpiece Database of Binaural Room Impulse Responses and Driver Responses on KEMAR 同一测量框架下整合外部声源路径与受话器路径的 BRIR 数据库,含两种佩戴配置与三种混响条件。 • [13] Wave Physics as Representation: Tensor-Structured Neural Reconstruction for Ocean Acoustic Fields 从简正波理论推导 S/c 张量表示,配 LL1 分解与轴向注意力网络 TIDAL,从稀疏测线重建三维声场。 • [14] CAST-Bench: Tracing Every Sound to Its Source in Multi-Shot Audio-Video Generation 声源均衡采样的诊断型基准,18 项拆分指标分离"声音缺失/声源错配/跨镜头丢失"。 • [16] LiveFoley: Dynamic Real-Time Video-to-Audio Generation for Immersive Interactive Worlds 流式 V2A:尾随滑动窗口 + 统一变跳步框架,把视觉前瞻延迟解耦为可动态切换的跳步大小。 • [20] Which One Is Sounding? Binaural Sounding Instance Disambiguation for Audio-Visual Segmentation 用双耳 ITD/ILD 空间响应图做特征级调制与解码器级稠密提示,在同类候选间消歧发声实例。 ═══════════════════════════════════════════════════════════ 其他方向 ═══════════════════════════════════════════════════════════ • [6] SonoDyno: A Sonic Dynamometer for Engine Speed and Load Estimation from Audio 阶次梳状表示 + 旋转动力学解码器,从录音联合估计转速、气缸数与归一化负载,绕开点火频率的整数倍歧义。 • [9] ENACT-Heart: ENsemble-based Assessment Using CNN and Transformer on Heart Sounds 同一心音的频谱图与波形-频谱质心双表示,ViT + CNN 预测级固定权重融合,五分类 97.52%(作者明确不宣称 SOTA)。 • [18] Drowning in Noise: On Signal Saliency in Self-Supervised Learning for Ocean Acoustics 受控对比显示 30 小时精选动物叫声远胜 1240 小时原始录音——海洋 SSL 的瓶颈是信号显著性而非数据规模。 • [22] Same Words, Different Judgments: How Preferences Vary Across Modalities 同一语义的文本版与 TTS 语音版偏好评分对比:可靠性相当但行为不同(语音决策阈值更窄、长度偏见更弱、跨模态一致率仅约 53%)。 • [23] SpikCTU: A Compact Spiking Network with Adaptive Recurrent Computation for Speech Command Recognition 固定连续记忆 + 共享连续思考单元循环,二值脉冲状态更新配自适应早退,0.16–0.17M 参数下取得有竞争力精度。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 今日 24 篇中评测与基准类工作占比突出([14][15][22][24]),且共同指向一个方法论转向:不再满足于聚合分数,而是要求"可定位、可追溯、与人类感知对齐"——VIPBench 把声纹评价锚定到听众判断,CAST-Bench 把音视频失败拆到声源级,SAUCE 要求给出事实账本。另一条主线是"冻结骨干 + 轻量外挂"的复用范式:[10] 的情感方向引导、[1] 的跨层关系插件、[3] 的证据修复接地、[19] 的标签后训练改造,都在不重训大模型的前提下榨取既有表征。此外流式与实时约束持续升温([16][19][21]),且三篇都把"延迟"从工程指标提升为建模对象。值得注意的是,海洋声学 [18] 与心音 [9] 等垂直领域工作提示:数据规模直觉在低信号密度场景可能失效,数据策划的重要性正在被重新评估。
2026-11-04 eess.AScs.SD 24 篇

ArxivWatcher 每日综述

日期:2026-11-04 | 共 24 篇 | 大佬论文:0 篇 ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ • [3] VeriSpoof 用一套 Qwen3-ASR 编码器 + MiniCPM5-2B 权重统一检测、溯源、条件分析、片段定位与同源验证五项取证任务,并把每个判断落成可逐句核验的似然打分;开源权重系统中检测性能最佳,是今日评分最高的工作。 • [22] HyVox 把说话人嵌入计算卸载到脉冲神经网络芯片 Xylo Audio 3、把画廊存储与开集拒识留给 MCU,动态能耗比最省电的嵌入式 ANN 基线低 13.5 倍——首次让开集说话人识别在神经形态硬件上闭环。 • [9] Oído 把 13M 参数 Conformer-CTC 经 int8 量化与带宽感知调度塞进 5 美元 ESP32-S3,LibriSpeech test-clean 仅 3.70% WER(比全精度差 0.02 点),但 RTF 1.97 尚不能实时,是"能跑"与"能用"之间的诚实样本。 • [6] ReListen 不训练任何模块,仅用冻结音频语言模型对 20 秒窗口逐段打 yes/no 概率分,再重听最高分的一分钟作答,把一小时长音频问答降解为模型本已具备的小判断。 • [24] 用注意力敲除做因果干预,追踪音视频大模型中声音与画面到文本 token 的信息流,发现走的是"模态→聚合 token→预测"的间接路径,且信息传完后原始 token 可丢弃而几乎不掉点。 ═══════════════════════════════════════════════════════════ TTS / 音乐生成 ═══════════════════════════════════════════════════════════ [16] TTSonic: A Unified Framework for Composable and Controllable Speech Generation 语义-声学解耦分词器 + 文本到语义自回归 LM + 流匹配解码器,用一套权重覆盖零样本 TTS、音色/韵律克隆、指令跟随、音色设计与语音转换。 [1] NepTTS-Bench: Native-Speaker Benchmarking and NepaliMOS for Nepali Text-to-Speech 尼泊尔语母语者基准(205 句、77 组音系最小对立对、180 位评分者),揭示 SCOREQ 等自动指标与母语者偏好严重不一致,并诚实报告 NepaliMOS 跨系统迁移的局限。 [12] How Close to the Theme? Similarity-Label Conditioning for Game Music Generation 在冻结 Moonbeam 上挂 LoRA 与上下文向量,学习"高/中/低相似度"标签控制新段落与原主题的接近程度;方向可控,程度尚不可控。 [13] PianoBench: Evaluating Musical Perception and Reasoning in Language Models 从钢琴教学视频构建语音-演奏交错的 PianoTalk 与 250 题三条件对照基准,揭示模型"能推理乐谱但听不出音乐"的感知鸿沟。 [18] Detector-Guided Vocoder Training for Adversarial Text-to-Speech Synthesis 冻结声学模型与检测器、只微调 BigVGAN 声码器,把可微检测损失并入训练目标,使合成语音内在地具备对抗性且无需后处理加噪——顺带提升了自然度。 ═══════════════════════════════════════════════════════════ 语音识别 (ASR) ═══════════════════════════════════════════════════════════ [9] Oído: Real-Time Open-Vocabulary Speech Recognition on a $5 Microcontroller without a Neural Accelerator 逐帧动态 int8 量化 + 带宽感知分块调度 + 批量等价贪心 Transducer 搜索,在无 NPU 的 ESP32-S3 上实现近无损开放词汇识别,代价是约 2 倍实时的延迟。 [10] How Architecture, Typology, and Adaptation Strategies Shape ASR for Low-Resource African Languages 在六个非洲语言上对 Phi-4、Whisper、MMS 做匹配每语言数据预算的受控对比,为"选什么模型、要多少小时、单语还是多语微调、适配器能否借用"给出干净实证。 [14] Clean-anchored excess-emission control for CTC adaptation under competing speech 用冻结干净语音教师给出的期望折叠 token 数作锚点,只单边惩罚带噪学生的超额发射,抑制竞争语音导致的插入错误,推理零额外开销。 ═══════════════════════════════════════════════════════════ 语音理解与大模型 ═══════════════════════════════════════════════════════════ [6] ReListen: Training-Free Evidence Localization in Hour-Long Audio with Frozen Audio Language Models 冻结 ALM 的逐窗 yes/no 概率读数即检索器,免转录、免训练,绕开"转录丢声音"与"重听需重训"两条老路。 [15] SciPhi-Chat: Training a Spatial Audio Agent for Question Answering, Dialogue, and Tool Use 基于 Phi-4-multimodal 接入冻结 FOA-VAE 与 Conformer 编码器,只训投影层与 LoRA,支持空间问答、多轮指代与可执行工具调用,配套 42 类任务基准 MASU。 [19] Confidence-Aware Aggregation for Multimodal Audio Reasoning 多次采样后用长度归一化序列对数似然作自置信度,以 Borda / Log-Sum-Exp 加权聚合替代多数投票,免训练同时改善准确率与校准度。 [24] From Senses to Decisions: The Information Flow of Auditory and Visual Perception in Multimodal LLMs 逐层屏蔽模态到文本 token 的注意力边,刻画音视频信息流的间接路径,并指出同期"深层整合"结论在问答场景下可能受注意力伪影误导。 [8] NVV-Locator: From Transcript Tags to Acoustic Boundaries for Fine-Grained Nonverbal Vocalization Grounding 把 Qwen3-ASR-0.6B 改为非自回归槽位填充,输出笑声/咳嗽/叹气的类别与波形起止边界,配四阶段自动标注流水线与专家校验基准。 [23] Same Words, Different Judgments: How Preferences Vary Across Modalities 同一语义内容的文本版与 TTS 语音版偏好评分对比:整体可靠性相当,但音频评分者阈值更窄、长度偏差更小、跨模态一致性近随机——语音偏好协议不能照搬文本。 ═══════════════════════════════════════════════════════════ 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ [22] HyVox: Rethinking Low-Power Voice Intelligence towards Neuromorphic-von Neumann Edge Computing 脉冲芯片算嵌入、MCU 管画廊与拒识的混合架构,配芯片精确训练与分层时间抽象骨干,实现能量预算下的开集说话人识别。 [2] Attendance-guided speaker enrollment across meetings 利用会议"预期出勤名单"与匿名聚类的交叉比对,跨会话自动提取注册语音,并发布对纳入/遗漏噪声敏感的评价协议。 [5] Metadata-Conditioned Audio Transformers for Adaptive Respiratory Sound Classification 用 FiLM/TAFiLM/SoftFiLM 在 AST 内部逐层注入设备、听诊部位、年龄/BMI 等元数据,按采集条件自适应调制特征。 [21] Towards Automatic Heart Murmur Characterization from Multi-spot Phonocardiograms 把杂音分析从"有无"推进到时相/形态/音调/分级/音质五属性,四听诊部位独立建模 + 最大严重度晚期融合最优。 [20] Hybrid acoustic and pretrained embedding feature fusion for UAV detection under a leakage-aware evaluation protocol 指出随机切分导致同段录音泄漏、ESC-50 被误当外部测试集,改按录音来源分组评估后,手工特征 + YAMNet 嵌入的堆叠集成达 95.29%。 ═══════════════════════════════════════════════════════════ 其他方向 ═══════════════════════════════════════════════════════════ [3] VeriSpoof: Beyond Real or Fake with One Audio LLM 统一音频取证问答,五项任务共用一套权重,反事实训练保证 rationale 忠实性,开源权重中检测最佳。 [4] Cross-Codec Robustness in Speech Watermarking 系统比较不同神经编解码器作信道增强的效果,发现 Mimi + SNAC 低比特率联合增强对未见编解码器泛化最好,音质几乎无损。 [17] Averaging Collusion Breaks Traceability in Personalized Neural Audio Watermarking 逐样本平均多份个性化水印副本即可使溯源失败率达 87.7–99.7%,并可反向栽赃;提出置信度筛查作初步防御。 [7] Exploring frequency-domain feature modeling for head-related transfer functions magnitude upsampling 指出 HRTF 上采样被过度当作空间插值问题,用卷积 + 自注意力的 FD-Conformer 显式建模跨频率结构,极稀疏测量下重建精度显著提升。 [11] Biologically Inspired Predictive Gating Signed-Dyadic Coding for Mandarin Keyword Spotting 在输入侧用可训练泄漏预测器与阈值门控只发送偏离预测的稀疏事件,配无乘法器符号-二进载荷,降低内存读取与推理周期。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 今日无大佬论文,但"评测基础设施"与"部署可行性"两条线格外密集:尼泊尔语 TTS 基准 [1]、钢琴感知基准 [13]、空间音频 42 类基准 [15]、无人机泄漏感知协议 [20] 共同指向一个共识——领域正从"刷分数"转向"质疑分数怎么来的"。硬件侧,[9] 与 [22] 分别从冯·诺依曼 MCU 与神经形态芯片两端挤压边缘语音的能耗与算力边界,且都诚实标注了"尚不能实时"的代价。安全方向 [3][4][17][18] 形成完整攻防闭环:统一取证、跨编解码鲁棒、合谋攻击、检测器引导生成,其中 [17] 的合谋失效与 [18] 的"生成即对抗"值得对照阅读。理解侧则出现明显的"免训练"倾向——[6] 与 [19] 都不训练新模块,转而挖掘冻结模型的既有能力。
2026-11-03 eess.AScs.SD 56 篇

ArxivWatcher 每日综述

语音与音频领域论文综述 · 2026-11-03 共 26 篇(大佬论文 0 篇) ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ • [34] 提出「感知—利用」二维评估协议,发现语音原生大模型能从音频中解码出沮丧情绪,却几乎不在任务行为中利用它;现有基准把「没感知到所以没反应」误判为鲁棒性。这是今日评分最高的工作,方法论上对评测范式有纠偏意义。 • [42] 面向流式 SpeechLM 的 GPU 服务系统,按音频块「紧迫程度」分配 SM 分区,把不紧急的块批量塞进小分区、首块与临近播放截止的块独占整卡,兼顾 TTFA 与不卡顿。 • [51] 把 RVQ 的时间维与深度维解耦,用完全共享参数、以 RoPE 码本索引做阶段条件的深度解码器生成所有码本层,端侧去标记器仅约 21MB 内存、约 16 倍实时,已落地 Siri Expressive Voices。 • [10] 首个「阵列灵活」的多通道到多通道目标语音提取框架,任意麦克风数量与几何下逐通道重建目标语音并保留空间信息,直接服务 VR/AR 空间渲染。 • [43] 系统回答「LM 无损压缩能否扩展到全保真音频」,提出字节级分层分词 Trilobyte,把词表从 O(2^b) 压到 O(1),首次让 24-bit 音频的 LM 无损压缩可行。 ═══════════════════════════════════════════════════════════ TTS / 音乐生成 ═══════════════════════════════════════════════════════════ [51] Memory Efficient Audio Synthesis with Decoupled Temporal Depth Diffusion Transformers 端侧流式去标记器,时间/深度解耦 + 参数共享深度解码器 + 固定窗口 KV 缓存,实现常数内存与高实时率。 [37] ViSSFlow: Unifying Video-Conditioned Sound and Speech Generation via Joint Learning 用单一流匹配 DiT 同时做视频生成音效与 VisualTTS,靠解耦条件聚合与特征级数据合成绕开联合训练的数据稀缺与任务干扰。 [17] ResMamba: A Dual-Path Convolution-Mamba Model for Music Genre Classification 卷积与 Mamba 并联的双路径块嵌入 ResNet 四阶段骨干,在无预训练、无增强的严格设定下做流派分类。 ═══════════════════════════════════════════════════════════ 语音识别 (ASR) ═══════════════════════════════════════════════════════════ [2] Multilingual TASU: Extending Text-Only Alignment to Multilingual Speech Recognition via Simulated CTC Posteriors 把纯文本对齐从英语扩展到八种语言,验证多语种 CTC 原生后验可作共享对齐接口,再用极少配对语音微调。 [36] ufakzeka-kulak: Building and Evaluating a 31.6M-Parameter Turkish Speech Recognizer from Scratch 3160 万参数 FastConformer + TDT/CTC 双头,用双识别器互校清洗约 4700 小时 YouTube 音频,超过 Whisper base/small 但不及 large-v3,Apache-2.0 开源。 ═══════════════════════════════════════════════════════════ 语音理解与大模型 ═══════════════════════════════════════════════════════════ [34] Voice-Native LLMs Hear Frustration but Do Not Listen to It 基于 Brunswik 透镜模型构建 VOXAFFECT 与 2×2 措辞×语气交叉设计,分离表达、感知、利用三环节。 [42] VoxServe: Streaming-Centric Serving System for Speech Language Models 紧迫性感知的异步三通道调度,解耦主干与 codec 两阶段并松弛时间分配 SM 分区。 [44] Duplex-MPE: Benchmarking Multi-Party Interaction in Full-Duplex Dialogue 多人共享对话全双工基准,把地址识别转化为控制模型是否发声的隐式决策,用四个独立分母指标分别评估发起、正确性、沉默保持与话轮让出。 [55] SpeechEQ: Benchmarking Emotional Intelligence Quotient in Socially Aware Voice Conversational Models 2265 段六轮对话覆盖 EQ-i 2.0 十五个子量表,候选回复文字完全相同、仅语气不同,以隔离声学推理。 [45] Efficient Agentic Audio-Visual Question Answering through Toolset Pruning and Modality Consolidation 受控消融显示 8 工具智能体可剪到 2 个全模态工具,准确率不降而推理成本降约 70%。 ═══════════════════════════════════════════════════════════ 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ [10] SPATEX: Array-Flexible Multichannel-to-Multichannel Target Speech Extraction using Direction Clue DeFTAN-II 骨干 + 几何感知通道交换 + 跨麦克风共享时间注意力 + IPD/相干性空间损失。 [41] Geometry-Conditioned Target Speaker Extraction based on spatial features incorporating acoustic propagation principles 用目标导向矢量与 GCC-PHAT 空间掩码替代抽象位置编码,把声学传播规律显式注入几何条件分支。 [47] Q-BWE: Quantum Chaos-Informed Speech Bandwidth Extension 5 比特量子启发判别器联合建模多混沌特征交互,替代一特征一判别器,参数量降约 1.72 倍。 [52] Removing Speech, Keeping Activities: Speech Removal for Privacy-Preserving Acoustic Sensing in Assisted Living 反转语音增强目标做「去语音保背景」,纯合成数据训练的 U-Net 前置防火墙,服务于居家活动识别。 ═══════════════════════════════════════════════════════════ 音频生成 / 编解码 / 压缩 ═══════════════════════════════════════════════════════════ [43] Benchmarking Language Modeling for Lossless Compression of Full-Fidelity Audio Trilobyte 字节级分层分词,把采样拆为字节交错序列,使 16/24-bit 音频的 LM 无损压缩首次可行。 [16] 8 Bits to End the Loudness War: Lossless Floating-Point Compression for Audio Streams 在 FLAC 整数 LPC 流水线上做动态位置对齐,使 32 位浮点音频压缩到接近 24 位整数的体积。 [48] OmniOPD: Stable On-Policy Distillation for Joint Audio-Video Generation 针对音频 token 比视频少约 48.8 倍的稀疏监督,用特权视觉引导、分组多噪声采样与时间步级加权稳定蒸馏。 ═══════════════════════════════════════════════════════════ 副语言 / 健康 / 情感 ═══════════════════════════════════════════════════════════ [38] Paediatric-HGNN: A Hybrid Heterogeneous Graph Neural Network for Detecting Disfluency in Children's Speech via Multiscale Acoustic Fusion 把语音建模为词节点与声学帧节点的异构图,区分病理性口吃与发育性不流畅,纯儿童数据加权准确率 82.4%。 [46] Acoustic and Attentional Challenges Shape the Balance Between Attended and Competing Speech Tracking Differently 六个 EEG 数据集扫描混合权重 k,发现被注意/竞争语音的皮层追踪平衡随声学难度、注意任务与助听器处理而变。 [56] A Study of ASR Adaptation and Representation Dimensionality Reduction in Persian Speech Emotion Recognition Using Whisper PCA 无监督降维优于可学习投影层,而波斯语 ASR 微调对情感识别的迁移增益有限。 [39] Beyond Speaker Independence: Evaluating Cross-Lingual Acoustic-to-Articulatory Inversion Across Finnish and Russian 在 FROST-EMA 上首次把性别偏移与语言偏移作为独立因素隔离,发现语言不匹配的损失大于性别不匹配。 ═══════════════════════════════════════════════════════════ 声音事件 / 场景 / 其他 ═══════════════════════════════════════════════════════════ [50] Sub-Band Spectral Matching with Localized Score Aggregation for Robust Anomalous Sound Detection 特征沿频率轴切子带各自检索记忆库后均匀平均,缓解全局最近邻的绑定参考与能量耦合问题。 [40] Mosquito acoustic identification at unseen recording sites: practical limits of common transfer remedies for vector surveillance 提出「编码器强度单调定律」,把六项复合损失精简为交叉熵 + 单一 MMD + 数据增强。 [49] A Human-Verified AI Workflow for Annotating Environmental Sound Data 微调 AST 做二分类预筛 + 三清单溯源 + 只记例外的连续播放验证,减少约 41% 剩余标注量。 [53] Task-Aware Joint Pruning and Distillation for Efficient Audio Deepfake Detection 跨域无标签蒸馏 + 运动引导结构化剪枝,317M 压到 31.9M,平均性能仅降 1.30%。 [54] DuoGesture: Motion-Grounded Semantic Conditioning and Biomechanical Beat Priors for Co-Speech Gesture Generation 语义手势与节拍手势双流解耦建模,配运动锚定语义条件、变分信息瓶颈门控与惯性节拍先验。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 今日无大佬论文,但工程与评测两条线都很扎实。评测侧出现明显的「方法论纠偏」倾向:[34] 与 [55] 都指出既有基准存在捷径——前者把「无反应」误读为鲁棒,后者让模型靠文字语义绕过声学推理,二者共同推动语音大模型评测从「输出对不对」转向「能力从哪来」。系统侧 [42][51] 显示 SpeechLM 的落地瓶颈已从建模转向服务调度与端侧内存预算,且都给出了真实部署背书。压缩方向 [43][16] 罕见地同时从「LM 无损压缩可行性」与「浮点格式支持」两端推进,指向发行环节的格式革新。传统方向(TSE、SER、ASD)则以「注入显式物理/几何先验」和「改打分而非改模型」为主要抓手,增量务实。
2026-11-02 eess.AScs.SD 27 篇

ArxivWatcher 每日综述

日期:2026-11-02 | 共 27 篇(大佬论文 0 篇) | 评分区间 5.5–8.0 ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ • [6] 提出"有据生成式语音识别(GSR)"新范式,指出 WER/CER 精确匹配在 Speech-LLM 时代存在"指标悖论",并构建四级能力分级的 GSR-Bench 与 LLM-as-Judge 语义评测。这是今日对 ASR 评测体系冲击最大的一篇。 • [19] 从输入侧而非输出侧缩小语音-文本模态差距:把语音转成"文本 token + 韵律嵌入"双流输入,仅约 1000 小时音频训练即同时获得低模态差距与副语言理解能力,思路清晰且可复用。 • [21] 用 Mamba 状态空间骨干替换 Transformer 做流式文生音频,线性复杂度 + O(1) 状态缓存,支持长音频生成与生成过程中动态切换提示,是效率路线的实质性推进。 • [3] 27B 开源语音条件智能体,把对话、推理、工具调用统一在同一语音主干内,语音合成作为可替换外部组件;定位明确,但为 Preview 性质,评测覆盖需谨慎看待。 • [13] 把多人 ASR 重构为"日志条件化的多轮生成",同一模型统一离线与因果在线解码,填补了显式利用日志线索且双模式统一的框架空白。 ── TTS / 音乐生成 ── • [21] MFlowAudio:Mamba + Flow Matching 的流式长音频文生系统,Time-Channel 双扫描骨干,线性复杂度与常数状态缓存。 • [24] Nedimo:多语言助眠故事生产流水线,四阶段注意力渐降叙事契约 + 分层护栏 + 音频母带质检;明确不主张临床疗效,属工程约束型工作(5.5 分)。 • [23] 音乐几何模式匹配的公理化框架:形式化变换类、出现集与变换等价等概念,允许非双射变换;纯理论,无实验验证。 • [9] 音频-图像-符号音乐检索的 PEFT 实证:用 2×2 因子设计分离"编码器适配"与"共享投影"的效应,指出单模态判别力提升未必转化为跨模态对齐。 ── 语音识别 (ASR) ── • [6] GSR-Bench:定义"有据改写空间"与声学幻觉,用语义评测替代精确匹配,直指 WER/CER 的指标悖论。 • [13] DM-ASR:日志作为结构先验提示,多轮生成式多人转写,离线/在线统一。 • [18] 模型合并用于多领域 ASR:11 种算法 × 10 个葡语领域,提出 BoostedTSV-M 与 Newton–Schulz 正交化,兼顾领域精度与多语言 OOD 保持。 • [7] 生物启发的符号-二进稀疏事件编码用于中文关键词识别:只在预测残差超阈值时发送事件,实现无乘法器解码,主打能耗与访存(6.5 分)。 ── 语音理解与大模型 ── • [19] TextPro-SLM:输入侧双流表示缩小模态差距,论证输出侧已趋近 TLM、瓶颈在输入端。 • [3] Apriel Voice 27B Preview:Gemma 4 26B-A4B 主干 + Whisper 编码器投影,源相关 CE/FKL 联合监督与在线蒸馏保文本能力。 • [2] JYVA at BeTraC:SOAP 分段专用查询 + 轻量 Q-Former 压缩长对话音频,BeTraC 轻量赛道第四,主打幻觉抑制。 • [8] AUDIOHELIX:chunk-unit-概念三层双图 RAG,以语义概念为桥做跨片段多跳检索,避免纯文本 RAG 丢副语言、纯音频 RAG 冗余的问题。 • [12] AQA-TTRL:测试时强化学习用于音频问答,多数投票伪标签 + 置信度加权优势,缓解伪标签噪声与优势坍缩。 • [10] Audio-LLM 做 MOS 评估的诊断性案例:零样本完全不可用(分数压缩、位置偏见、缺低层声学感知),LoRA 微调后 SOMOS 上 Pearson 0.65,超过 UTMOS。 • [16] Speech-DRAME:双语人工标注语音角色扮演基准 + 对齐评测模型,关键发现是合成语音上有效的评测器迁移到真实人声几乎失效。 • [5] 跨模态情感不一致性评分 p_incon:连续无阈值、在 VAD 空间计算,验证"说的内容"与"说的语气"冲突时 audio LLM 更易错,且错误发生在多模态整合环节。 • [27] TamilEOT:首个泰米尔语窄带电话语义话轮结束数据集与模型,基于 Smart Turn v3 架构,诚实报告负面结果与标注协议成本。 ── 说话人 / 转换 / 增强 ── • [1] VoxLock:免注册目标说话人提取,从通话开头自动截 3 秒样本,因果 BSRNN + 双路条件注入 + 四阶段渐进微调;真实录音上识别错误率与 Krisp 最佳滤波器相当,单 CPU 线程实时(6.5 分)。 • [22] 以对象为中心的音频自监督表示:冻结 AST patch 嵌入 + 槽位注意力重建,同一套隐表示复用于分类、事件检测与分离,并展示未见类别的零样本分离。 • [17] 变分分解自编码(VDA):把信号分解(EWT/FD)作为结构性先验嵌入编码器,用分布级对比损失替代解码器,提升隐表示解耦度。 • [14] ALS 检测的多发音图学习:冻结 SSL 嵌入 + 受试者级 kNN 图 + GIN 聚合多段元音/DDK 片段,做构音障碍严重度估计与进展预测(6.5 分)。 ── 空间音频 / 多模态视听 ── • [15] AV-QTSS:类查询目标声音空间化,分离器 + 查询条件稠密绑定定位器 + 可微 FOA 渲染器联合优化,统一"提取-定位-渲染"三件事。 • [20] ARCTIC:单声源 + 早期反射实现两非共面阵列自定位,镜像声源点云配准 + 锚定三角形一致性搜索,把所需声学事件降到一次。 • [11] ARPEGE 数据集:6 房间、248 条球面阵列 RIR,含镜像声源级几何标注与阵列朝向恢复流程,填补"听声推房间几何"的标注数据空白。 • [26] 手术器械声源定位:首次将弱监督 AV-SSL 迁入手术场景,引入静音项/面积项/合成项损失,仅需序列级类别标签。 ── 其他方向 ── • [4] TAPE:从 wet 参考音频一次前向推断多效果族 DSP 链参数并施加到 dry 录音,比逐例搜索快约 275 倍,参数人类可读可编辑。 • [25] 基于物种级检测的声学生物多样性指数 ABI:区域物种库归一化 + 双重假阳性过滤 + 昼夜匹配稀疏化,在非洲稀树草原与城市动物园验证优于六种标准声学指数(6.5 分)。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 今日无大佬论文,但 8.0 分的三篇 [6][19][21] 指向同一件事:语音系统的瓶颈正从"模型能力"转向"接口与评测的定义方式"——[6] 重定义 ASR 的评测对象,[19] 重定义语音输入的表示形式,[21] 重定义生成骨干的效率边界。另一条清晰主线是"用外部结构先验换性能":[13] 用日志、[2] 用 SOAP 分段、[8] 用概念图、[17] 用信号分解,均在不扩大模型的前提下注入结构。此外,多篇工作([10][16][27])共同暴露出一个反复出现的现象:合成数据或零样本设定下的良好表现,迁移到真实声学条件时显著退化,这或许是比模型规模更值得投入的方向。
2026-10-28 eess.AScs.SD 29 篇

ArxivWatcher 每日综述

2026-10-28 语音与音频论文综述 共 29 篇,大佬论文 1 篇([1],Fei-Fei Li 参与) ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ • [15] TAC2 把时间戳音频描述拆成可组合函数,输出带时间边界、说话人归属与副语言属性的结构化时间线,既可作为纯文本 LLM 的音频理解输入,也可作为可控生成的条件,评分 8.5 为今日最高。 • [26] EmbeddingGemma 2 用 7.44 亿参数的模块化架构把文本、图像、音频、视频及交错输入映射到同一向量空间,纯文本仅 271M 可按需加载,在嵌入基准上刷新帕累托前沿。 • [19] S3-S2ST 用前缀支撑原则构造增量训练轨迹,并引入可学习 READ/WRITE 提交策略,把"何时开口翻译"从输入块大小中解耦,实现可调阈值的质量-延迟权衡。 • [6] SMEBench 在 MIDI 符号层施加已知编辑再配对合成音频,首次让"保留性 / 编辑正确性 / 文本匹配度"三项能力可分离评估,直指现有音乐编辑指标的混淆问题。 • [1] BEHAVIOR-Spatial 把空间问答、目标定位与机器人执行放在同一批场景上联合评测,并用 prompt-probe 协议区分"真听懂指令"与"记住场景布局",对 VLM→VLA 的能力迁移假设提出直接检验。 ═══════════════════════════════════════════════════════════ TTS / 音乐生成 ═══════════════════════════════════════════════════════════ • [6] SMEBench: Benchmarking Neural Music Editing with Synthetized MIDI Edits —— 基于 MIDI 受控编辑构建配对音频的音乐编辑基准,实现保留性与编辑正确性的可分离评估。 • [20] Expressive Guitar Synthesis via Controllable Latent Flow Matching —— 两阶段吉他合成,以可编辑的 f0/振幅轨迹为中间表示,并用零初始化门控跨弦注意力建模弦间耦合。 • [27] Streaming Generation for Music Accompaniment —— 以未来可见度 t_f 与输出块时长 k 形式化实时伴奏,系统量化质量-延迟-响应性前沿。 ────────────────────────────────────────────── 语音识别 (ASR) ────────────────────────────────────────────── 今日无该方向论文。 ═══════════════════════════════════════════════════════════ 语音理解与大模型 ═══════════════════════════════════════════════════════════ • [11] AzeroS: Extending LLM to Speech with Self-Generated Instruction-Free Tuning —— 冻结 LLM 以语音转写自生成监督信号,仅训练轻量投影层完成语音-文本全局对齐,规避指令微调导致的对齐破坏。 • [16] AudioRSI: Recursively Self-Improving Audio Reasoners —— 同一音频大模型交替担任 Actor 与 Critic,用自生成推理路径的两两比较构造过程级奖励,并周期性替换裁判以递归提升标准。 • [12] A Benchmark for Controllable Speaking-Style Captioning in Audio-Language Models —— 将说话风格描述重构为指令条件下的选择性生成任务,构建六维平行描述数据与五维 LLM-as-a-judge 评测。 • [15] TAC2: Timestamped Audio Captioning as composable functions —— 多教师时间 IoU 融合构建结构化时间线监督,配合 IIO 可组合补全接口与 LoRA 专家蒸馏。 • [28] Spatio-Temporal Audio Language Modeling for Dynamic Sound Sources —— 基于 FOA 编码器引入 40-bin 动态轨迹监督与语义蒸馏,使 LLM 能回答"声源在哪、怎么动"。 • [25] Beyond Answer Changes: Matched Same-Class Controls for Local Audio Evidence —— 用同类别替换作对照,分离模型对事件类别的响应与对波形改写的敏感。 • [7] Developing a Speech Language Model for Basque —— 首个开源巴斯克语端到端 SLM,基于 LLaMA-Omni 架构并以翻译+TTS 合成语音指令数据。 • [26] EmbeddingGemma 2: Unified and Efficient Multimodal Representations —— 模块化多模态嵌入模型,各模态编码器独立接入共享双向 Transformer 主干。 ═══════════════════════════════════════════════════════════ 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ • [17] Tap2Listen: Instant Target Switching for Streaming Audio-Visual Speaker Extraction —— 目标无关因果音频编码器与目标条件解码器解耦,目标切换压缩为单次 K/V 重投影,首帧即输出全质量语音。 • [4] StreamSE: Neural Audio Codec-based Streaming Speech Enhancement for On-device Inference —— 20M 参数、完全因果、单次前向,在冻结编解码器连续潜空间直接回归,手机单核 CPU 实时运行。 • [2] A Lightweight Dual-Branch Visual Front-End for Efficient Audio-Visual Target Speaker Extraction —— 嘴唇图像块建模局部发音、关键点坐标建模全局面部运动,视觉编码计算量降 90% 以上。 • [29] The SonicAGI System for the REAL-TSE Challenge —— 以数据真实性为核心的双路线数据构造,在线赛道用单次有界前瞻控制延迟,获在线第 2、离线第 5。 • [5] From Voiceprints to User Entities: Online Speaker-Memory Construction for Multi-User Spoken Agents —— 提出免训练的 EvoSpeakerMem 支持层,将声纹视为身份观测而非身份本身,在线维护用户分区记忆。 • [24] Understanding Everyday Communication Patterns, Stress, and Productivity in Hybrid Work through Egocentric Wearable Audio Sensing —— 教师-学生蒸馏把大模型能力迁到仅用 MFCC 的端侧小模型,4 个月纵向部署量化居家/办公室沟通差异。 • [18] The Content Leash: Mitigating Degenerate Solutions in Invertible Speaker Anonymization —— 指出 Rano 存在"破坏语音换隐私指标"的退化解,用内容保持损失与 ECAPA 蒸馏验证器修复。 • [9] Integrated Spoofing-Robust Automatic Speaker Verification via a Three-Class Formulation and LLR —— 交叉编码器直接建模注册-测试对,三分类输出转 LLR,拒绝时可区分说话人不匹配与伪造攻击。 ═══════════════════════════════════════════════════════════ 其他方向 ═══════════════════════════════════════════════════════════ ── 评估与质量预测 ── • [3] Perceptual Differences and Preferences in Speech Enhancement —— 借用 ISO 4120 三角测试与成对偏好范式,发现客观指标与可区分性/偏好相关性普遍很弱。 • [14] ConformalMOS: Uncertainty-Aware MOS Prediction with Conformal Intervals and Ordinal Modeling —— 分裂共形校准为 MOS 预测提供分布无关覆盖保证,并以高斯平滑软标签建模有序结构。 • [21] Physiology-Informed Audio Quality and Listening Effort Estimation —— 用消费级 EEG/fNIRS 与眼动仪解码音频质量与聆听努力,结论是"部分可行但效果有限"。 ── 语音翻译 ── • [19] S3-S2ST: Semantically Supervised Streaming Speech-to-Speech Translation —— Thinker-Talker 架构下用增量训练轨迹与可学习提交策略解耦"何时翻译"与输入粒度。 ── 语音安全 ── • [8] Partially Edited Audio: Generation, Defense, and Open Problems —— 综述,从生成与防御双视角统一梳理局部编辑音频,指出防御研究覆盖面远窄于生成。 ── 副语言与健康 ── • [22] Design and Architecture of Airmod —— 双麦克风主动降噪加多类 CNN-BiGRU 事件检测,实现气管音实时呼吸率估计,已获 FDA 510(k)。 • [13] Correspondence Is Not Transfer: A Pairing-Controlled Study of Clinical Audio-Metadata Alignment —— 四臂配对控制审计证明"学到配对关系"不等于"学到疾病预测能力",两者须分开报告。 • [23] EEG-Based Decoding of Musical Mode and Melodic Direction Using Empirical Mode Decomposition —— EMD 提取 IMF 能量特征配合宽神经网络,从演奏时 EEG 解码调式与旋律走向。 ── 空间音频与机器人 ── • [1] Behavior Spatial Benchmark: Evaluating Spatial Understanding for Robotics —— 三环节对齐的空间理解基准,用 prompt-probe 诊断指令跟随与场景记忆。 • [10] Sonifying I2S Transport Signals to Detect Transmission Faults —— 把 I²S 协议结构与载荷信号分左右声道可听化,可行性研究表明仅抖动类错误可较好区分。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 其一,"可分离评估"成为贯穿多条主线的方法论共识:[6] 拆开保留性与编辑正确性,[3] 拆开可区分性与偏好,[13] 拆开对应性与迁移性,[25] 用同类别对照拆开类别响应与波形敏感——多篇论文的共同判断是,单一聚合指标会把性质不同的能力混为一谈并排出误导性名次。 其二,流式与端侧部署持续升温:[4]、[17]、[19]、[27]、[29] 分别在增强、目标说话人提取、语音翻译、音乐伴奏与挑战赛系统中处理延迟约束,且思路趋同——把"目标/条件"与"时序状态"解耦,避免切换或提交时付出恢复代价。 其三,音频大模型的训练信号正从外部标注转向自生成与结构化监督:[11] 用转写自生成监督、[16] 用自比较构造过程奖励、[15] 用多教师融合构造时间线标签,共同指向"减少人工指令数据依赖"这一目标。值得注意的是,[15] 与 [26] 的高分均来自表征层的结构化设计而非单纯扩大模型,与当前"小体量、模块化、可组合"的工程取向一致。
2026-10-27 eess.AScs.SD 56 篇

ArxivWatcher 每日综述

2026-10-27 语音与音频论文综述 共 56 篇,大佬论文 0 篇(本日无领域资深团队挂帅的论文,重点按评分与主题重要性选取) ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ [1] 用"双条件审计"把同一批已发表 SER 模型在说话人泄漏与严格说话人独立两种条件下重跑,量化出高准确率中 6.9–63.1 个百分点的虚高来自"记住说话人"。这是对情感识别领域度量叙事的一次直接质疑。 [7] 指出全双工对话模型用 GRPO 采样二值时序奖励存在零梯度陷阱与信用泄漏,提出窗口似然以 noisy-OR/生存乘积闭式积分替代采样,在六个开源模型上同时改善 yield/hold F1。 [16] 把音频自监督任务(同录音识别、片段填补、时间排序)改造成免标注的可验证奖励,用 GRPO 做音频推理后训练,绕开人工标注的 RLHF/RLVR 数据瓶颈。 [27] 把自由语音描述改造成带 null 弃权机制的结构化属性记录,使跨数据集组合式查询与定向 ASR 数据选择成为可能,思路对评测基建有复用价值。 [40] 证明仅截获 3 秒语音前端表征即可反演出受害者音色并合成攻击者自选文本,把"不上传原始音频就安全"的拆分部署假设推到了危险边缘。 ─────────────────────────────────────────────── TTS / 音乐生成 ─────────────────────────────────────────────── [19] When the Persona Contradicts the Line 构建日英"人设—台词冲突"基准,在规划器、情感向量接口与波形四个探针点定位链式思维 TTS 的意图丢失环节,并对比三种接口修复方案。 [31] DJustify LLM 驱动的自动 DJ 规划,用"推理—提议—验证—修复"闭环在渲染音频上做确定性声学门控,面向人声密集的流行乐而非 EDM。 [36] Does Notation Matter? 提出首个通用 MusicXML 分词框架 MxlTok,训练 26 个模型系统比较 MusicXML/MIDI/ABC,显示记谱信息在理解任务上明显占优。 [37] LeanTTS 全栈联合压缩的中英双语 TTS,前端、流匹配声学模型与声码器一并压至 18.9M 参数,保留零样本克隆并可在 CPU 实时合成。 [42] ImageTTS 把文生图模型 FLUX.2 的 VAE 与 DiT 权重直接挪用于梅尔频谱生成,验证图像预训练潜空间与生成先验可跨模态迁移。 [38] Spatial Audio Generation and Editing with Executable Plans 以可执行 SCENEPLAN 统一空间音频生成与指令编辑,配合 FOA 感知 VAE 的通道协方差监督与联合在线自蒸馏。 ─────────────────────────────────────────────── 语音识别 (ASR) ─────────────────────────────────────────────── [15] RoleHear 在 cache-aware 流式 transducer 词表中引入解耦角色发射 token,用离线教师伪标签与 MLLM 银标签实现单遍角色归属流式识别。 [26] MS-Bench 按说话人数、重叠率、相似度、切换间隔、声学质量五维分层的多说话人 ASR 基准,配合 E_lex/E_seg/E_attr 误差分解揭示平均指标掩盖的失败模式。 [11] Measuring Local Acoustic Contribution in Speech LLMs 用词跨度反事实干预构造 AEC 指标,发现大量识别正确的词对局部音频依赖极弱——"听对了"与"猜对了"被首次分开度量。 [34] ASR-Protected Fusion and Reference-Anchored Policy Optimization 把词级反欺骗重构为带标签的 ASR 任务,用保护子空间门控融合与参照锚定策略优化在转写同时标出被篡改的词。 ─────────────────────────────────────────────── 语音理解与大模型 ─────────────────────────────────────────────── [4] In-Context Adapter Generation for Compositional Generalization 用指令 token 条件化的超网络为大型音频语言模型动态生成 LoRA,检验原子音频能力的重组泛化。 [9] A Benchmark for Controllable Speaking-Style Captioning 把说话风格描述形式化为指令跟随任务,构建 2.7k 小时、每句六种互补描述的数据集与五维评测框架,评测 9 个音频语言模型。 [17] Heard Enough to Act 提出"最早可执行点"概念并配套时间精确标注的合成语音对话数据,让模型在用户说完前约 1.8–2.0 秒触发工具调用。 [28] Encode Once, Decode Never 复用音频语言模型解码器的帧级表示接轻量预测头替代自回归时间戳生成,词对齐、说话人日志与事件定位上最高 50 倍加速且改善长度泛化。 [29] RMS-AQA 真实家庭环境的两阶段空间音频问答基准,提出 A_GS2 指标强制定位与推理双正确,并给出冻结语义主干加可训练空间分支的轻量插件。 [2] ADReasoner 基于语音大模型,用线索中心两阶段 SFT 与四奖励 GRPO 把阿尔茨海默病检测从分类改造为可解释推理任务。 [24] Correspondence Is Not Transfer 以音频-元数据配对关系为干预对象做四臂审计,证明对比学习"对齐成功"不等于疾病迁移能力提升。 ─────────────────────────────────────────────── 说话人 / 转换 / 增强 ─────────────────────────────────────────────── [5] TIMUSE 用文本扩散语言模型 Dream 初始化语义 token 恢复模型,再以条件流匹配重建语音,缓解生成式增强的质量—保真度权衡。 [6] Realizing Low-Precision Storage and Sparse Execution in a Folded FPGA Speech Enhancer 让训练目标直接对齐折叠硬件的打包存储量与调度周期,指出折叠架构下"降位宽不等于降算力"的映射断裂。 [25] SLT 2026 REAL-TSE Challenge 首个基于真实对话录音的目标说话人提取挑战赛,设在线(≤100ms)与离线双赛道及四维综合排名,收到 24 个系统。 [41] S2SND-v2 换用剪枝后说话人自适应 w2v-BERT 2.0 前端,并加入重叠感知活动查询掩码与晚到说话人训练,统一在线与离线说话人日志。 [44] The Voice on the Line 因果语音隔离器,揭示短评估窗口掩盖的两个失败模式(长通话遗忘主叫者、独处时误伤),并开源 22.1M 单线程实时学生模型。 [46] Support-guided OOD Removal with Diffusion 仅凭污染区域二值掩码与干净信号预训练扩散模型,迭代交替分解去除未知类型的结构化污染,覆盖图像与音频。 [14] Beyond Visible Speakers 在 ROAM-ASD 上加入人脸间上下文推理与说话人注册机制,使目标说话人不在画面中时仍可判定其是否在说话。 [3] AV-QTSS 类别查询的目标声音空间化,用查询条件稠密绑定定位器与可微 FOA 渲染器联合优化,从单声道混合生成单源一阶 Ambisonics。 ─────────────────────────────────────────────── 其他方向 ─────────────────────────────────────────────── [8] A Robust, Explainable, and Efficient Deep Metric for Speech and General Audio Quality 以 PEAQ 心理声学前驱特征加深度对比学习构建 SAQM,兼顾语音与通用音频质量评估并提供 Grad-CAM 失真归因。 [35] AudioFM 师生架构下结合录音级对比与掩码隐空间判别,引入跨录音同坐标负样本与掩码感知时间邻域弱监督,跨通用音频、生物声学、医学声学评估领先。 [12] MarineSet 从 NOAA 四十余年原始水听器录音中经配额与层次 K-means 均衡采样构建 3000 小时水下声学数据集,并以 MarineNet 验证其价值。 [10] Do bioacoustic foundation models hear through the noise? 受控 SNR 分层实验显示,测试信噪比对水下鲸类检测的影响大于骨干选择,且模型在训练测试噪声条件一致时最佳——恰是部署最难满足的条件。 [22] Dolphin broadband transient vocalization detection in impulsive ambient noise 轻量一维 CNN 直接建模原始波形,用 MAD 归一化消除能量捷径,在鼓虾强脉冲噪声海域检测海豚咔嗒、蜂鸣与爆发脉冲。 [13] JIT-MPE 8.6 万参数的因果多音高估计模型,用多延迟输出头在 20–160ms 内渐进修正同一帧,50ms 截止下精度超过大 6–170 倍的离线系统。 [23] Graph Neural Network for Wide-Area 6DoF Ambisonic Rendering 用小型 GNN 从实测 DirAC 描述子学习场景自适应插值权重,替代 Delaunay 重心坐标的纯几何插值。 [30] Commanding at the Speed of Sound 无人机场景的音频中心指称表达分割,直接以原始音频与多尺度视觉特征软对齐,交互延迟降至文本方案三分之一。 [32] Music of the Deep 将抹香鲸尾音与音乐在单元内组成与单元间序列两层级做统计比较,并据此揭示合成尾音在六项声学描述中五项仍可区分。 [52] Structure Across Voices 在匹配观测机会的前提下比较鲸尾音、人类音素、雀鸟音节与狨猴叫声的类型累积与序列依赖,结论是多维剖面而非单一等级。 [43] A Hierarchical Method for Environmental Sounds Recognition 用非对称时间/频率一维卷积加两级层次分类的轻量网络做城市环境声识别,已在天津噪声监测平台落地。 [33] EmoNet 4.11M 参数的轻量 SER,深度可分离卷积加 SE 注意力与 BiLSTM 注意力池化,在多语料七类任务上报告 96.75% 准确率。 [39] STFT Frontend Mismatch in Pretrained Audio Spectrogram Transformers 系统揭示 AST 对 STFT 窗长帧移高度敏感,用 FiLM 条件调制让单一预训练模型适配多种前端配置。 [45] Feature Scaling Beats Architecture Choice in Offline Respiratory Screening 预注册患者分组交叉验证显示,特征标准化带来的差异(27 个百分点)远大于模型架构选择,并揭露数据集录音来源与标签的混杂。 [56] Expert L2 English Speech Evaluation on a Gaming PC 冻结 XLS-R/XEUS/PhoneticXeus 表征加岭回归,在消费级 CPU 上做三维度二语发音评分,与专家相关性优于商用 API。 [47] Finite-Sample Sensitivity of Kernel Metrics for Generative Evaluation 把 KID/KAD 默认核当统计检验体检,发现 780 样本下能察觉均值偏移却几乎察觉不到保形变形的旋转。 [20] Geometric Consistency Based Label-Free Validation 用未标注池嵌入空间的 NCM 与 k-NN 伪标注器构造几何一致性分数,替代消耗标注预算的验证集做主动学习检查点选择。 [21] Should Pseudo-Labels Share Mini-Batches with Labeled Examples? 在固定步数持续主动学习中形式化伪标签准入与 mini-batch 份额问题,结论是应共享但需限量并做损失重加权补偿。 [18] Gangqinpu 自动化流水线构建 1.8 万对、千余小时的音频/MIDI/乐谱三模态对齐多风格钢琴数据集。 [51] Building a Dataset for Music Sample Identification 从 WhoSampled 挖掘约 9.2 万条采样标注,提出基于图连通分量的防泄漏划分流程,补上采样识别的数据基础设施。 [53] The Machines Are Calling 用交互式语音蜜罐加三仪器交叉验证,测得骚扰电话开场至少约 27% 为机器发声,其中录音回放与 AI 合成各占约一半。 [40] From Speech Tokens to Stolen Voices 用同说话人跨语句配对训练条件流匹配生成器,从截获的前端表征碎片与任意文本直接合成受害者音色的新语音。 [49] The Affective Bridge 仅用情感识别任务微调语音编码器、再冻结特征训练 SVM 做深伪检测,全程不接触伪造标签却提升检测并保留表示能力。 [50] Do Compact SSL Backbones Matter for Audio Deepfake Detection? 固定 RAPTOR 检测器、只换约 1 亿参数骨干,在 14 个跨域基准上显示多语言迭代预训练轨迹而非规模才是鲁棒性主因。 [54] AV-GRPO 用模态锚定 rollout 与塔冻结把耦合的音视频奖励解耦为交替的条件单模态优化,缓解同步性奖励的对手依赖与信用错配。 [55] Beyond Perturbation Magnitude 证伪"扰动幅度决定几何分数响应"的标量假设,位移幅度最多解释约 15% 方差,方向因子才是主导。 [48] Multimodal Concert Video Editing 模块化多机位音乐会自动剪辑系统,专家评测显示其并未优于随机选机位,作者据此提出更细粒度的研究议程。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 今日最鲜明的信号是"度量审计"成为一条独立的方法论线索:[1] 审计说话人泄漏、[24] 审计配对对齐与迁移的混淆、[47] 审计核指标的有限样本敏感性、[50] 审计骨干规模假设、[55] 审计扰动幅度假设、[45] 审计数据集来源混杂。多篇论文的贡献不在于新模型,而在于证明既有数字在测别的东西——这与本日无大佬论文的构成相符,是一个以"清理地基"为主的批次。 第二条线索是强化学习在音频各子任务上的扩散:GRPO 及其变体被分别用于全双工轮转 [7]、音频推理 [16]、可解释 AD 检测 [2]、词级反欺骗 [34] 与联合音视频生成 [54],且多篇都在修正奖励设计本身(零梯度陷阱、对手依赖、免标注可验证奖励),而非简单套用。 第三条是"复用预训练内部结构"的取向:[28] 复用解码器帧级表示、[42] 复用图像扩散权重、[5] 复用文本扩散先验、[4] 动态生成适配器、[56] 冻结表征加岭回归,共同点是放弃端到端重训,转而寻找已有模型中被浪费的中间产物。 安全侧值得单独注意:[40] 把表征泄露从"身份可识别"推进到"音色可冒用",与 [53] 的实测分布、[49][50] 的检测侧研究形成攻防两端同时收紧的态势。
2026-10-26 eess.AScs.SD 29 篇

ArxivWatcher 每日综述

日期:2026-10-26|共 29 篇|大佬论文 0 篇 ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ • [9] CoupleFlow 直指听觉注意解码领域的"准确率虚高"问题:复现发现高分类器主要靠试次泄漏、眼动与响度捷径,提出仅依赖脑-语音时间耦合、无信息时退化为随机水平的解码器,并在 9 个数据集上以无泄漏协议超越基线。批判性与方法性兼具,是今日最高分。 • [15] 把伪标签从"交叉熵监督目标"改为"GRPO 组内相对 WER 奖励参照",从根上避免学生逐字继承教师错误;在银行、医疗、保险等对话域与多语言场景显著优于 SFT,范式转换干净利落。 • [18] CoAT 在输入与回答之间插入固定长度连续隐空间"思考块",用多音频专家蒸馏监督其隐藏状态,既保留文字无法表达的声学细节,又不增加逐字解码开销。 • [27] 系统诊断全双工语音模型在长对话中的崩溃机制(初始锚点被逐出、自我强化重复),配套长时程基准 FD-LHB 与两个免训练推理时修补(IAP、DRP),问题定义与工程价值兼备。 • [22] ChoreoStudio 把群舞生成拆成"先规划 what-when-who、再扩散生成",并用地面距离频谱分解诊断出现有模型"高频抖动多、低频队形演化少"的症结,问题定位精准。 ═══════════════════════════════════════════════════════════ TTS / 音乐生成 ═══════════════════════════════════════════════════════════ • [1] DRAMA-Eval:中英双语、12 小时真实剧本的多轮多说话人语音生成基准,用 LLM-as-Judge 的 A/B 偏好对比统一评测上下文感知、指令遵循与跨句说话人一致性。 • [8] Melody Guidance for Audio Diffusion Models Without Retraining:以免训练 DPS 加可微音高检测器 dSWIPE 作退化算子,配合三角波热启动,为无条件音频扩散模型外挂旋律控制。 • [21] MI-MIDI 2:为文本到 MIDI 生成建立"观测-控制"验证协议,发现只有经音符密度校正与置换校准的 SAE 观测证据才能预测实际可控性。 • [22] ChoreoStudio:显式 what-when-who 编舞计划作为唯一控制通道,配合验证器闭环精修,解决群舞宏观队形演化贫乏问题。 • [29] Vorch-Streamer:将双向音视频扩散模型经三阶段后训练改造为因果实时流式生成,27.12 FPS 超实时门槛,稳定维持约两分钟;消融显示直接喂完整台词给因果模型 WER 高达 184%。 ═══════════════════════════════════════════════════════════ 语音识别 (ASR) ═══════════════════════════════════════════════════════════ • [5] Uni-Stream:单一共享权重、流式同时做 ASR 与 TTS,靠时间对齐语音-文本交错格式与两阶段训练(含双教师蒸馏);顺带发现联合训练下语音与文本仍处不同表征空间。 • [6] SURE-Tagger:半结构化语音标注框架,引入显式 null 弃权状态支持可组合查询与诊断引导的数据选择,仅一小时微调预算即降 Qwen3-ASR-1.7B 错误率 14.3%。 • [15] Pseudo-Labels as Rewards, Not Targets:GRPO 半监督域自适应,伪标签仅作 WER 奖励参照而非拟合目标。 • [20] Bio-Inspired Auditory Processing:三值权重加谐振-发放脉冲神经元的 stGRU,训练时双重离散化实现无稠密浮点矩阵乘的端到端 CTC,LibriSpeech 上 6.44% WER。 ═══════════════════════════════════════════════════════════ 语音理解与大模型 ═══════════════════════════════════════════════════════════ • [2] Concentrated Causal Influence, Distributed Diagnostic Information:神经元级消融显示音频-语言模型做认知障碍判断时决策控制高度集中(少数 MLP gate 神经元),但诊断信息广泛分布。 • [17] AU-Harness:开源音频大模型评测工具包,全局令牌级并发调度使评测提速约 77%,并首次让多轮对话评测可配置、可复现。 • [18] CoAT:连续隐空间音频思考块加多专家蒸馏,保留声学细节且无额外解码开销。 • [23] MusicTwins:以人物摘要、双路记忆检索与三阶段 SFT+GRPO,让音频-语言模型复现特定个体对文字与音乐刺激的反应。 • [27] Why Full-Duplex Speech Models Collapse:长对话崩溃的机制诊断与免训练推理时修补。 • [28] CounselPlex:针对咨询场景的"压力源盲视",在静音时提炼压力源标签、开口时强制注入,把当前症状联系回早期披露。 ═══════════════════════════════════════════════════════════ 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ • [3] NECTAR:利用"混合语音说话人质心约位于两说话人质心中点"的几何规律,从单条混合语音反推干扰者质心表示作负线索,无需干扰者注册语音。 • [4] MG-REPA:在生成式 TSE 中间层同时对齐帧级 WavLM 与句级 CAM++ 嵌入,MeanFlow-TSE 收敛加速约 2–3 倍且质量不降。 • [7] ICASSP 2026 RASE Challenge:首个基于毫米波雷达振动测量的语音增强公开基准,双场景数据设计加跨语料测试集考察泛化。 • [10] SEMAC:只传少量通道加全阶方向能量包络边信息,解码端能量引导重建,低传输通道数下优于全通道编码。 • [11] When Do SSL Representations Help Speech Restoration?:指出严重退化下 SSL 特征距离与感知质量相关性崩塌,提出早期修复注入(ERI)缓解。 • [12] X-Dubbing:固定视频跨语言配音,时间感知翻译与视频感知 TTS 经语音反馈端到端耦合,配合等时归一化投影与配音感知 DPO,无需成对配音数据。 • [13] DIAL-S2ST:对已训练 Hibiki 多流模型做前瞻式在线自蒸馏,单一 LoRA 适配器在推理时连续调节延迟-质量平衡。 • [14] Supervised Source Separation of EV Interior Noise:用物理仿真数据训练改造版 HT Demucs,加 FiLM 工况条件注入,分解风噪/胎噪/电驱噪声并检验仿真到实车迁移。 • [16] Noisy Target Training Meets Drifting:NyTT 与 Sinkhorn 漂移损失结合,在无配对干净语音下兼顾内容保真与感知质量。 • [25] Efficient Streaming AVTSE:发布更贴近真实的 RealSSA 基准与轻量因果模型 Falcon,以单次前向多尺度建模替代多轮迭代,并用编码器空间说话人对比损失抑制近场泄漏。 ═══════════════════════════════════════════════════════════ 其他方向 ═══════════════════════════════════════════════════════════ • [19] Aerial-AudioRES / ARES-Net:把无人机指称表达分割从文本中心改为音频中心,构建四元组基准并做声学-视觉软对齐,交互延迟降至文本方案三分之一。 • [24] Interpretable Singing Emotion Recognition:以 130 维歌唱专属声学与声乐技巧特征替代黑箱表征,配合 SHAP/GRAD-CAM 给出可解释判断依据。 • [26] Sounding Surgical Instrument Localisation:微调 SLAVC 做弱监督手术器械声源定位,加静音项、面积项与合成项损失并替换 DINOv2 视觉编码器,无需空间标注。 • [9] CoupleFlow:脑-语音时间锁定耦合加流匹配 PMI 似然比的零校准听觉注意解码。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 今日最鲜明的信号是"评测与诊断先行":DRAMA-Eval、AU-Harness、FD-LHB、RealSSA、RASE 五套基准/工具集中出现,且多篇论文([9][11][22][27])的核心贡献是揭穿既有指标或范式的失效机制,而非刷点。方法层面,免训练/后训练干预成为主流路线——DPS 引导、LoRA 延迟调节、GRPO 奖励化伪标签、推理时 KV 缓存修补,共同指向"不动骨干、只改推理或奖励"的低成本适配。统一化([5] 单权重流式 ASR+TTS)与流式实时化([25][29])继续推进,而全双工长对话的稳定性问题首次被系统定义,预计将成为下一阶段热点。
2026-10-23 eess.AScs.SD 34 篇

ArxivWatcher 每日综述

日期: 2026-10-23 分类: eess.AS / cs.SD 论文总数: 34(大佬论文 0 篇) ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ • [31] TORUS 提出首个"音频原生"统一模型自洽性基准:让生成头与理解头对模型自己生成的音频互相对账,48 个三阶段测试、432 道题,并用静音求解器与理想生成求解器双重门控防文本先验泄露。结论是当前所有模型(含专用模型级联)自洽性都有限——今日最高分 8.2。 • [32] 把 TTS 评估中笼统的"自然度"拆成语言学三层十维,构建首个属性级人工标注基准(860 条),系统审计 4 个 MOS 预测器与 4 个 Audio-LLM 评判器,指出两类自动评估器各有系统性盲区,均不能可靠覆盖人耳可辨的错误。 • [20] HARMONY 直指"无机器 ID"这一更贴近部署的异常检测设定:瓶颈不在检测器而在特征流形纠缠,用谱锚点把混合特征重划为球面 Voronoi 区域并复用为分层检索索引,DCASE 2020 平均 AUC 从 75.40% 提到 90.00%,CPU 检索提速 7.8 倍。 • [3] 用 CKA 诊断出 DeepASA 类模型"最后才拆分"导致弱声源在深层被压制,提出中间层提前拆分 + 门控融合 + 窗口化跨对象注意力的插件式架构 PARASITE,在 ASA2 与 STARSS23 上取得 SOTA。 • [15] 用精确 WER 会计恒等式把纠错拆成"修对/改坏/插入"三分量并引入 break-rate:纯文本 LLM 纠错器会把 13–32% 本来正确的转写改坏,给音频后压到 1–3%,而聚合 WER 把这一切都藏住了。 ═══════════════════════════════════════════════════════════ TTS / 音乐生成 ═══════════════════════════════════════════════════════════ • [11] ShlokaDhara — 43 小时、19 说话人的梵语诗偈朗诵语料,提出基于 Laghu/Guru 音节时长比的客观格律指标,检验 TTS 是否真学到 Chandas。 • [12] 结合 MLM 与跨模态对比学习做韵律感知 TTS — 系统消融三种预训练课程,发现"先 MLM 再混合音素对比对齐"最佳,而同音素精修虽提升检索指标却损害合成质量。 • [14] 闭环双参考引导的口音控制 — 冻结零样本 TTS,用原始参考与一次性母语锚点双分支引导并共享生成历史以消除口音泄漏,免训练。 • [16] HeyGen Voice — 将说话人身份与场景声学/表演风格显式解耦,用图片 + 文本描述指定后者,面向口播视频的场景感知克隆。 • [17] EmoFI-TTS — 一张人脸 + 一段参考音频即可合成对应情绪且强度连续可调的语音,靠跨说话人配对训练与概念擦除实现情感-音色解耦。 • [24] 量化 ASR 往返评测的"验证器地板" — 在人声录音上测识别器错误地板并用多识别器交叉裁决,发现 TTS 生僻词表观错误被高估 2–3 倍。 • [28] Piano2Pop — 新任务:钢琴 MIDI 小样扩展为完整流行成品;用转录模型从无配对音频构造伪钢琴小样,微调 rectified-flow 生成模型绕开对齐监督。 • [18] MixJudge — 11 类人声混音问题、多严重度的"课程"数据,训练可自然语言查询的混音批评家,支持问题识别、严重度排序与方案选择。 • [8] MQAScore — 把文本-音乐对齐拆成概念级是/否判断,并提出敏感性-不变性比率 R_{S/I} 检验评估器是否真在听音频。 ═══════════════════════════════════════════════════════════ 语音识别 (ASR) ═══════════════════════════════════════════════════════════ • [13] Gemma 4 语音编码器冻结可用性研究 — 不改任何权重,仅加层混合 CTC 读取器或 LoRA 适配器,沙特/海湾阿拉伯语电话语音上冻结方案接近 2B 专用识别器,适配方案 WER 打平甚至反超且更快更省显存。 • [15] 纯文本 LLM 纠错器会改坏正确转写 — 见今日重点;音频接地把 break-rate 从 13–32% 压到 1–3%。 • [27] 合成到真实的尼泊尔语-英语语码转换 ASR — 双引擎 TTS 合成少量数据做 SFT 再叠加 GRPO,结论是合成数据微调是跨域迁移主力,RL 仅带来极小但显著的边界修正。 • [34] 纽卡斯尔英语 ASR 偏见的社会语言学分析 — 基于 DECTE 语料与 Rev AI,把 3005 个错误逐条关联到具体方言特征,用 GLMM 建模性别/年龄/SES 交互,发现错误系统性而非随机分布。 ═══════════════════════════════════════════════════════════ 语音理解与大模型 ═══════════════════════════════════════════════════════════ • [5] Spark-Audio 1.0 — 科大讯飞在昇腾 910B / 海光 BW1000 上从零训练语音基础模型,用冻结多语言 ASR 教师末层表示替代 BEST-RQ 量化目标,约十分之一数据量对标同规模竞品。 • [31] TORUS — 见今日重点;首个音频原生统一模型自洽性闭环基准。 • [32] Beyond Naturalness — 见今日重点;维度级 TTS 评估审计。 • [33] Qwen-Audio-Jev — 在答案前隐藏状态上接 CHOICE/NOUL/SCORE 仿射读出替代自回归文本生成,三类有界决策任务推理提速约 20 倍。 • [22] 查询条件化长音频时间定位 — FiLM 注入查询语义 + CfC 连续时间建模生成多候选区间,再由冻结 LALM 语义选择并轻量精修边界。 • [21] 音乐效价/唤醒度的上下文学习校准 — 小模型给锚点预测,LLM 通过 ICL 预测残差偏移;零样本下 GPT-5 效价 R² 为 −0.801,凸显显式上下文引导的必要性。 • [23] 可解释水声被动探测 — 物理感知多通道编码器把阵列信号转为证据 token,LLM 做证据推理并输出含方位、谱线、SNR、距离及逐项置信度的结构化报告。 • [9] Muting Tokens — 系统评测 Top-K、Intensity、token 合并等稀疏化在 AST 上的表现,并提出频谱平坦度 + CLS 注意力融合的 token 重要性估计。 ═══════════════════════════════════════════════════════════ 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ • [1] HC-AINet — 听觉启发的轻量增强:ERB 子带增益预测 + 谐波定位图做选择性谐波补偿 + 以补偿幅度为条件的紧凑相位估计,约 0.27M 参数。 • [19] 自监督表征何时真正有助于语音修复 — 发现严重退化下 SSL 特征距离与感知质量的相关性"崩塌",提出早期修复注入 ERI,让修复骨干中间层特征提前进入 SSL 编码器。 • [3] Hear Every Sound Object — 见今日重点;中间层提前拆分 + 逐层精炼的即插即用架构。 • [10] FiPA-SR — FiLM 条件调制 + 统一上采样预处理,单模型处理多输入带宽并统一重建到 44.1 kHz,显存约为 AudioSR 的 1/3、推理快 60 倍以上。 • [2] 聚焦嘴唇的音视频一致性检测 — 帧级嘴部特征 + 显式跨模态交互,并构建控制身份与粗同步变量的 SyncSpeech 基准,针对"嘴型对得上但话被换了"的篡改。 • [25] AGF-Net — 自动语句切分 + 音频引导融合 + 预测式动态融合 + 多模态负学习,应对异步音视频与模态失衡下的情感识别。 • [26] CAVC — 利用"音频误差可被末尾联合去噪修复、视频不可"的模态非对称性,设计三明治式免训练缓存,1.10–1.35× 加速且不牺牲视觉动态。 ═══════════════════════════════════════════════════════════ 其他方向 ═══════════════════════════════════════════════════════════ • [4] 仅语料库 AUC 诊断 — 指出多语料库合并评估中患病率异质性使"仅凭语料库身份"即可得 AUC 0.697,提出闭式解析指标量化该虚假判别力。 • [6] PerMix — 把 mixup 重解为"扰动",让模型直接预测主导类被稀释的程度并据此动态调制 ArcFace 角度间隔,提升机器异常声音检测。 • [7] 带符号 Wasserstein 距离 — 将 RIR 建模为带符号原子测度并用 Jordan 分解定义传输距离,避免逐点对齐敏感,给出更平滑的优化损失曲面。 • [20] HARMONY — 见今日重点;无元数据机器异常检测。 • [29] CoarseSoundNet — 系统架构基准 + 跨域评估,引入显式 silence 类、PAM 数据组合策略与类特定后处理阈值,发布可直接使用的声景三成分分类模型。 • [30] C3GD 枪声口径数据集 — 28 把枪、16 种口径、8 类录音设备、8000+ 实地枪口爆鸣,元数据经严格核验,直指现有数据集来源与标注不可靠问题。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 今日最鲜明的信号是"评测与诊断"压过"新模型":TORUS 追问统一模型的两个头是否自洽,[32] 追问自动评估器是否真的对齐人耳,[24] 与 [15] 分别拆穿 ASR 往返评测和 LLM 纠错中被聚合指标掩盖的偏差,[4] 则揭示合并语料评估的虚假判别力。与之呼应的是多篇工作对"默认假设"的正面质疑——[19] 质疑 SSL 特征清洗在严重退化下失效,[3] 质疑"最后才拆分"的对象特征范式,[20] 质疑有机器 ID 的经典设定。方法层面,冻结骨干 + 轻量适配/读出([13][33][22])与免训练推理时引导([14][26])成为降低部署成本的共同路线;数据侧则以"小而专"的基准与语料([11][27][30][29])补足真实场景缺口。整体看,社区正从"刷榜"转向"验证指标本身是否可信"。
2026-10-22 eess.AScs.SD 32 篇

ArxivWatcher 每日综述

日期:2026-10-22 | 论文总数:31 篇 | 大佬论文:0 篇 ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ • [6] NeuroCodec 把脑电引导的目标说话人提取搬到 DAC 隐空间做生成式预测,绕开时频掩码的说话人泄漏与 7 kHz 带宽天花板,并给出因果流式版本,是今日最高分工作之一。 • [9] 用等范数因果干预拆穿"线性探针可解码 ≠ 可编辑"的常见误判,指出连续隐空间 TTS 的说话人控制位点在早期参考音频位置——方法论价值高于单一系统改进。 • [16] 以方差分解把语音基础模型的脑编码预测能力拆成"可解释特征共享部分"与"独特部分",为"这些模型能否当人类语音感知的计算模型"提供了可量化的证据链。 • [19] StyleStream 2.0 将流式语音风格转换延迟压到约 520 ms,并首次支持用自然语言设计/编辑年龄、性别、口音与情绪,工程完成度高。 • [21] 提出"推导深度"受控实验,证明工具增强的音乐分析模型能照抄工具结论却做不了一步推导——把"工具不行"与"模型不会用工具"彻底分开。 ═══════════════════════════════════════════════════════════ TTS / 音乐生成 ═══════════════════════════════════════════════════════════ • [9] Decodability Is Not Controllability: Local and Anisotropic Speaker Control in Continuous-Latent TTS 因果干预实验区分可解码性、杠杆效应与目标特异性,定位真正有效的说话人控制位点。 • [10] Closed-Loop Dual-Reference Guidance for Accent Control in Cross-Lingual Voice Cloning 冻结克隆模型内用原始说话人参考 + 母语口音锚点双路引导,闭环反馈抑制口音泄漏。 • [15] Depth through recurrence: Looped transformers for flow-matching TTS 系统比较 7 种权重复用布局,发现最优布局依赖采样步数预算;顺序复用减参 47.1% 仍具竞争力。 • [25] Character-Level Prosody Control for Mandarin Speech Synthesis: An Architecture-Preserving Approach 自动提取字符级韵律标记并以 Unicode 符号插入文本流,微调现有 TTS-LLM 实现字级韵律操控。 • [13] A Learned Musical-Time Coordinate for Piano Audio-to-Score Transcription 将小节内强拍相位与转谱联合学习,兼作解码条件与自动分段依据,摆脱外部节拍跟踪器。 • [20] Resonance and Depth: Composing Timbral Identity and Spatial Form in an Artist-in-the-Loop Co-Creative Multi-Agent Percussive Performance 艺术实践型论文,以音色形态与 3D 空间运动替代旋律和声作为结构性作曲参数。 • [22] Agentic Music Post-Production MixAgent 按"分组—规划效果链—检测器/批评器修正"流程自动混音,强调参数可解释可编辑。 ═══════════════════════════════════════════════════════════ 语音识别 (ASR) ═══════════════════════════════════════════════════════════ • [7] How Far Can the Gemma 4 Speech Encoder Go Without Changing Its Weights? 冻结 305M 共享音频编码器 + 层混合 CTC 或 LoRA 适配器,阿拉伯语电话语音识别接近 2B 专用模型。 • [12] Bio-Inspired Auditory Processing: Coupling Parallel Resonate-and-Fire Dynamics with Ternary Recurrent Networks stGRU 以三值权重 + 共振-发放神经元实现无稠密矩阵乘法的脉冲 ASR,LibriSpeech WER 首次进入个位数。 • [14] A Semi-spontaneous Dutch Speech Dataset for Speech Enhancement and Speech Recognition 真实嘈杂室内荷兰语数据集 DRES;评测显示现代单通道语音增强普遍反而降低 ASR 性能。 • [18] Qwen-Audio-3.1-ASR Technical Report 统一识别、说话人分离转写、时间戳与通用音频理解,配合异步 RL 与多教师在线蒸馏。 ═══════════════════════════════════════════════════════════ 语音理解与大模型 ═══════════════════════════════════════════════════════════ • [21] Derivation Depth Exposes Reasoning Failures in Tool-Augmented Music Analysis 受控推导阶梯解耦信息可得性与推理负担,揭示模型盲从工具结论的失败模式。 • [28] Heard But Not Said: Prompting Understates Temporal Information of Musical Moments in Frozen Large Audio-Language Models 免训练配对探针表明冻结 LALM 内部含音乐时间信息,但常规提示词提取不出来,且受编码器设计制约。 • [16] Interpretable Embeddings of Speech Enhance and Explain Brain Encoding Performance of Audio Models 方差分解显示脑编码预测主要来自可解释特征,深层大模型另有随规模增长的"脑相关语义"。 • [8] KunSet: A Corpus and Benchmark for Lyrics Alignment and Rhyme Retrieval in Kunqu Opera 首个昆曲音节级语料库(48 万余条标注)与歌词对齐、同韵检索基准,改进 SOFA 适配长拖腔。 • [29] AT-Differ: Dataset for Audio-Text Difference Captioning 提出音频-文本差异描述任务与约 19.7 万对模板化数据,现有大模型几乎不会做,微调后大幅提升。 • [23] Dual-Channel Contrastive Encoding of Sperm Whale Coda 节奏与频谱分通道编码再融合;想法可探但未证明优于简单拼接或现成预训练模型。 • [27] Phase-Based Onset Enhancement for Piano Transcription in Ensemble Settings 利用合奏中被幅度掩盖仍突变的相位线索增强起音检测,并构建两个精确 MIDI 标注的合奏评测集。 ═══════════════════════════════════════════════════════════ 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ • [6] NeuroCodec: EEG-Guided Latent-Domain Generative Model for High-Fidelity Target Speaker Extraction 在冻结 DAC 隐空间用 EEG 引导的 CM-S3 预测目标语音隐表示,兼顾抗泄漏、全带宽与流式部署。 • [1] XingChen-UniFE: A Unified Generative Speech Front-End via Complementary Acoustic-Semantic Modeling 语义(WavLM)与复数谱声学双流编码 + 双向交叉注意力,单一 LALM 统一通用语音修复与目标说话人提取。 • [5] Geometry-Conditioned Target Speaker Extraction based on spatial features incorporating acoustic propagation principles 用显式目标导向矢量与 GCC-PHAT 空间掩码替代抽象位置编码,减轻网络隐式学物理规律的负担。 • [24] MuseFlow-TSE: Music-Aware Target Speech Extraction via Cross-Source Band-Splitting and Data-to-Data Flow Matching "判别式删除 + 生成式补全"两阶段框架,用干扰源负条件与难度自适应步数应对音乐场景。 • [19] StyleStream 2.0: Fast and Controllable Streaming Voice Style Conversion 少步 Pixel MeanFlow 替代多步扩散 + 自回归反馈微调修复分块错配,风格收敛到单一嵌入空间支持文本编辑。 • [26] Where Does Timbre Hide? Localizing Speaker Information in Speech Signals 频段滤波、相位/幅度操控、源-滤波器分解、SSL 逐层探测与 45 人听测,多视角定位说话人信息。 • [4] Optimized Compressor Parameterization for Produced Music in Hearing Aids 双时间尺度压缩有效性指标 + 逐信号 Optuna/CMA-ES 优化 WDRC 参数,挑战语音导向的固定验配。 • [30] MERP: A Latent-Bottleneck Framework for Robust Multi-Modal Multi-Label Emotion Recognition Perceiver IO 式固定潜空间工作区 + 跨层类别读出,训练时未见缺失样本也能抗模态缺失。 • [32] WaveCommitments: Private and Verifiable Speech-Agent Marketplaces 多项式承诺 + WaveTrees 分层认证树 + TEE 内 Data Shapley 估值,实现保密估值与选择性打开验证。 ═══════════════════════════════════════════════════════════ 其他方向 ═══════════════════════════════════════════════════════════ • [11] RubatoCodec: Budgeted Adaptive Speech Tokenization with Streaming Decoding 解耦事件数量与位置:数量由时长与保留比例精确决定,位置内容自适应,支持逐事件流式解码。 • [17] SAGE: Semantic Audio Generative Encoder 1.05 亿参数 SwinV2 改造的复数频谱 VAE,延迟调度蒸馏注入 CLAP 语义结构,兼顾速度、保真与潜空间组织。 • [3] A Perch out of Water: Few-Shot Detection of Bryde's Whale Vocalisations in False Bay 冻结 Perch 嵌入 + 原型网络,每类 ≤10 样本检测布氏鲸叫声,通用鸟类模型反超专用鲸声模型。 • [2] An Absolute Acoustic Readout of Plate Wave Speed for Bullion Authentication 用排水法测填充因子修正浮雕硬币有效厚度,从敲击频率直接反解板波速度,摆脱参考库依赖。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 今日无大佬论文,但方法论密度不低。三条主线值得注意:其一,"冻结大模型 + 轻量接口"成为主流范式——[7] 冻结 Gemma 编码器、[3] 冻结 Perch、[28] 免训练探针、[6] 冻结 DAC 解码器,研究者正把创新重心从训练新模型转向如何读取与注入既有表示。其二,多篇工作在做"归因与定位"而非"刷指标":[9] 定位控制位点、[16] 分解脑编码来源、[26] 定位音色所在、[21] 定位推理失败环节,反映出领域对"为什么有效"的追问加深。其三,生成式与判别式的边界在模糊——[24] 与 [6] 都采用"判别打底、生成补全"的混合路线,而 [14] 的负面结果提醒:真实噪声下语音增强对 ASR 的增益仍未被证实,合成数据上的结论需谨慎外推。此外,音乐与生物声学方向持续活跃([8][13][20][22][27][3][23]),语料与基准建设成为这些低资源领域的共同前置工作。
2026-10-21 eess.AScs.SD 43 篇

ArxivWatcher 每日综述

日期:2026-10-21 | 共 38 篇(大佬论文 0 篇) | 最高分 8.0 ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ • [40] 说话人激活后门(SAB):把目标人物的自然语音本身当作触发器,攻击者在推理阶段无需接触输入即可激活恶意行为,威胁模型新颖且现实性强,8.0 分。 • [19] TRACE 诊断基准:用合成声景 + 遮挡式 Shapley 归因把"答对"拆成"证据对齐"与"配对鲁棒性",揭示模型常能找到证据却读不懂证据。 • [25] WoW-Bench:以海洋哺乳动物发声构造 OOD 细粒度声学感知基准,指出模型倾向"先分类再猜属性"的捷径,Gemini 2.5 Pro 亦远逊人类。 • [27] 双耳视听实例分割:引入双耳空间方位先验解决"同类多实例中谁在发声"的类内歧义,任务设定与数据构建均有新意。 • [3] PW-Pruning:发现语音请求内"听"与"答"两相位的专家需求高度不重合(Jaccard 低至 0.179),据此做相位感知剪枝,工程价值明确。 ═══════════════════════════════════════════════════════════ ── TTS / 音乐生成 ═══════════════════════════════════════════════════════════ • [4] ShlokaDhara:43 小时、19 说话人的梵语诗歌朗诵语料,提出 Text-to-Recite 任务并用音节级 Laghu-Guru 时长比检验格律学习。 • [10] 可微分 Karplus-Strong 声音匹配:事件驱动集合预测 + 时域分数延迟可微合成器,从吉他录音反推拨弦物理参数,并系统分析损失梯度行为。 • [17] 表示自编码器用于 TTA:在冻结 SSL 表征空间直接生成,发现重建质量差的表征空间反而生成效果不差,挑战"必须先压缩重建"的 LDM 前提。 • [28] TTS-Q:首个系统研究零样本 TTS 扩散 Transformer 的 W4A4 量化失效模式,指出伤音色不伤可懂度,用任务镜像校准 + 后段步 FFN 高精度回补。 • [30] 语调引导:用互换干预实验定位 RVQ-TTS 中语调由主干隐状态承载,并以人类模仿语音导出的差值向量在生成循环内做激活引导。 • [35] LoCA:借 ASR 强制对齐把句级 RL 奖励重分配到帧级,配合参考相对双侧阈值控制拟合/排斥,缓解 TTS 局部错读。 • [43] ELARSpeech:从濒危语言档案整理 30K 小时、675 种语言资源,同时服务 ASR 与 TTS 长尾扩展(亦列入 ASR 节)。 ═══════════════════════════════════════════════════════════ ── 语音识别 (ASR) ═══════════════════════════════════════════════════════════ • [9] VISH-ASR:免训练热词预筛选,在帧级 CTC 后验上做候选特定受约束 Viterbi 搜索,配合共享前缀 trie 与双向验证提升可扩展性。 • [18] MoPE-LoRA:按发音方式(而非口音身份)组织 6 个低秩专家并做帧级混合路由,参数少且可泛化到未见口音。 • [23] MS-Bench:按五维说话人条件分层采样的多说话人 ASR 基准,将 WER 分解为词汇/切分/归属误差以定位失败模式。 • [26] 对话音频上下文抽象压缩:用交叉注意力瓶颈把每轮历史音频压成固定数量隐 token,使上下文开销与对话长度解耦。 • [32] PhonoBridge:EMG→音素→文本两阶段框架,用误差画像引导增强把前端真实错误模式迁移到外部文本上训练 LLM 纠错。 • [43] ELARSpeech:675 种语言、30K 小时,含 2,791 小时人工标注子集,并揭示现有多语种模型在长尾语言上迁移有限。 ═══════════════════════════════════════════════════════════ ── 语音理解与大模型 ═══════════════════════════════════════════════════════════ • [3] PW-Pruning:相位感知专家剪枝,将 acoustic-prefill 与 answer 两相位的重要性核加权合并为单一静态子集,固定显存下保留更多语音能力。 • [12] SKAD:指出"遮掉音频做对比解码"会因被遮分支退化而失效,改用模型自生成声学证据草图作共享脚手架,免训练提升推理。 • [19] TRACE:合成声景 + Shapley 归因的三维诊断基准,区分"真听了"与"靠语言先验蒙对"。 • [25] WoW-Bench:海洋哺乳动物发声 OOD 基准,按 Bloom 认知层级与对抗干扰项设计,诊断低层声学感知。 • [39] EA-SURF:指出偏好不能直接当损失权重,将部署偏好映射为专家锚点距离份额并闭环调权,实现多任务语音 LLM 的帕累托引导。 ═══════════════════════════════════════════════════════════ ── 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ • [14] AR 眼镜 ANC:验证虚拟传感必要性,理论分析辅助滤波器对噪声方向的敏感性,提出按 DOA 选择的滤波器组提升鲁棒性。 • [33] SLM-SS:把语音分离重构为逐 token 自回归生成离散编码,混合 AR/NAR 与 per-talker NAR 精修高阶码本,绕开纯波形指标优化。 • [36] 槽位非说话人:指出冻结流式日志器的槽位只是并发通道,提出免训练因果链接器 + cannot-link 规则,使 4 槽模型跟踪远超 4 人会议。 • [41] 说话人解耦呼吸疾病检测:LeFF Transformer + 梯度反转层剥离说话人身份,兼顾诊断精度与隐私。 ═══════════════════════════════════════════════════════════ ── 空间音频 / 声学建模 ═══════════════════════════════════════════════════════════ • [5] Point2Acoustic:以携带频变吸收/散射系数的表面点云直接回归六频段 RT60 与 RDR,用毫秒级推理替代几何声学仿真。 • [6] pyFDN:FDN 设计、时域渲染、模态分析与可微优化的统一 Python 工具箱,作者明确不主张性能优势,属整合型软件贡献。 • [11] 板混响参数估计:Transformer 编码器给初值,再用可微合成器或粒子群精修,匹配合成数据上近乎完美恢复。 • [13] UWB 组播音频可行性:不提新算法,构建四条件耦合的可行性判据与解析下限,指出定时、对齐、可靠性难以同时达标。 • [27] 双耳视听实例分割:以双耳声源定位先验做查询级条件注入,解决同类多实例的"谁在发声"歧义。 ═══════════════════════════════════════════════════════════ ── 语音安全与隐私 ═══════════════════════════════════════════════════════════ • [1] 辅助信息对语音隐私的影响:用人口普查统计给语音配合成地理标签,证明辅助信息显著放大可识别风险,且在细粒度位置、短录音下最严重。 • [7] RealComm:配对式"数字源 vs 真实手机通话"数据集,揭示检测器 EER 普遍上升 30 点以上,并提出分阶段波形增强 + 真实数据微调。 • [38] WaveCommitments:TEE 内 Data Shapley 估值 + 多元多项式承诺选择性打开,实现不泄露资产的语音数据可信交易。 • [40] 说话人激活后门:两阶段微调先强化说话人判别表示再绑定触发器与载荷,目标人物自然语音即触发器。 ═══════════════════════════════════════════════════════════ ── 副语言与健康 ═══════════════════════════════════════════════════════════ • [2] 抑郁与认知衰退解耦:用同步 SGDS/MMSE 双评分与偏相关分析剥离认知影响,发现仅共振峰 F1+F2 为抑郁特异标记,12 维特征即优于全特征集。 • [15] 矛盾/犹豫识别:冻结 BERT 与 wav2vec 2.0 上做双向交叉注意力与四路关系融合,BAH 上 72.19% 准确率。 • [24] 鼾声多层塌陷定位:ResNet-50 与 AST 微调 + SMOTE/焦点损失处理 VOTE 多标签不平衡,填补多层塌陷深度学习定位空白。 • [37] 认知评估标签校准:用神经心理学记忆域 z 分数阈值重建自报诊断标签,证明标签质量比模型架构更关键,并经外部数据集验证。 ═══════════════════════════════════════════════════════════ ── 其他方向 ═══════════════════════════════════════════════════════════ • [8] AD-Mamba:CNN 教师教局部、Transformer 教师教全局的分阶段蒸馏,使 Mamba 音频分类在低参量下追平 Transformer。 • [29] UniAVC:渐进式两阶段训练 + 非对称双噪声调度(音频先收敛),用单模型统一联合生成、跨模态生成与指令编辑。 • [31] MiCLA:以"混合音频—构成音频"的残差对齐替代教师目标算术平均,迫使模型分离重叠声源,服务多标签下游。 • [42] SpikCTU:固定记忆 + 共享循环单元更新二值脉冲状态,按置信度自适应早退,0.16–0.17M 参数下取得有竞争力准确率。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 今日无大佬论文,但"评测与诊断"气息浓厚:TRACE、WoW-Bench、MS-Bench、RealComm 四篇基准/诊断工作共同指向同一问题——现有指标(准确率、EER、平均 WER)掩盖了模型是否真的依赖目标信号。与之呼应,多篇方法论文(SKAD、PW-Pruning、LoCA、EA-SURF)的核心洞察都是"粗粒度聚合抹掉了关键结构":相位、帧、槽位、任务偏好各有其不可池化的维度。安全侧则出现从"加扰动触发器"转向"利用语音自然属性"(说话人身份即后门)的明显迁移,值得持续关注。生成方向上,TTS 量化、可微物理合成与表征空间生成三线并进,显示效率与可解释性正成为生成模型的新竞争面。
2026-10-20 eess.AScs.SD 56 篇

ArxivWatcher 每日综述

日期:2026-10-20 论文总数:55 篇(大佬论文 4 篇) ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ • [4] Halcyon 用受控实验证明:不依赖互联网规模语言预训练,仅用图文配对数据从零训练早期融合自回归模型,即可在文生图上超越依赖大语言模型的系统,且总预训练算力低 18–275 倍。这是对"语言预训练是 T2I 必需品"这一默认假设最直接的反驳,评分 8.5 为今日最高。 • [56] AURAL 把语音语言模型的显式思维链压缩进连续隐空间,用高斯混合保留多推理路径、块预测加速、强化学习自适应推理深度,首 token 延迟从 1.22s 降至 0.10s(约 11.8 倍),在"聪明"与"快"之间给出了可量化的折中方案。 • [5] SpikeAid 是今日工程完整度最高的语音论文:把助听器的降噪与宽动态范围压缩联合建模进一个流式 SNN,配仿生 DRN 脉冲神经元捕捉快慢时间尺度,并在 FPGA 上验证能效比 CPU/GPU 高两个数量级。 • [16] 对"无编码器多模态 LLM"的机制解剖:用 CKA 上下文不变性、激活修补、逐层探针证明 Gemma-4 12B 等模型的早期层确实在自发重建音频/图像编码器功能,并定位跨模态融合的起始层。结论对架构简化有直接指导意义。 • [36] MuLaCover 把翻唱生成重新定义为"用可编辑符号乐谱(旋律+和弦)控制预训练文本到歌曲模型",摆脱逐帧对齐约束,支持变速、结构重排与片段参考,开源系统中达 SOTA 并接近商业系统。 ═══════════════════════════════════════════════════════════ TTS / 音乐生成 ═══════════════════════════════════════════════════════════ [15] Pronouncing Hard Words: Phoneme Adaptation of a Pretrained Conversational TTS Model 在 FireRedTTS-2 上扩词表做音素感知继续 SFT,配合推理时参考偏置,把罕见药名朗读正确率从约 52% 提到 90.7%,且不做任何预训练。 [24] Does Expert Supervision Improve Text-to-Speech? An Empirical Study of Preference Optimization 系统比较 DPO/WPO/APO-zero/NCA 四种偏好目标与 Direct/Bridge 两条专家监督路线,结论是示范质量、目标拟合与生成质量三者不可互相替代。 [28] MixiSpeech: Progressive State Distillation for One-Step Vietnamese TTS 用 10→4→2→1 渐进状态蒸馏把越南语多说话人条件流 TTS 压到单步,推理加速约 2.12 倍,音质基本持平。 [36] MuLaCover: Flexible Cover Song Generation via Symbolic Tonal Control 以 BPM 归一化的旋律+和弦符号条件经门控交叉注意力注入 HeartMuLa,实现无帧对齐的翻唱生成,开源 SOTA。 [52] Beyond Prompted Agreement: Instruction Effects on Key and Beat Grouping in Text-to-Music Generation 提出匹配输入协议,把命中率分解为默认出现率、指令增益与目标区分度;发现明确要求某调性/拍号反而可能降低其出现率。 ═══════════════════════════════════════════════════════════ 语音识别 (ASR) ═══════════════════════════════════════════════════════════ [10] PronCFT: Pronunciation Contextual Fine-Tuning for Contextual Biasing of OOV Words in LLM-Based ASR 揭示音素标注在纯 prompt 下只起"候选标记"作用,改用音素转写-候选匹配-拼写的结构化监督加课程式移除辅助输出,OOV 召回从 59.89% 升至 83.57%。 [11] MS-Bench: A Condition-Stratified Multi-Speaker ASR Benchmark 32.72 小时按说话人数、重叠比例、相似度、换人间隔、声学质量五维分层,配 E_lex/E_seg/E_attr 三分解误差诊断。 [19] ASR Personalization in Pathological Voice: Accuracy, Efficiency, and Duration Effects 单说话人 215 条病理语音上消融 Whisper 的 LoRA 放置位置,全注意力 LoRA 最稳,中等长度话语受益最大。 [35] TeleASR-Amharic: A Benchmark for Robust Amharic ASR in Realistic Telecommunication Conditions 用真实客服录音校准七类可分离电信退化管线,构建 30 小时评测集;结论是数据扩展优先于定向增强。 [46] Revisiting the Relation Between Language Model Perplexity and ASR Word Error Rate for Modern End-to-End Speech Recognition PPL-WER 对数线性关系在端到端系统中已不成立,需引入分段拟合、编码器上下文长度、ILM 减法与分词策略等调节变量。 ═══════════════════════════════════════════════════════════ 语音理解与大模型 ═══════════════════════════════════════════════════════════ [9] Probing and Mitigating Hallucinations in Speech-augmented Language Models for ASR via Small Language Models 用因果中介分析定位幻觉源于自注意力过度偏向文本上下文,提出 CTC-Gated 融合与跨注意力的 AudioSLM 做缓解。 [16] Encoder-Free Multimodal LLMs Learn Implicit Encoders 机制分析论文,证明无编码器模型的早期层自发承担模态编码功能,并定位跨模态融合起始层。 [17] Long Listening Thoughts: Eliciting Open Auditory Reasoning with Deliberative Perception and Cognitive Refinement 针对"感知错误而非推理错误"这一主因,构建多维稠密描述+合成错误链+思维延续数据,SFT+DPO 两阶段安装验证回溯行为。 [33] AudioScorer: Learning Question-Aware Token Relevance for Large Audio Language Models 用答案梯度秩蒸馏加下游似然联合训练轻量打分器,硬 Top-K 保留 10% token 仍可较好回答音频问题。 [44] Enhancing Speech Large Language Models through Reinforced Behavior Alignment CA-GRPO 把同一语义的多个声学视图×多次采样组成优化组,配四类奖励强化跨声学一致性与可验证正确性。 [56] AURAL: Adaptive Latent Reasoning with Joint Chunk for Speech Language Models 隐空间 CoT 压缩 + GMM 多路径 + 块预测 + RL 自适应深度,首 token 延迟降约 11.8 倍。 ═══════════════════════════════════════════════════════════ 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ [5] SpikeAid: A Streaming Spiking Hearing Aid Framework for Joint Noise Reduction and WDRC SNN 端到端联合降噪与宽动态范围压缩,DRN 脉冲神经元做快慢时间尺度建模,FPGA 能效领先两个数量级。 [8] Learning Speaker-Activity-Conditioned WavLM Speaker Embeddings with Real Conversational Data 在 WavLM-MHFA 中插入 FDDT 模块做目标说话人掩码条件化,少量真实会议数据微调即显著降低 EEND-VC 的说话人混淆。 [29] Manifold-Constrained Residual Adaptation with Frame-Adaptive Layer Aggregation for Speaker Verification 冻结 WavLM 只训约 3000 参数,改造残差连接(Sinkhorn 双随机约束通道混合)加帧自适应层聚合,显著降 EER。 [37] Dynamically Slimmable Speech Enhancement Network with Metric-Guided Training 帧级门控动态跳过卷积/GRU/MHA/FC 模块,用 DNS-MOS OVRL 映射目标激活率,平均算力降至轻量基线约 73%。 [38] Interpreting Speaker Characteristics in the Dimensions of Self-Supervised Speech Features PCA 分析显示音高、性别、强度、共振峰等集中在少数近独立主成分上,改维度即可定向改变合成语音特性。 [41] PHAST-Net: Attention-Guided, Physics-Informed Network for Estimation of Ideal Time-Frequency Representations 从对数频率小波变换星座估计无交叉项 ITFR,用 Cohen 类核重投影损失做物理约束,统一覆盖频谱图/节奏图/节拍图。 [48] RDSE: Real-Time Directional Speech Enhancement Framework for Dual-Mic Commodity Smartphones 双麦手机上用一次性视觉交互指定方位角,串联 MVDR 与预训练神经模块实现可部署"音频变焦"。 ═══════════════════════════════════════════════════════════ 其他方向 ═══════════════════════════════════════════════════════════ ── 音频理解与检索 ── [22] DF-PALM 把类别表示改为实例级动态并用其反向精炼音频特征,小样本音频分类显著提升且训练远快于 CoCoOp。 [31] 系统评测音乐音频指纹迁移到语音的表现,发现误匹配更倾向"认错成同一说话人"而非同一文本。 [32] SCALE 用冻结 MuQ 双通路解耦边界检测与功能标注,并以带时间戳歌词的重复性残差精修副歌,HarmonixSet 刷新 SOTA。 [49] 三种合成吹哨/错词查询均无法迁移到真实吹哨检索,结论是缺的不是合成器而是真实查询数据。 [55] MuSP-Bench 用 490 道音乐家手写题诊断乐谱-演奏跨模态推理,前沿模型接近不及格。 ── 副语言与健康 ── [7] 双任务向量合并把情感与 ASR 的任务向量按可学习标量注入冻结 wav2vec 2.0,仅约 2100 参数适配 AD 检测。 [12] 咳嗽检测的多信号不确定性:概率空间方法抓不住"自信犯错",嵌入空间马氏距离在保留 90% 真咳嗽时剔除约 2/3 误报。 [34] 用同一批音频与冻结骨干证明表演标签、多数票、投票分布回答的是不同问题,评估须声明预测的是哪一种。 [45] 多智能体口吃治疗规划,wav2vec2 检测加 LLM 生成-批判迭代,临床医生在环审批。 [47] 冻结 SpeechLLM 末层接单层线性头替代生成式解码,消除幻觉标签并意外暴露预训练继承的文化偏见。 [51] XLS-R/XEUS/PhoneticXeus 加岭回归在游戏 PC 上做三维发音评估,与人类评分相关性优于 Azure API。 [53] 系统解耦发现 Pitt 衍生数据集的降噪增强提升同域成绩却损害跨域泛化,甚至给音频大模型引入系统性偏置。 ── 语音安全与深度伪造检测 ── [14] 固定检测框架下比较音频前端,浅层 wav2vec 2.0 加可学习层加权兼顾精度与低延迟。 [18] SENTRY 全整数运算(加/移位/异或/popcount)的流式伪造检测,FPGA 边缘实时判决无需浮点。 [25] 在 MSCT 前加共享流+源私有流并用有界门控融合,改善不平衡多源场景的平均与最差源性能。 [42] 把 AI 音乐检测从二分类改为回归 AI 能量占比 α,证明二分类器在混合内容上退化为严重失准的估计器。 [54] HEAR 数据集(53 人/37 款键盘/三种环境)加 DECKER 域不变表示与 LLM 纠错,实现跨未见键盘的击键声侧信道攻击。 ── 自监督表征与解耦 ── [40] 对 SVD 因子化的内容/说话人子空间做逐维相关与干预分析,证明维度可定向控制语音属性。 [43] 用变分信息瓶颈加级联两阶段训练,把冻结编码器的纠缠表示事后拆成纯文本内容与任务相关声学特征。 ── 多模态视听与生成 ── [1] LILIE 用 VLM 描述目标构造可逆的语言知情特征空间替代像素损失,提升文生图保真与覆盖。 [2] DreamCan 用视频生成模型加离线 RL 价值函数挑选兼顾可达性与任务效用的稀疏子目标,0.1B 策略在 LIBERO-Long 达 91.2%。 [3] SteerAct 用 24 条轨迹、不改权重,靠稀疏自编码器时序模式在推理时干预单个特征,成功率相对提升约 10%。 [13] SynerGest 用对比流匹配(打乱音频作负样本)加脉冲-趋势解耦注意力生成双人对话全身手势。 [21] UniAVC 用渐进两阶段训练与非对称模态解耦噪声调度,单模型统一音视频生成与编辑。 [23] VoxDub 构建 76.6 万片段中英双语唇音同步数据集,四重校验流水线强调数据集不可互换。 [26] CASE 用韩语语音-3D 唇网格对比适配通用编码器,以残差交叉注意力即插即用提升四种 3D 人脸动画系统。 [6] 有限机会日历下的准入可行性判据与截止时间感知丢弃,8 流突发场景按时完成率 45.4%→59.4%。 [20] Fluxion 用自研解析伴随与稳定性证书统一训练图与实时引擎,冻结部署到树莓派级边缘。 [27] TOMORI 让 LLM 生成 Lua 代码直接操作 REAPER,110 条基准揭示"能执行操作"与"能实现感知目标"的显著差距。 [30] CNN6 冻结嵌入加 LightGBM 做多语言应答机检测,并发布首个多语言 AMD 数据集 OpenAMD。 [39] DCASE 2026 新任务:域无关增量学习音频分类,基线用域专属 BatchNorm,平均准确率仅 44.9%。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 今日最鲜明的信号是"重新审视默认假设":Halcyon [4] 质疑语言预训练对 T2I 的必要性,[46] 质疑 PPL-WER 线性关系,[53] 质疑降噪增强有益论,[49] 质疑合成数据可替代真实查询,[34] 质疑单一 ground truth,[52] 质疑命中率即指令遵循。这批工作共同指向一个方法论转向——受控消融与匹配输入协议正在取代单点指标。 第二个趋势是冻结骨干上的极轻量适配:约 3000 参数的残差改造 [29]、约 2100 参数的任务向量合并 [7]、单层线性头 [47]、浅层 SSL 前端 [14],都在证明"不改权重也能显著提升",与 SpeechLLM 领域的参数高效化潮流合流。 第三,语音大模型的效率与可靠性成为主战场:隐空间推理压缩 [56]、问题感知 token 剪枝 [33]、幻觉的因果定位与缓解 [9]、跨声学视图的强化对齐 [44],分别从延迟、算力、可靠性、鲁棒性四个维度推进。值得注意的是 [16] 对无编码器架构的机制解剖,为"是否还需要独立编码器"这一架构级问题提供了首批实证。 最后,评测基准的精细化建设明显加速:[11] 条件分层、[35] 电信退化、[55] 乐谱-演奏跨模态、[39] 域无关增量,均不再满足于平均分,而是追求失效模式的定位能力。
2026-10-19 eess.AScs.SD 37 篇

ArxivWatcher 每日综述

日期:2026-10-19|论文总数:35 篇|大佬论文:0 篇 ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ • [29] Jarvis 提出"快慢脑"语音智能体的协调应由独立协调大脑负责,以"模型判断、代码强制"解决后台任务在对话中被修改/取消导致的过期状态问题,评分 8.2 为今日最高。 • [7] PromptSep-Speaker 用条件潜在扩散统一四种可互换线索(序数、转写、注册音频、描述文本)做目标说话人提取,并以零额外标注的辅助对齐损失显式监督线索利用,评分 8.0。 • [14] ASOM 仅 620 万参数,把文字问题与语音编码做一次余弦匹配即输出校准概率分布,单次前向回答任意问题,兼顾分类器的效率与 ALM 的灵活性,评分 8.0。 • [28] VocalGrad 用"声学属性变大还是变小"的极简二分类剥离语义与推理,发现人类近满分而最强 LALM 接近瞎猜,并用线性探针定位感知失败环节,评分 8.0。 • [1] BDR-BWE 以"桥接—蒸馏—精修"三阶段把多带宽语音扩展压到 1–2 步、仅 1.80M 参数,兼顾多截止频率输入与高保真 48 kHz 生成,评分 7.5。 ═══════════════════════════════════════════════════════════ TTS / 音乐生成 ═══════════════════════════════════════════════════════════ • [1] Bridge, Distill, Refine —— 条件流匹配 + 渐进一致性蒸馏 + 对抗精修,实现 1–2 步多带宽语音超分。 • [9] Towards Prosodically Informed Mizo TTS —— 仅 5.18 小时数据,VITS 在无显式声调标注下隐式建模米佐语声调,音质与声调准确率均优于 Tacotron2 基线。 • [10] SENSE —— 用图网络建模 EEG 电极空间结构,并以 N400 语义一致性对齐 CLIP 空间,做脑电到语音合成。 • [12] A Situational Speech Synthesizer for Yoruba —— 规则驱动双音子拼接系统,651 单元库 + 上下文声调文件选择,并提出轮廓调正字法扩展。 • [19] DriftTTS —— 首次将生成漂移目标引入 TTS,无需任何预训练模型即可单步生成,质量对标多步模型。 • [20] Rethinking Magnitude Compression in Spectral Losses —— 指出 DDSP 频谱损失是否该压缩幅度取决于信息落在动态范围哪一端,并提出免训练的 concordance 判据。 • [27] Beyond the Benchmark: Qwen3-TTS —— 系统诊断 ICL 与 X-Vector 双接口的优劣、跨域失效模式,并指出现有防伪检测基本防不住。 • [3] From Individual Songs to Music Corpora —— 把冻结的可解释配和声系统放到 HookTheory 语料上,将人机分歧拆为"词汇外"与"选择分歧"两类。 • [5] D-Composer —— 用自回归语言模型把鼓音频翻译成交错的符号 token 与超低码率声学 token,统一完成转录、单音提取与分解。 • [6] Semantic-Critical Regions for V2A —— 弱监督定位细粒度发声区域并作为空间控制注入音频扩散模型。 • [34] Training Music Sample Identification Models on Real Sample Pairs —— 首个完全基于真实采样对训练的采样识别方案,配合双链增强与 Triplet 损失取得 SOTA。 ═══════════════════════════════════════════════════════════ 语音识别 (ASR) ═══════════════════════════════════════════════════════════ • [11] VietMed —— 构建最大公开越南语医疗语音数据集(16h 标注 + 约 2170h 无标注)与首个可复现预训练模型,测试 WER 从 51.8% 降至 29.6%。 • [13] Not All Frames Are Equal —— 揭示 GPTQ/AWQ 在 ASR 超低比特下崩溃源于静音冗余帧主导校准,提出帧间差分加权的 DiffAQ。 • [30] Flash RNN-T —— 分块激活检查点 + 融合内核,在不改变目标函数的前提下约束联合网络与损失计算的显存。 • [24] Advancing Sentence-Level Dysarthric AVSR via TTA —— 构建句级构音障碍音视频语料,并用广义熵最小化做无标签测试时自适应。 • [35] SEA-HELM Audio —— 用 TTS→ASR→LLM 双路径对照量化东南亚语言的"语音鸿沟"。 ═══════════════════════════════════════════════════════════ 语音理解与大模型 ═══════════════════════════════════════════════════════════ • [8] ConvexLLM —— 把音频表示约束为冻结文本词嵌入的凸组合,扩展到通用语音与音频语言模型并配合文本教师蒸馏。 • [15] MedSonor —— 用真实医疗音频与临床请求配对做 SFT,再以评分细则引导的两阶段强化学习优化临床回答。 • [23] X-MDD —— 以 TTS 合成标准语音与标准音素序列为显式参考,让仅训练过中英的模型零样本诊断阿拉伯语发音错误。 • [28] VocalGrad —— 受控单属性渐变基准(21,600 条),配合线性探针与 LoRA 定位 LALM 的声学感知失败环节。 • [29] Jarvis —— 任务账本 + 类型化决策接口 JEV,把协调决策从自由生成改为"模型判断、代码强制"。 • [32] Dual-BEATs —— 双 BEATs 编码器 + 非相关抖动噪声,绕过 LLM 归一化瓶颈保留声道间电平差,零样本实现立体声定位。 • [4] JAVIS —— 基于 Fun-Audio-Chat 用 LoRA 改造联合精炼头,语音与面部运动双分支流式并行生成,首响延迟约 1.27 秒。 • [21] MUB —— 身份遮蔽音乐理解基准,联合评测速度/调性/拍号/结构,并诚实披露指标错误与标注未验证等缺陷。 • [22] Known Music, Unknown Response —— 提出"已知未来音乐"的唤醒度变化预测任务,以泄漏审计与同曲对照验证音乐内容及位置的真实预测信息。 • [37] SpeechCritic —— 用约 300 条人工偏好校准前沿模型,批量生成万余条带理由的监督数据,训练 7B 诊断式语音裁判。 ═══════════════════════════════════════════════════════════ 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ • [2] AcousticAgent —— 以户型图为核心表示的多房间声学仿真平台,混合求解器解耦几何与设备配置,并构建 FP-RIR 数据集。 • [7] PromptSep-Speaker —— 条件潜在扩散 + 四种可互换线索 + 辅助对齐损失,生成式目标说话人提取。 • [16] PAC-KD —— 按爆裂音/哮鸣音拆出两个二值专科教师,边际化蒸馏给统一四分类学生,并做梯度冲突校准。 • [17] Too Emotional to Be Fake? —— EMOSHIFT 基准用句内情绪稳定/变化成对比较,揭示检测器漏检率与误报率的双向恶化。 • [26] Interpreting SSL Representations for Spoof Detection —— 逐层线性探测 + PWCCA + 层子集穷举,发现 5 层组合优于 WavLM 全 13 层。 • [31] TargetSEC —— 在紧凑潜在风格空间用扩散生成唤醒度条件风格向量,实现即插即用的情感转换。 • [33] Sparse Weight and Edge Circuit Discovery —— 将 DiscoGP 权重-边联合掩码移植到 HuBERT/Wav2Vec 2.0,并提出显存从四次方降到三次方的变体。 ═══════════════════════════════════════════════════════════ 其他方向 ═══════════════════════════════════════════════════════════ • [25] Framing Spatial Hearing within the Free Energy Principle —— 分层 FEP 智能体刻画逐试次定位学习,拆解为侧向精度、极向精度与半视野消歧三个成分。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 今日投稿明显向"评测与诊断"倾斜:VocalGrad、EMOSHIFT、MUB、SEA-HELM Audio、Qwen3-TTS 诊断等工作不再比拼单一指标,而是通过受控扰动、成对比较与可解释探针定位模型失效环节,且多篇主动披露基准自身缺陷。另一条主线是效率化生成——单步/少步 TTS 与语音超分(DriftTTS、BDR-BWE)试图摆脱预训练教师依赖,量化与显存优化(DiffAQ、Flash RNN-T)则瞄准端侧部署。此外,语音智能体的"协调层"开始被当作独立问题处理(Jarvis),而空间听觉与立体声感知(Dual-BEATs、AcousticAgent、FEP 模型)显示社区正系统性地纠正"单声道假设"。
2026-10-16 eess.AScs.SD 33 篇

ArxivWatcher 每日综述

2026-10-16 语音与音频论文综述 共 33 篇,大佬论文 0 篇 ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ [25] 全双工语音模型的轮次风格迁移:发现"何时开口"的倾向可压缩为残差流中单一方向向量,仅凭一段参考录音即可零训练移植对话人格,今日最高分 8.2。 [1] SNOAR:无干净参考的自训练去噪框架,用差分噪声滤波加回原始观测,从理论上证明可避免自训练坍缩,真实录音上显著超越 RemixIT。 [15] C-Gate:把每帧语音表示为 LLM 词嵌入的凸组合,从构造上保证语音表示落在 LLM 训练流形内,冻结 LLM 下同时提升 ASR 与情感识别。 [4] ELLSA 2:在 SALMONN-omni 全双工框架上联合优化语音、手势与表情,首次让模型学会"何时该做有语义的手势"。 [29] HLR-LLM:为 Qwen2.5-Omni 增加双耳空间音频通路,配合三阶段课程学习与思维链监督,实现"听—定位—推理"分解式场景理解。 [32] BeatEdit:首次将符号音乐生成重构为显式编辑(保留/删除/替换/插入),推理速度比自回归与扩散快两个数量级。 ═══════════════════════════════════════════════════════════ TTS / 音乐生成 ═══════════════════════════════════════════════════════════ ── 语音合成 (TTS) • [7] Bridging the Gap: Converting Read Text to Conversational Dialogue 基于 HiFi-GAN 与 Mel 中间表示,用对话上下文模块动态调整韵律,将朗读语音转为对话语音,评分 4.5。 • [11] High-Order Sinusoidal Modeling for Precise Parameter Refinement 指出准谐波模型仅用一阶泰勒展开是频率偏差大时估计不准的根源,推广到任意高阶并配合 LM 算法求解。 • [14] Adaptive Duration Model for Text Speech Alignment DurFormer 将音素时长建模为条件高斯分布,融合语速、场景与 RoBERTa 语义条件,改善非自回归 TTS 对齐。 • [17] TTS-Q: Perception-Guided Post-Training Quantization of Text-to-Speech Diffusion Transformers 首次系统研究零样本 TTS 扩散 Transformer 的 4-bit 量化失效模式,发现量化主要损害说话人音色而非可懂度,通过重分配后期采样步 FFN 精度恢复音色。 ── 音乐生成 • [9] MIDI-REPA: Improving Text-to-Music Generation with Symbolic Representation Alignment 将 DiT 中间层表示对齐到自动转录的 MIDI 符号目标,不增数据不扩模型即可提升生成质量与文本贴合度。 • [10] DuET: Note-Frame Dual Encoding for Piano Performance-to-Score Transcription 音符级与帧级双编码器联合学习乐谱预测与节拍跟踪,引入 TimeRoPE/TPRoPE 位置编码解决节拍粒度不匹配。 • [16] The MPB Corpus: A Dataset of Melody, Rhythm, Harmony, and Melody-Harmony Relationships in Brazilian Popular Music 首个同时编码巴西流行音乐旋律、节奏、和声及交互的多维语料库,含 500 首作品与探索性分析。 • [32] BeatEdit: Symbolic Music Generation as Explicit Editing 基于 Beat 编码将生成重构为显式编辑操作,提出三种编辑密度递增机制,纠错与补全任务上更精准且快两个数量级。 ═══════════════════════════════════════════════════════════ 语音识别 (ASR) ═══════════════════════════════════════════════════════════ • [8] Zero-Shot Spoken Language Understanding with SLAM-ASR 诊断发现仅用 ASR 训练的线性投影器能让模型学会"按格式回答"但答不对,语义传递瓶颈在投影器而非解码器。 • [27] PEDBench: Can Speech Models Detect Phonetic Errors? 首个系统评测音素级发音错误检测的基准,发现专用音素识别模型、商业工具与语音大模型普遍不可靠,并尝试用合成语音微调改善。 ═══════════════════════════════════════════════════════════ 语音理解与大模型 ═══════════════════════════════════════════════════════════ ── 语音大模型与对话 • [3] VoxTurn: Answering Several Turn-Taking Questions in One Pass with One Model 基于 Qwen3-ASR-0.6B,将多个轮次判断统一为多选题一次前向传播回答,14 语言基准上取得开源模型最低误打断率。 • [4] Full-Duplex Interaction with Speech, Expressions and Gestures ELLSA 2 在 SALMONN-omni 上增加流式手势-表情合成器,通过语义调用头与模板引导实现语音、手势、表情端到端联合优化。 • [15] Is Text All You Need? Text as a Universal Information Bottleneck for Speech LLMs C-Gate 用凸包约束将语音帧表示为 LLM 词嵌入的凸组合,从几何上对齐语音与 LLM 输入空间,冻结 LLM 下提升 ASR 与情感识别。 • [21] Qwen-Audio-Jev: A Unified Interface for Audio Decisions 用 CHOICE/NOUL/SCORE 三个类型化决策头替代自回归文本生成,在选择题、判断题、打分题上获得约 20 倍推理加速。 • [25] Reference-Guided Turn-Taking Style Transfer for Full-Duplex Spoken Language Models 从模型自身对话中提取 initiative vector,按参考录音校准剂量,实现零训练、跨权重的说话倾向控制与个性化风格迁移。 • [28] CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models 用 BPE 无损压缩扩展生成端词表,将生成与合成 token 空间解耦,不换分词器与解码器即提速约 1.7 倍。 • [30] Bias Mitigation in Audio-Enabled LLMs through Adversarial Training and Distillation Methods 用对抗训练构建性别无感模型,再通过 logit 蒸馏实现"感知但不偏见",在三个模型上部分缓解性别刻板印象输出。 ── 音频理解 • [19] SonicWorld: Source-Centric Latent Dynamics for Spatial Audio Reasoning 用 Slot Attention 式循环绑定为每个声源维护持久隐状态,支持"指定声源+指定时间"的空间推理,并发布 Sonic-Bench。 • [23] From Signals to Evidence: Interpretable Underwater Acoustic Target Sensing with LLMs 将物理感知声学编码器与 LLM 耦合,把决策从标签+置信度升级为以轴频、机械谱线等结构化物理证据为条件的描述生成。 ═══════════════════════════════════════════════════════════ 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ ── 语音增强与分离 • [1] SNOAR: Self-training with Noise filtering, Observation adding, and Remixing for Speech Denoising Without Clean References 在 RemixIT 教师-学生框架上引入差分噪声滤波与观测加回,理论证明可避免自训练坍缩,真实录音上显著优于基线。 • [6] Rethinking Batch Composition: Promoting Feature Diversity for Speech Enhancement 按干净语音声学特征分位数分层采样构建 mini-batch,即插即用地提升增强性能,不改模型与损失函数。 • [22] CF-AVSS: A Coarse-to-Fine Audio-Visual Speech Separation Framework 渐进式双流粗分离叠加目标说话人精炼与后融合,配非对称过抑制损失保护弱目标音素,AVSE 挑战赛 Track 1 并列第一。 ── 神经音频编解码器 • [2] Probing Neural Audio Codecs with Speaker Traits and Speech Characteristics 系统解剖 17 种编解码器,发现码本层次结构并非统一"由粗到细",而是因说话人特征与语音特性而异。 • [12] Frame-Wise Streaming for Efficient Learned Speech Compression StreamLSC 将卷积、归一化与 RWKV 序列建模改造为可流式形式,配帧级可流式熵模型,实现离线训练与流式推理数值等价。 ═══════════════════════════════════════════════════════════ 其他方向 ═══════════════════════════════════════════════════════════ ── 空间音频 • [20] Multiscale Generalized Sparse Plane Wave Decomposition in the Spherical Harmonic Domain 用最小化旁瓣功率的广义球面核替代 Dirichlet 核,结合跨阶数多尺度联合 OMP,提升高阶球谐下声源方向恢复准确性。 ── 多模态视听 • [13] A Multimodal Emotion Recognition System: Integrating Facial Expressions, Body Movement, Speech, and Spoken Language 决策层置信度加权融合四模态情绪识别,发现单模态在真实场景下准确率大幅下降而多模态融合显著提升一致性。 • [18] CIViC: Evidence Gates for Audio-Conditioned Visual Prediction on Proxy Tasks 提出四道证据门诊断协议,检验"模型确实在用音频做视觉预测"这一说法,揭示输出对音频有反应、替换敏感与留出集更优支持的是不同结论。 • [29] Hear, Localize, and Reason: Spatially Aware Scene Understanding for Audio-Visual LLMs 为 Qwen2.5-Omni 增加双耳空间音频编码通路,配合三阶段课程学习与思维链监督,大幅超越现有模型的空间定位与场景推理。 • [31] How Much Physics Can Vision Learn from Audio? Probing and Distilling Damping Structure 发现音频能很好编码阻尼品质因子 Q(ρ=0.73)而单帧视觉几乎不能(ρ=0.28),通过知识蒸馏让冻结 CLIP 部分恢复该能力。 ── 语音安全与隐私 • [24] Backward Compatibility in Zero-Bit Neural Audio Watermarking 首次系统研究神经音频水印的向后兼容问题,用性能加权采样与角度多样性损失解决新嵌入器塌缩导致的版本边界失效。 • [33] AT-ADD: A Benchmark and Challenge for Robust and All-Type Audio Deepfake Detection 构建覆盖语音、环境声、歌声、音乐四类音频的统一评测框架,设鲁棒性与跨类型双赛道并提供可复现基线。 ── 副语言与健康 • [26] EEG-Based Prediction of Music Enjoyment Using Deep Learning with Explainable Temporal Analysis 将音乐愉悦度从分类改为连续回归,严格跨被试协议下对比 6 种架构,可解释性分析揭示模型依赖分布式时间动态。 ── 声音事件与场景 • [5] Hierarchical Interpretable Multitask Audio Representation Learning 将多头并行架构改为事件概率瓶颈的顺序条件化结构,结合信息瓶颈、流形几何与形式概念分析比较事件-场景关系。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 今日投稿呈现三条清晰主线。其一是全双工对话的"可控性":从轮次风格迁移 [25]、多问题一次判定 [3] 到多模态手势表情联合生成 [4],研究者正把全双工模型从"能听说"推向"可调人格、可协调非语言行为"。其二是语音-LLM 桥接的几何视角:C-Gate [15] 与 SLAM-ASR 诊断 [8] 从表示空间对齐与瓶颈定位两个方向追问"语音如何进入 LLM",结论互补——桥接模块的设计比解码器能力更关键。其三是评测与基准的密集补位:PEDBench [27]、AT-ADD [33]、Sonic-Bench [19]、CIViC [18] 分别针对发音检错、全类型深伪、动态空间推理与音频条件性结论,反映出领域对"现有模型到底行不行"的系统性反思。此外,无干净参考的自训练去噪 [1] 与流式神经编解码 [12] 继续在"无监督/低延迟"两端推进实用化。
2026-10-15 eess.AScs.SD 6 篇 快照总览

ArxivWatcher 每日综述

日期: 2026-10-15 分类: eess.AS / cs.SD 论文总数: 6 今日论文总览 [1] Energy-Based Models For Speech Synthesis — Wanli Sun、Zehai Tu、Anton Ragni [2] Score-Based Training for Energy-Based TTS Models — Wanli Sun、Anton Ragni [3] Geometric Alignment without Functional Equivalence: A Layer-wise Analysis of the Speech-Text Modality Gap — Ming-Hao Hsu、Xiaohai Tian、Jun Zhang 等 [4] Omni-Embed-Audio: Leveraging Multimodal LLMs for Robust Audio-Text Retrieval — HaeJun Yoo、Yongseop Shin、Insung Lee 等 [5] Remix the Timbre: Diffusion-Based Style Transfer Across Polyphonic Stems — Leduo Chen、Junchuan Zhao、Shengchen Li [6] C2GA: A Class-Controllable Generative Augmentation Framework for Respiratory Sound Classification — Ziqi Ma、Mengyu Han、Anteng Cai 等
2026-10-14 eess.AScs.SD 113 篇

ArxivWatcher 每日综述

语音与音频领域每日论文综述 2026-10-14 共 113 篇论文,其中大佬论文 1 篇(Fei-Fei Li 参与的 [1])。 ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ [38] DELTA-TTS:把预训练自回归 TTS 通过 LoRA 改造成离散扩散语言模型,按置信度顺序并行解码,仅增约 15% 参数即同时降低词错率并提速 3.3 倍,是今日最高分工作之一。 [67] AnyEdit:免分离的两阶段语音/歌声编辑框架,在保留原始噪声、混响与背景音乐的前提下做局部词句增删改,并提出真实-真实配对 DPO,直击 UGC 与音乐后期的真实痛点。 [33] D2:从强能力半双工骨干出发,经流式编码器蒸馏 + 全双工 SFT 两阶段转换,实现 80ms chunk 的边听边说与可打断交互,正面回应"全双工模型不够聪明"的长期矛盾。 [112] MusicRL VR:把确定性音乐约束验证器转成硬门控 + 分级信用的密集 RL 奖励,让 4B 模型的多约束联合满足率从 0.160 升至 0.807,超过 70B 通用模型。 [23] SoFilNet:完全可微、自监督的源-滤波器网络,仅靠波形重建即可无标注估计基频、清浊、非周期性与共振峰/反共振,物理可解释性强。 ═══════════════════════════════════════════════════════════ TTS / 音乐生成 ═══════════════════════════════════════════════════════════ ── TTS 与语音合成 ── • [4] Cross-Lingual TTS for Indian Languages:为英印跨语言 TTS 建基准,指出 F5-TTS 按 UTF-8 字节估时长的缺陷,提出字符级 + 语言特定先验的推理时修正,无需重训。 • [25] Hearing's Blind Spots:离线 oracle 诊断,比较能量排序、掩蔽排序与随机删除频谱 bin 对音质指标的影响,作者明确强调"删 bin"不等于"省计算"。 • [38] DELTA-TTS:AR→离散扩散的 TTS 改造,双向注意力 + Conformer + 置信度顺序解码,585 小时数据即取得更低 WER 与 3.3 倍加速。 • [40] Singlish, Can or Not?:首次系统评测零样本 TTS 在新加坡英语上的表现,发现模型能克隆音色却"抹平"口音,50 人微调可显著提升口音相似度并泛化到未见说话人。 • [41] SemBridge:训练时用离散语义 token 对 LM 隐状态做交叉熵锚定,推理时移除分类头保持完全连续生成,显著降低内容错误率。 • [46] DisSpeech:低资源可控中文口吃语音合成,显式口吃事件 token + 韵律感知重建,合成数据增强使 Qwen3-ASR-0.6B 在中文口吃识别上达 4.19% CER。 • [47] A Situational Speech Synthesizer for Yoruba:基于规则的双音素拼接约鲁巴语 TTS,五档声调选择 + 三向鼻音消歧,并提出 caron/circumflex 单符号轮廓调正字法扩展。 • [57] VoTSpeech:从文本指令显式预测连续 voice latent,再同时指导 LLM 韵律规划与 Acoustic DiT 渲染,实现"声音设计"与"内容生成"解耦。 • [59] Training a Compact, Strong, and Realistic TTS Model:0.6B 零样本克隆模型,引入以人类录音为锚点的"真实感评论家"作 RL 奖励,并加身份擦除与时长约束防奖励捷径。 • [90] Beyond Fixed Targets:诊断出单样本 SFT 导致 AR TTS 提前吐 EOS 的根因,改用 GRPO 与在线自蒸馏从自身生成轨迹学习,兼顾可懂度与相似度。 • [91] Fish Audio Drama 3:35B 参数(激活 3B)可导演式语音生成,Gated DeltaNet + 全注意力骨干、码本 MTP 解码,用人类偏好奖励模型替代 WER/SIM 规则奖励。 • [109] TontaubeV1:2.9B 四阶段流式 TTS,语义流 + 三层声学精修流按重要性分配容量,潜空间重叠拼接让非因果编解码器免重训即可流式输出。 • [110] Post-Training Zero-Shot TTS for Fine-Grained Emotion and Duration Control:SFT + GRPO + 指令等价蒸馏,用自然语言实现句内片段级情感与时长控制,推理时无额外模块。 • [113] EditVoice:首个变长非自回归零样本 TTS,用 Edit Flows 的插入/删除/替换操作在生成中动态决定长度,并顺带统一文本驱动语音编辑。 ── 音乐生成与理解 ── • [12] High-Fidelity Song Generation with Joint Discrete and Continuous Modeling:可微读出层把 LM 隐状态映射为连续语义条件,使流匹配损失可反传更新语言模型,实现离散规划与连续渲染联合训练。 • [19] MSVAE:把 64 维隐表示沿通道分为作曲与歌词-人声双流分别对齐冻结语义编码器,让下游歌曲生成无需句子级歌词时间戳也能唱清歌词。 • [42] Fast Diffusion-GAN Model for Generating Symbolic Music with Emotions:VAE 潜空间扩散 + 条件 GAN 生成器替代高斯去噪,5–15 步即可生成情绪可控的符号音乐。 • [60] Transfer Learning for Rhythm Game Chart Generation:冻结 AMT 模型作音频编码器、只训轻量解码器,并系统测量跨游戏迁移,发现迁移效果取决于打谱风格与音乐类型是否一致。 • [65] Sori:提出非音乐音频到符号音乐转换任务,域对抗对齐特征空间 + 无分类器引导实现"忠实度-音乐性"连续可调,可在 CPU 上实时流式运行。 • [70] Harmonic Representations in Symbolic Music Transformers are Localized and Controllable:用激活修补与线性探针定位巴赫众赞歌终止式的和声表征,并可在推理时直接操纵以改变终止类型。 • [71] TASTE:把音乐描述拆为标签/段落规划/意象三通道,配套 43 万首标注 MIDI 与分阶段训练,缩小"描述-意图鸿沟"。 • [95] PAG-Agent:把用户歌曲与背景画像蒸馏为显式审美画像,再由规划 LLM 翻译为生成指令,并配套一致性 + 特异性双指标的 PA-Eval。 • [112] MusicRL VR:硬验证门 + 逐属性分级信用 + 联合满足奖励,4B 模型多约束联合满足率 0.160→0.807,超越 70B 通用模型。 ── 音频生成 / 编辑 / 修复 ── • [10] NPU-ASLP Music Restoration System:TF-MoE 骨干 + 尺度感知编码器 + 复数谱直接映射,自建物理仿真数据管线,不到 3M 参数获官方盲测第三。 • [13] Controllable Mono-to-Stereo Upmixing using Reward-tilted Flows:把上混建模为生成式逆问题,预训练流先验 + 奖励倾斜后验采样,免任务特定训练即可空间可控上混并去退化。 • [58] AlignAudio:表示层蒸馏对齐 + 生成层速度场方向对齐的双重机制,让语音条件生成在含噪输入下保持稳定。 • [63] GAMW:在 TTS 声学模型与 vocoder 之间的梅尔域嵌入内容自适应多比特水印,配合焦点调制与动态逐比特加权,抗神经编解码等复合攻击。 • [68] SoniGAN:用语音克隆 TTS + 两阶段 GAN 从文本合成眼镜式超声回波轮廓,为开放词汇静默语音识别提供合成监督,WER 26.3%→14.9%。 • [76] Behavior-Conditioned Animal Vocalization Generation:构建六物种 3.1 万条发声事件数据集 BeVo,微调 TangoFlux 并引入事件感知变长掩码与多维评估。 • [77] MPASCNet:幅度-相位联合引导的自适应频谱压缩 + 分离重建分支,参数仅为对比方法约三分之一,用于低码率 MP3 音乐修复。 • [93] PhysicsSliders:完全在仿真数据上训练的 flow matching 音效生成,通过仿真器反演把真实录音的测量阻尼目标映射为生成输入,实现物理参数精确控制。 • [101] PhyAVBench:首个系统评估 T2AV/I2AV/V2A 模型"声音物理敏感性"的基准,用控制变量配对提示与 CLAP 空间对比物理响应分数,Sora 2 等亦表现不佳。 • [104] Generating Synthetic Doctor-Patient Conversations:全合成医患长对话流水线,8,800 段 / 1,329 小时,发现端到端音频大模型在长对话 SOAP 摘要上仍落后级联方案。 ═══════════════════════════════════════════════════════════ 语音识别 (ASR) ═══════════════════════════════════════════════════════════ • [15] Towards Privacy-Preserving ASR:定位 HuBERT+CTC 第 6 层为说话人身份编码关键层,在该层特征空间用 margin 分散损失把目标说话人表征推离聚类质心,实现表征级遗忘。 • [39] Phone Segmentation and Recognition through Phonological Activation Mapping:把自监督模型表示投影到音系特征方向(SPAM),免梯度训练、不到一分钟标注即可统一完成音素分割与识别。 • [56] Window Size Matters:在含噪 LibriVAD 上统一分帧协议扫描窗口大小,TEN VAD 稳健、RMS 太弱、Silero 在固定协议下脆弱(作者强调可能是协议问题)。 • [78] LLM-HB:Whisper 编码器 + MoE 语言感知适配器 + LoRA 微调 Qwen3-4B,联合语言预测头与热词加权损失,中英混说 MER 相对降低 20.30%。 • [92] Collapse, Repair, and Drift:用损失/CER 双视角、双向层级拼接与梯度光谱分析解构 SFT 动力学,发现早期崩溃并非源域持续退化的必要条件。 • [108] X2Streaming-ASR:去掉全局延迟 τ,用三阶段训练(监督识别 + 探测热启动 + GRPO 段级信用分配)让模型自适应决定何时等待、何时提交,延迟从数百毫秒降至数十毫秒。 ═══════════════════════════════════════════════════════════ 语音理解与大模型 ═══════════════════════════════════════════════════════════ ── 全双工与实时对话 ── • [2] RUBATO:多流解耦位置编码,为实时音频流与内部思考流分配独立时钟,仅训练两种极端速度即可零样本泛化到任意解码速度。 • [33] D2:从半双工骨干经流式编码器蒸馏 + 全双工 SFT 转换,80ms chunk 边听边说,兼顾通用能力与低延迟。 • [51] StepAudio 3 Realtime:双脑(构思/表达)并行架构 + 播放感知调度,实现"边说边想",并支持不阻塞对话流的工具调用。 ── 语音语言模型与偏好后训练 ── • [24] PhonoVoxtLM:把联合优化 ASR 与重合成目标的单码本音韵 token 塞进 VoxtLM,验证一套 token 可同时支撑理解与生成,无需额外 token 预测模块。 • [75] What Matters in Preference Post-Training:系统解耦候选构造、流时间采样与可训练模块三个选择,发现更新 AR 主干优于只更新声学生成头,且训练损失低不等于语音质量好。 • [84] SpectralBridge:用外差频率搬移 + 配对跨频段注意力适配器,让冻结的 16kHz 编码器重新感知 8–16kHz 高频,无需重训 LALM。 ── 音频理解、评测与定位 ── • [3] FAM-gate:CLAP 骨干上加字段感知元数据注意力与先验约束向量门控,逐维自适应融合音频与标题/标签/描述。 • [11] HMU-Bench:双语双模态(ABC 乐谱 + 音频)音乐理解基准,显式标注解题所需操作与范围×难度,暴露全模态模型音频理解普遍很差。 • [17] RefTAG:让 LALM 先出草稿再显式诊断"数量对不对、边界准不准",并用反思感知 GRPO 奖励"改得对",区分 occurrence 与 boundary 两类错误。 • [34] SonicWorld:为每个声源维护持续状态槽并投影到 Omni LLM,回答"某声源在某时刻/时段在哪、怎么动",配套 Sonic-Bench。 • [48] Listen, Reason, and Segment:音频章节化框架,音频到文本模态桥构造 CoT 监督 + SFT 冷启动 + GRPO,F1 从 28.6 提升到 77.8。 • [49] VocalCoachBench:18 位专业声乐教练对 515 段演唱的标注,把开放式反馈拆为原子声明,发现模型能指方向但精细诊断远不如专家。 • [83] UA-Bench:37.5 万条参数化合成 + BELLHOP 传播的水下声学基准,9 个开源 LALM 细粒度识别仅 2.0%–13.1%,近乎随机。 • [85] ATTEST:反事实音频锚定奖励 + 注意力密度奖励 + 词元级优势分配,不改架构不加时间标记即提升长音频时序定位并抑制幻觉,配套 EgoSCAPE 基准。 • [94] AMemOps:用 ESC-50 与 NSynth 构建长音频流,配对控制实验分离声学变化、训练熟悉度与历史冲突对注意力/循环记忆的影响。 • [106] RAIL:基于 CHC 认知理论把听觉智能形式化为 5 大能力 32 子任务,评测 26 个 LALM,发现知识类强、感知/记忆/推理弱。 • [107] Auto-AEG:合成数据 SFT 冷启动 + 真实音频伪标签 GRPO 的两阶段数据流水线,让 LALM 学会开放词汇音频事件定位,配套 AEGBench。 ── 语音翻译与检索 ── • [88] SSEmb:冻结语音编码器 + 冻结文本嵌入模型,仅用 ASR 语音-转写数据训练轻量适配器,实现语音到文本检索,免去 ASR 级联延迟。 • [105] NaijaS2ST:四种尼日利亚语言与英语双向平行语音-文本基准(每语言 >40 小时),系统对比级联、端到端与音频大模型三类范式。 ═══════════════════════════════════════════════════════════ 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ ── 说话人技术与隐私 ── • [9] LiveAnon:自回归编解码 LM 提示续写 + 流式 ASR 隐藏特征做内容条件,Capped RVQ 控制延迟,不做情感专项建模即同时保住可懂度、情感与隐私。 • [14] Unsupervised Cross-device Speaker Diarization And Linking:利用诊所排班的时空约束(并发约束、房间类型唯一性)改进凝聚聚类,配合设备中心化与校准阈值。 • [81] Unsupervised Data Drift Monitoring for Deployed Deepfake Speech Detectors:在检测器嵌入空间用正则化马氏距离构建真/假双参考分布,无需标签与重训即可监控部署漂移。 ── 语音转换与增强 ── • [72] Prime-EVC:把情感建模从采样器前移到条件构造,EVA 预测帧级音高与能量直接监督条件,单步欧拉采样即可生成富有表现力的情感语音。 • [87] MCRL-VC:两阶段多模态对比学习,先对齐电子喉语音与文本表示,再蒸馏回纯语音推理模型,提升电子喉语音可懂度与自然度。 • [100] Loud-loss:基于 40-phon 等响度曲线导出频率权重,在 Mel 子带对数功率域加权重建误差,PESQ 从 2.17 提升到 2.93,无需额外网络。 ── 分离与提取 ── • [61] Learning Where to Split:边界打分网络 + Hard Top-K 在固定频带预算下为每个输入预测内容相关的频率划分,配合加权池化与全分辨率重建路径。 • [69] FlowGRPO for Vocal Separation:训练前先分析奖励组内差距与数据质量的关系,据此改进 ViSQOL 奖励并加入样本质量过滤。 • [82] What Makes Codec Tokens Effective for TSE:受控实验表明表示层解耦不够,语义流交判别式提取器、声学流交生成式 AR 才是关键。 • [89] FLOMSS:在压缩复数 STFT 域系统探索条件流匹配的音乐源分离,SDR 不如判别式但频谱与语义嵌入相似度更优,主观听感有竞争力。 ── 编解码器与带宽扩展 ── • [5] SemiCodec:离散 token 与连续 VAE 隐变量双分支共享合成空间,Preserve-then-Ground 两阶段训练 + Acoustic Dropout 解决连续路径"抄近路"。 • [7] HE-NAC:把 RVQ 扩展为核心带/中带/高频带三层独立码本,高频由盲上采样先验加少量残差码本显式编码,23 kbps 下优于 DAC 与 HE-AAC。 • [16] FOAdapter:冻结单声道编解码器 + 独立
2026-10-12 eess.AScs.SD 45 篇

ArxivWatcher 每日综述

2026-10-12 语音与音频论文综述 共 44 篇(大佬论文 0 篇) 今日无领域大佬坐镇,但高分工作集中在端侧部署、语音大模型训练范式与多模态同步三个方向,实用性导向明显。 ═══════════════════════════════════════ 今日重点 ═══════════════════════════════════════ [2] EarLog(8.5):把用户日常播放的音乐本身当作探测信号,用双麦克风耳塞检测声反射事件,实现听歌过程中的个性化听力风险监测。实验设计扎实,专门证明了临床判据和固定阈值在真实场景中会失效。 [27] Oído(8.0):把 13M 参数的 Conformer-CTC 经 int8 量化后完整跑在 5 美元、无神经网络加速器的 ESP32-S3 上,LibriSpeech test-clean 仅比全精度差 0.02 个点,代价是速度约为实时的 1/2。 [32] Rethinking Entropy Allocation in LLM-based ASR(8.2):从"熵分配"视角诊断编码器与 LLM 如何分担不确定性消减,提出 NSE/PAI/CSAI 指标,并据此设计多阶段训练策略,2.3B 参数即达到更大模型的竞争性能且幻觉率显著降低。 [13] Structural and Representational Agency(8.0):用 LLM 驱动音色设计工具做测量实验,发现界面显示的位置误差约为可达集宽度的 3 倍,36 次指令中 26 次无可听变化却报告"已收敛",揭示"静默失败被呈现为成功"的反模式。 [43] AdaptDuplex(8.0):在 Qwen3-Omni 上把听/说控制、动态窗口、记忆巩固与工具编排全部显式化为 token 序列,配合按双工难度分阶段的课程训练,实现运行时自适应的全双工对话。 ═══════════════════════════════════════ TTS / 音乐生成 ═══════════════════════════════════════ [3] E3-System:零样本表现力 TTS,用 VC 构造伪配对数据实现音色与风格显式解耦,配合 Style-RAG 将自然语言意图锚定到声学风格。 [11] TTS-Q:首次系统研究零样本 TTS 扩散 Transformer 的 4-bit 量化失效模式,发现量化主要损害说话人音色而非可懂度,通过给后段采样步 FFN 激活分配更高精度恢复音色。 [17] Emo-BPO:在扩散式情感 TTS 的 CFG 框架下同时学习"靠近目标情感"与"远离竞争情感"的双向偏好优化,无需奖励模型或标注数据。 [18] LiveSynth:基于无反馈因果 Transformer 与因果 VAE 的流式神经合成器,10 毫秒延迟逐帧生成,实现可实时演奏的零样本乐器克隆与文字转乐器。 [34] SENSE:从 EEG 重建语音,用图神经网络建模电极空间关系,并利用 N400 范式的语义一致性结构将 EEG 对齐到 CLIP 文本嵌入空间。 [36] Mechanisms of Multimodal Synchronization(8.0):用统一解码器模型 Visatronic 系统研究位置 ID 分配与模态排列顺序对跨采样率模态同步的影响,提出音素级同步度量 TimeSync。 [37] Bayesian Speech Synthesizers Can Learn from Multiple Teachers(7.8):BELLE 将每帧梅尔频谱的均值和方差建模为 Normal-Inverse-Gamma 先验,显式预测"一句话有多少种说法"的不确定性,用多教师合成平行语音提供监督。 ═══════════════════════════════════════ 语音识别 (ASR) ═══════════════════════════════════════ [5] Does Financial Speech Need Continual Learning Regularization?:发现金融语音 ASR 的同领域增量学习中根本不存在灾难性遗忘,正则化反而拖后腿;若必须用,层级 mini-KFAC 近似比对角 EWC 更稳。 [20] From 2.1M Hours of Raw Broadcast Audio to Finnish Speech SSL:用 VAD + 去重 + ASR 置信度过滤从 210 万小时广播音频筛出 47.1 万小时预训练芬兰语 SSL,并在参数量对齐下比较四种编码器架构。 [27] Oído(8.0):见今日重点。 [31] Enhancing Speech Recognition through TTS and Voice Conversion Augmentation:土耳其语呼叫中心场景下系统比较 TTS 与三种语音转换方法,发现 Seed-VC 通过增加说话人多样性显著缩小合成与真实数据差距。 [32] Rethinking Entropy Allocation in LLM-based ASR(8.2):见今日重点。 [33] Encoder Awakening via Adapters:EAVA 在语音编码器每层插入轻量适配器,先单独唤醒编码器再联合微调投影器与 LLM LoRA,刷新儿童语音与方言语音识别最优成绩。 ═══════════════════════════════════════ 语音理解与大模型 ═══════════════════════════════════════ [4] Frontend-Assisted Large Audio-Language Models for SLT2026 SmartGlasses Challenge:基于 SoulX-Transcriber 微调,串联 GSS 目标说话人提取与改进多通道 DPRNN 分离网络,测试集 tcpCER 6.22。 [21] Does Location Matter?:用 CLAP 定位 + STFT 频谱门控做黑盒因果审计,检验 LALM 幻觉是否源于未接地于音频证据,发现音频接地能力因模型而异,并提出 LangPrior-CD 解码校正。 [28] Phonology-Aware Speaker Extraction Frontend for Audio LLMs:LATTE 仅 5.2M 参数,用共享前缀沙漏提取器与样本级难度路由,按需决定提取深度,提升下游音频大模型识别与理解。 [30] AudioTETRIS:利用编码器隐藏状态帧间变化幅度作为音素转换先验,与 LLM 解码器深度自适应注意力信号融合,仅保留 25% 音频 token 即维持接近无损性能。 [38] DEAF:构建 2700+ 条声音与文字冲突的音频刺激,解耦语义内容偏见与提示顺从两种失败模式,结论是 LALM 几乎完全被文字牵着走。 [43] AdaptDuplex(8.0):见今日重点。 [45] EchoDistill:干净教师/带噪学生的 token 级 KL 对齐与音频感知奖励塑形,在 GRPO 中替代价值模型,不增加推理成本即提升噪声鲁棒性。 ═══════════════════════════════════════ 说话人 / 转换 / 增强 ═══════════════════════════════════════ [7] Vocal Intensity Conversion with Continuous SPL Control:在冻结编码器/解码器特征空间用条件循环一致 GAN 训练轻量残差转换器,以 dB SPL 标量为条件实现连续音量控制。 [8] OpenSVBench:整合 16 个数据源为 26 个固定测试集、11 类部署场景、超 900 万验证对,揭示 VoxCeleb 上表现相近的系统在真实场景下可能天差地别。 [10] SEER:源条件检索式情感增强,为每段源语音自动挑选最合适的情感参考模板,无需平行录音或情感强度标签,面向人工耳蜗用户。 [12] RDSE:双麦智能手机实时定向语音增强,将视觉从逐帧特征降级为一次性方位角意图指定,用 MVDR + Conv-TasNet + MetricGAN 级联实现几何容忍的音频变焦。 [14] Lightweight Systems for Spatial Semantic Segmentation:用 DyMN + SuDoRMRF 替换 DCASE 2025 S5 基线中的 M2D + ResUNet,参数量减少约 97% 而性能基本持平。 [15] Efficient Audio-Visual Speech Enhancement via RL-Based NAS:用 PPO 在受限搜索空间中自动搜索紧凑音视频增强网络,从 2200 万参数压缩到 290 万,性能仅掉 0.7 dB。 [25] VoxAnon:基于 VoxCeleb1/2 构建,首次同时对攻击者训练集与评估集的性别、年龄、口音、音高边际分布做均衡,揭示数据不均衡如何扭曲匿名化评估。 [39] Input Representation, Not Model Size or Pretraining Scale:配对实验发现说话人验证对时间退化的鲁棒性主要取决于输入表示(梅尔滤波器组优于原始波形),而非模型或预训练规模。 ═══════════════════════════════════════ 其他方向 ═══════════════════════════════════════ [1] Acoustic Biomarkers for Alzheimer's Disease Detection:纯声学特征驱动、不依赖转录,系统比较聚合声学、序列声学、文本转录、音频嵌入四类表征,堆叠集成效果最佳。 [6] Revisiting Accent Classification with DistilHuBERT:揭示说话人重叠导致口音分类性能虚高(语料内 99.76% vs 外部数据集 44.52%),呼吁同时报告说话人不重叠与跨语料库评测。 [9] OpenPA:无需强制对齐的发音评测框架,用 Whisper 交叉注意力直接预测词级/句级分数,混合转写适配提升对 ASR 错误的鲁棒性。 [16] Spend Where It Matters:粒子搜索 + Metropolis-Hastings 精修的推理时音视频对齐框架,引入方差最优在线粒子分配与分阶段奖励调度,固定算力预算下提升对齐质量。 [19] AV-FlowEdit:无训练、无反转的音视频联合编辑,利用源/目标提示词条件下的流场差异驱动编辑,事件感知频谱轨迹保持机制抑制结构漂移。 [22] How Should We Evaluate Naturalness for Synthetic Speech with a Foreign Accent?:大规模听测发现人类与 UTMOS 一样对口音语音给低自然度分,将自然度拆解为 human-likeness 与 context conformity 两个维度。 [23] QC-MI-OVSEL:定义查询条件化多实例开放词汇声事件定位新任务,构建 4 万场景基准,提出基于可学习源槽位与责任证据聚合的 Q-RSet 模型。 [24] What Do Audio-Language Judges of Generated Music Listen For?:四种带对照的探针实验检验五个开源音频-语言模型评判生成音乐时的捷径依赖,发现质量评判表现参差且小模型严重受位置偏差影响。 [26] EmoGavel:基于 GRPO 引入可验证 grounding 奖励与偏好门控,让多模态大模型不仅判断哪段情绪描述更好,还能指出错在哪里、该怎么改。 [29] 未提供(编号跳过)。 [35] Benchmarking Adult Addressee Classification:用冻结 SSL 编码器与协方差池化在 ManyBabies 与 ACLEW 双数据集上建立 CDS/ADS 受话人分类基准,并做线性探针可解释性分析。 [40] CircuitTree:用密度缩放与贪心干扰感知合并算法,将 39 个独立音素识别电路组合成具备音节转写新能力的共享模型。 [41] Sonic-AMG(8.0):首个从实时流式空间音频因果在线生成人体动作的框架,引入分离的 what/where 条件 token、排练式训练与空间反馈机制。 [42] X-AVDD:基于双向交叉注意力与解耦式跨模态对齐改进音视频数据集蒸馏,合成时间从 10 小时降至 1.3 小时,同时大幅提升精度。 [44] A Systematic Study of Cross-Modal Typographic Attacks:将视觉排版攻击扩展到语音通道,用 TTS 合成误导性语音混入视频音轨,发现即使人类几乎听不出来时仍能大幅误导音频-视觉 MLLM。 ═══════════════════════════════════════ 今日趋势 ═══════════════════════════════════════ 端侧与边缘部署成为今日最集中的主题:[27] 在无加速器 MCU 上跑开放词汇 ASR、[2] 用 5 美元耳塞做听力监测、[14] 将 S5 系统参数量压缩 97%、[15] 用 NAS 把 AVSE 缩小 9 倍、[30] 无需训练压缩 75% 音频 token——语音技术正从"刷榜"转向"跑得动"。 语音大模型的训练范式反思同样突出:[32] 用熵分配诊断编码器与 LLM 的功能边界、[33] 用适配器分阶段唤醒编码器、[45] 用自蒸馏对齐干净/带噪表示、[5] 甚至质疑持续学习正则化在 ASR 中是否必要。这类工作共同指向一个判断:联合微调中编码器容易被 LLM 梯度主导,需要显式维护模块功能边界。 评测可信度问题被多篇论文从不同角度触及:[6] 揭示说话人重叠导致口音分类虚高、[8] 用 26 个测试集暴露场景画像差异、[24] 用探针审计音乐评委的捷径依赖、[38] 用冲突刺激检验模型是否真在"听"、[13] 用客观测量证伪 LLM 自述的坐标系。评测方法学本身正在成为研究贡献。 多模态同步与对齐在生成侧持续深化:[36] 系统解剖位置 ID 与模态顺序对同步的影响、[16] 在固定预算下做推理时对齐、[19] 无训练联合编辑、[41] 流式空间音频驱动动作、[42] 音视频蒸馏中的跨模态对应保持。
2026-10-09 eess.AScs.SD 45 篇

ArxivWatcher 每日综述

日期:2026-10-09 论文总数:45 篇 大佬论文:1 篇(Fei-Fei Li 参与) ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ • [14] MiDashengLM-Spatial(8.0)——首个开源端到端统一音频理解与空间感知的音频语言模型,用分层语义到空间条件注入让双耳空间建模不牺牲通用理解,评分最高。 • [16] Beyond Speech Captions(8.0)——指出"语音描述准确"与"控制合成器有效"存在根本错配,改用冻结 TTS 的似然作奖励做 GRPO 训练风格规划器。 • [27] AutoSynth(8.0)——把音频/文本转成可编辑的合成器程序(MIDI+音色参数+调制路由),让生成的声音在 DAW 里真正可改。 • [30] SepGen(8.0)——单模型同时完成多声源音视频生成与分离,一次去噪输出视频、混音与各声源独立波形。 • [37] ChainDance(8.0)——把群舞生成拆成"链式逐个生成舞者",打破群体规模壁垒并消除身份纠缠,参数量少 3-4 倍。 • [44] X2Streaming-ASR(8.0)——用 GRPO 直接优化"错误数+延迟"奖励,让流式 ASR 自适应决定何时等待、何时输出,字符延迟压到几十毫秒。 ═══════════════════════════════════════════════════════════ TTS / 音乐生成 ═══════════════════════════════════════════════════════════ • [15] Edit Who Speaks, Control How They Speak——基于冻结 Qwen3-TTS/CosyVoice 骨干,实现参考条件属性级全局音色编辑与句内分段指令控制,用 KV 缓存重建缓解控制泄漏。 • [16] Beyond Speech Captions——用冻结 TTS 的教师强制似然作奖励,GRPO 训练文本风格规划器,绕过语音描述伪标签监督。 • [17] Reference-Free Singing Pitch Correction——把无参考音高修正重构为分层序列编辑(必要性判断+修正量预测),引入软调性先验,音准从 73.25% 提升到 83.43%。 • [22] NormToken——用 S2U 与 T2U 交替迭代训练,以文本可预测性为过滤信号,抑制语义 token 中的说话人与时长信息。 • [27] AutoSynth——自回归生成可编辑合成器程序,结合自动数据构造与渲染反馈 GRPO 后训练,无需配对标注或可微分合成器。 • [37] ChainDance——冻结单人舞蹈扩散模型,通过 Chain-of-Dancers 链式分解与 RATE/GAME 参数高效模块生成任意规模群舞。 • [5] Randomized Scores and Diverse Timbres——采样器-渲染器在线生成框架,解耦乐谱结构与音色覆盖,发现结构可适度打乱但音色覆盖越广泛化越好。 ═══════════════════════════════════════════════════════════ 语音识别 (ASR) ═══════════════════════════════════════════════════════════ • [21] CTC-Seeded Token Edit Refinement——以 CTC 贪心假设为种子,用 Edit Flow 并行预测插入/删除/替换做变长 token 精炼,两步迭代显著降 WER。 • [44] X2Streaming-ASR——基于 Voxtral Realtime,用 GRPO 直接优化"错误数+延迟"奖励,字符级提交段信用分配实现自适应等待与输出。 • [4] SmoothConv and DuplexConv——构建 2100 小时互补式中文多人对话语料库(人工校验 100h + 自动标注 2000h),配套分离/多说话人/轮次检测基准。 ═══════════════════════════════════════════════════════════ 语音理解与大模型 ═══════════════════════════════════════════════════════════ • [2] Conversational Voice Aesthetic Model——基于 Qwen2.5-Omni,用 LLM 合成标注 SFT + 人类投票分布 GRPO,对话语音美学评价超过 Gemini 3.1 Pro。 • [10] SteerablePlex——Actor-Director 异步架构 + 特殊 token 在线指令注入 + GDPO 多奖励 RL,实现全双工对话中实时指令跟随。 • [26] Listen-to-Reason——概念瓶颈式可解释音频问答,音频经专家路由到语义树节点,冻结纯文本 LLM 仅凭节点文本与 ASR 转录作答。 • [28] Selective Listening——用机制可解释性定位 LALM 晚期音频通路,ICAP-Gate 按任务指令条件化衰减,抑制无关音频对文本推理的干扰。 • [36] Local Prototype Reconstruction——在冻结编码器+冻结 LLM+可训练桥接架构中,用 token 级局部词法流形约束正则化桥接预训练。 • [12] Disentangling Linguistic and Paralinguistic Information——冻结 SSL 编码器上做 TopK 稀疏自编码器,用路由掩码与对抗训练分离语言学/副语言学通道。 • [31] DiffuPlex——冻结自回归骨干上引入滚动掩码扩散,并行预测未来交互帧并只消费高置信前缀,骨干计算量减少约 1.6-1.8 倍。 • [38] DuplexAgent-RSI——把全双工语音协作拆成六个可编辑模块,用递归自我改进闭环在不改权重下提升协作能力。 • [41] EgoVoice——基于 MiniCPM-o 4.5,用真实教学录音构建时序对齐数据,SFT+DPO 训练第一人称主动式语音助手。 • [3] Automated Clinical Behavioral Coding——按 BOSCC 决策树分解为二元问题链让 LLM 逐题作答,能捕捉信号但远不足以替代人工编码。 • [18] STEMMA——利用歌曲-段落-分轨来源关系生成多音频音乐问答数据,指令微调 LALM 做跨音频关系推理。 • [25] BEANS-Next and ROOTS——四层任务分类体系构建生物声学评测基准与大规模训练集,拓展物种识别之外的声学测量与推理能力。 • [24] SAVU-Bench——真实录制空间音视频理解基准(7 类任务 1066 题)+ 场景关联诊断集,揭示"看得清、听得糊、推理弱"瓶颈。 ═══════════════════════════════════════════════════════════ 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ • [6] Affine-Invariant Score Calibration——发现注册库按场次聚集导致传统归一化失败,用分数分散度与注册画像偏差两个仿射不变项做校准。 • [7] Toward Accurate Speaker Inventories——候选说话人池 + 提交门控标签分配,把在线日志说话人计数误差从 225% 降到 21%,同时降 DER。 • [8] Cross-Radius Consistency Learning——单通道连续半径区域语音提取,FiLM 条件编码 + 跨半径一致性正则,支持任意连续半径。 • [13] Cross-Lingual Speaker Verification——w2v-BERT 2.0 多尺度特征融合 + 三阶段渐进微调,TidyVoice2026 上 EER 2.21%/2.99%。 • [23] DualSpecSE——Mel 与复数频谱双分支并行,交互模块+融合模块实现免声码器的 ASR 友好与高保真双输出。 • [30] SepGen——冻结 LTX-2.5 骨干加 LoRA,每声源作额外音频通道,单模型双模式完成多声源生成与分离。 • [35] SEER——源条件效用检索器为每段人工耳蜗语音挑选最合适情感参考模板,无需成对录音或强度标签。 • [43] ProLombard——句子/音素/帧三级多尺度建模 Lombard 效应,对齐说话人编码器替代对抗解耦,VQ-Median 实现音素级解耦。 • [39] Cross-Speaker Dysarthria Detection——wav2vec 2.0 多层融合 + 说话人条件归一化,证明表征选择比分类器设计关键近十倍。 ═══════════════════════════════════════════════════════════ 其他方向 ═══════════════════════════════════════════════════════════ • [1] Cross-Embodiment Robot Foundation World Models(大佬论文)——隐动作空间统一不同本体动作表征,从人类视频与多机器人数据联合学习世界模型。 • [9] CloudEar——感知质量、DSP 诊断、跨模态属性对齐三路证据融合,多目标损失缓解分数压缩,评估 AI 生成音乐。 • [11] Controlled Acquisition and Abstention——三通道评分冲突基准,把"请求缺失模态"与"弃权"拆为独立决策,揭示全模态准确率高不代表会请求。 • [19] Conditional Flow Matching for Visually-Guided Acoustic Highlighting——把视觉引导音频重混从判别式一对一映射改为生成式分布匹配,rollout loss 稳定多步轨迹。 • [20] Physics-Informed Extreme Learning Machine——PINN 预训练隐藏层 + PIELM 闭式求解输出层,声音场插值适应时间缩短三个数量级以上。 • [29] Acoustic Characterization of Suikinkutsu——用 Librosa 标准描述符对九处水琴窟现场录音做系统声学刻画与站点变异分析。 • [32] Inversion Audit of Audio Encoders——统一扩散解码器探针,公平比较四类训练目标编码器嵌入中残留的源音频可重建性。 • [33] Detection-Guided Adaptive Purification——用净化前后检测器分数变化做无参考门控,按需施加不同强度扩散净化抵御对抗攻击。 • [34] Lightweight Kolmogorov-Arnold Networks——混合基函数(B样条/Jacobi/Taylor/Shannon 小波)KAN 预测多尺度声速剖面,参数量仅数千。 • [40] Open-Vocabulary Audio-Visual Event Localization——把视觉-文本与音频-文本相似度作复数实部虚部,复值卷积网络学习自适应融合。 • [42] MixFake——构建前景/背景真伪交叉组合的混合音频基准,多流深度提示微调注入 HHT 瞬时频率与 TKEO 非线性能量先验。 • [45] Audio-Visual Turn-taking Prediction——首次在真实鸡尾酒会场景评估轮流发言预测的域偏移,音频模型近乎崩溃、音视频融合加微调最优。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 今日 45 篇呈现三条主线。其一,全双工与流式交互成为密集创新区:[10][31][38][41][44] 分别从可控性、推理加速、智能体协作、主动干预、提交策略切入,共同指向"实时对话中何时听、何时说、何时等"这一核心难题。其二,强化学习与奖励对齐被广泛用于主观/交互任务:[2] 用人类投票分布、[16] 用 TTS 似然、[44] 用错误-延迟奖励,替代传统伪标签监督。其三,多模态与空间感知持续升温:[14][24][30][40][45] 围绕音视频对齐、空间定位与生成-分离一体化展开,真实录制数据与诊断式评测成为新基准的标配。此外,可编辑生成([27] 合成器程序、[15] 音色编辑、[37] 群舞)与隐私/安全审计([32] 嵌入反演、[33][42] 深伪防御)也形成稳定小气候。
2026-10-08 eess.AScs.SD 58 篇 快照总览

ArxivWatcher 每日综述

日期: 2026-10-08 分类: eess.AS / cs.SD 论文总数: 58 今日论文总览 [1] RoboRender: Robot-Oriented Video Generation for Visual Sim-to-Real Transfer — Huang Huang、Wensi Ai、Ziyu Chen 等 [2] Is Word Error Rate Enough? Rethinking Privacy Evaluation in Speech with Entity-Aware Metrics — Anjana Rajasekhar、Jule Pohlhausen、Nayana Jacob Alappattu 等 [3] Intonation Perception in Real and Synthetic Speech across Varying Familiarity Levels: A Pilot Study of Equivalence Assessment — Hanrui Zhou、Gaoyuan Zhang、Yixiang Chen 等 [4] UZH-CL at ArA-DF 2026: Prompt-Tuned Foundation Models and Track-Adaptive Score Fusion for Arabic Speech Deepfake Detection — Aref Farhadipour、Teodora Vukovic、Petr Motlicek [5] Unified Shared Encoder in Spoof-Aware Speaker Verification with Hybrid Wavelet Prompt Tuning — Aref Farhadipour、Srikanth Madikeri、Teodora Vukovic 等 [6] Indic-CLAP: Text--Audio Understanding in Indic Languages via Cross-Lingual Distillation — Sanat Kumar Agrawal、Srikanth Raj Chetupalli [7] Timestamped Hindi speech transcription using Whisper — Sanat Kumar Agrawal、Srikanth Raj Chetupalli [8] Unheard but Recognizable: Ultrasonic Signatures for Musical Instrument Recognition — Izhak Kapash、Uri Rom、Ram Zamir [9] Phoneme-Guided Initialization for LLM-based Speech Recognition — Ryo Magoshi、Shinsuke Sakai、Tatsuya Kawahara [10] CASM: Context-Aware Semi-Markov Post-Processor for Beat Tracking — Zhanhong He、Hanyu Meng、Yaolong Ju [11] VM-ARRAYDPS: Virtual Microphone Augmented Diffusion Posterior Sampling for Unsupervised Blind Speech Separation — Jingqi Sun、Haozhan Tang、Shulin He 等 [12] Beyond Token Revision: Investigating Mask-and-Replace Diffusion for Zero-Shot Text-to-Speech — Hounsu Kim、Joonyong Park、Yuki Saito 等 [13] Boundary-Free Contextual Biasing: Depth-Adaptive Gating and Reading-Space Matching for Unsegmented Languages — Muhammad Huzaifah、Yu Pan、Zachary Yeo 等 [14] Mitigating Accent-Language Confusion in Self-Supervised Speech Representations for Language Identification — Minu Kim、Jihwan Lee、David R. Mortensen 等 [15] A Lightweight Hybrid Framework for Acoustic Echo Cancellation and Suppression via Constrained Recursive Training — Huawei Zhang、Rilin Chen、Hao Zhang 等 [16] Direction-preserving Spatial Audio Signal Enhancement in The Spherical Harmonic Domain — Huawei Zhang、Jihui Aimee Zhang、Huiyuan June Sun 等 [17] A Strength-Monotonic Law for Domain Alignment in Frozen-Embedding Bioacoustic Classification — Yucheng Gong、Rui Zhou、Binbin Zeng 等 [18] Training-Free Instruction TTS Gender Bias Calibration Using Model-Adaptive Steering — Kuan-Yu Chen、Yi-Cheng Lin、Jeng-Lin Li 等 [19] Toward Part-Aware Choral Transcription with singing voice assignment — Hanyu Meng、Zhanhong He、Zixun Guo 等 [20] LIFT-SE: Linguistic Inference Followed by Flow Transformation for Generative Speech Enhancement — Haoyin Yan、Chengwei Liu、Zheng Xue 等 [21] Source-Directed Trajectory Perturbation at First-Order Cost for Domain Generalization in Speech Deepfake Detection — Siqing Qin、Kong Aik Lee、Youzhi Tu [22] DuRe-ST: Dual-Relation Spectro-Temporal Modeling for Speech Deepfake Detection — Shaole Li、Siqing Qin、Youzhi Tu 等 [23] Benchmarking Adult Addressee Classification Across Child- and Adult-Directed Speech Datasets — Sofoklis Kakouros、Daniil Kocharov、Okko Räsänen [24] Encypher: Shared Agency and Social Presence in Collaborative Music Generation for Dance Cyphers — Zhixing Chen、Cheng-Zhi Anna Huang [25] Child ASR Adaptation with Adult Retention: An Empirical Study — Houssam Eddine-Othman Lachemat、Shammur Absar Chowdhury [26] When Forgetting Looks Like Improvement: Metric Masking in Streaming Diarizer Adaptation and the Price of Rehearsal — Mo Yu、Yang Liu、Jing Qian [27] JoyAI-Voice 2.0: A Full-Continuous Autoregressive Speech Generation Model with Semantic-Acoustic Joint Representation — Yafeng Chen、Boya Dong、Yankun Huang 等 [28] Towards AI-Generated Music Plagiarism Detection as a Version Identification Problem — Fotis Koutsikos、Ioannis Prokopiou、Spyridon Kantarelis 等 [29] Dialect-Robust Speech Language Models with Synthetic Pseudo-Dialect Augmentation — Shunsuke Mitsumori、Tomoya Mizumoto、Yusuke Fujita [30] Tracing Inputs, Verifying Outputs: Validating Attribution in Music Generation — Taejun Kim、Wonil Kim、Jongmin Jung 等 ……另有 28 篇,请打开当日报告查看。
2026-10-07 eess.AScs.SD 53 篇

ArxivWatcher 每日综述

2026-10-07 语音与音频论文综述 共 52 篇(含 1 篇大佬论文),评分区间 4.5–8.5 ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ [1] OpenWAM(Fei-Fei Li 团队):把"世界-动作模型"拆成可配置组件,用统一视频基础模型做受控比较,回答"到底是哪个设计选择带来了提升"这一长期悬而未决的问题。评分 7.5。 [51] Voice "Cloning" is Style Transfer:大规模配对盲听实验证明主流声音克隆并非忠实复制,而是系统性风格迁移——把各种声音同质化为"标准客服音",且克隆音被听众评价为比真人更"像人"。评分 8.5。 [50] Rethinking Training Targets, Architectures and Data Quality for Universal Speech Enhancement:系统重审去混响训练目标、保真-感知权衡与数据质量三大瓶颈,用时间对齐干净语音替代早期反射目标,URGENT 2025 挑战赛最优。评分 8.5。 [16] [b] = [d] − [t] + [p]:在自监督语音模型表示空间中发现可线性组合、可连续缩放的"音系向量",并借声码器实现可控音系特征合成——语音版的 word2vec 算术。评分 8.5。 [8] Conversation Is a Two-Body Problem:指出全双工对话评测只给一方打分是"只解了双体问题的一半",提出让两个模型直接对接互评的 DyaFDB 协议。评分 8.5。 ═══════════════════════════════════════════════════════════ TTS / 音乐生成 ═══════════════════════════════════════════════════════════ • [5] Region-Aware Masking for Accent-Robust Cross-Lingual TTS:发现口音泄漏根因是训练/推理掩码位置不一致,仅调整掩码几何位置即大幅降低源语言口音。 • [14] Pronunciation-Oriented RL for Japanese TTS with Kana-Domain ASR Rewards:指出汉字域 CER 奖励存在"写法≠读音"错配,改用假名域 Kana-CER 提升多音字读音准确率。 • [23] EmphTTS:用 GRPO 优化时长预测器,弥合非自回归 TTS 中独立训练组件间的不匹配,实现词级强调控制。 • [27] VoxReason:提出合成前的"源引用审计",用单线索反事实局部性检验识别"听起来对但理由错"的源使用失败。 • [34] Adapting a Latent Audio Diffusion Model to Historical Guqin Recordings:42.5 小时历史古琴录音微调 Stable Audio 3,专家七轮盲听把关,结论是数据筛选与预训练先验比架构更重要。 • [37] Loud and Clear:免训练激活引导,用 Prompt-Relative Activation Steering 让 Qwen3-TTS 产生隆巴德效应,且避免自回归累积失真。 • [46] ARIA:以 0243 声调编码为中间接口,从真实粤语演唱录音出发生成符合旋律声调约束的歌词。 • [49] Zero-Shot Lombard Speech Synthesis with Controllable Style Embeddings:在 F5-TTS 风格隐空间用 PCA 找到发声力度与清晰度方向,无需 Lombard 数据即可操控。 • [9] CTAG-FX:把合成器参数空间的功能角色重解读为效果器控制维度,用文本直接"构造"而非"导航"音色塑形处理器。 • [15] WorldSonus:分块因果自回归+扩散的流式视频转立体声框架,支持生成中途改文字指令,面向交互式世界模型实时配乐。 ═══════════════════════════════════════════════════════════ 语音识别 (ASR) ═══════════════════════════════════════════════════════════ • [7] HINTT Submission to MLC-SLM Challenge:在同等算力下公平对比级联式(DiariZen+Qwen3-ASR+生成式纠错)与统一式 VibeVoice-ASR,结论是精调级联更可靠。 • [48] InterCorrect:先按人口统计子群分别微调连接器再参数级合并,并引入交叉轴校正向量,整体 WER 从 7.38% 降至 5.13%。 ═══════════════════════════════════════════════════════════ 语音理解与大模型 ═══════════════════════════════════════════════════════════ • [8] Conversation Is a Two-Body Problem:DyaFDB 让两个全双工模型锁步对接互相对话、双方离线匿名评分,并用方差分解分离固有行为与伙伴诱发行为。 • [20] Hearing Like Humans?:用真实人类录音测试语音语言模型的 bouba/kiki 直觉,发现听觉判断远逊人类但视觉形状感知完好,问题出在语音表征。 • [26] AVMeme Exam:1032 个音视频迷因的人工标注基准,含七层难度与作弊检测,模型在语境文化与无语言音乐/音效上明显拉胯。 • [28] Text Scores Do Not Establish Performance on Lexically Non-Diagnostic Speech Tasks:以 Qwen2-Audio 量化为案例,提出文本质量/波形依赖/实际打包三分离评估协议。 • [30] AdaLoop:用问题条件化循环潜在块与可学习停机机制,让音频语言模型按题目难度动态决定推理迭代次数。 • [35] SkillFormer:把音频理解拆成技能专属 LoRA 库加问题条件路由器,缓解多技能联合训练中的此消彼长。 • [38] HiPLEX:将全双工策略分解为"何时说"与"说什么"两因子,用事件因果信用掩码实现时序/语义奖励分流。 • [44] EMODE:把语义与副语言解耦为双专家通路,配合正交专家指导与门控多样性正则,避免情感任务走词汇捷径。 • [45] WavePrune:发现 RoPE 通道旋转超过一个周期的部分冗余有害,提出免训练的通道级注意力截断与高效 kernel。 • [36] Hiding Tool Latency in On-Device Cascaded Voice Agent:在流式 ASR 过程中提前预测并执行只读工具调用,把工具延迟藏进用户说话时间里。 ═══════════════════════════════════════════════════════════ 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ • [3] SEAL:用零和加性残差突破乘性掩码上限,并以步线索范数有界的稀疏专家路由替代稠密共享读出。 • [10] Voice Anonymization Made Simple:仅改推理——随机目标条件构建加投影式无分类器引导,把预训练流匹配 VC 模型变成匿名化器。 • [11] Audiovisual Joint Learning for End-to-End Hearing Aids:AV-NeuroAMP 基于 Mamba 联合优化视听增强与个性化补偿,用 AC-FiLM 替代直接拼接保留听力图绝对偏移。 • [19] TRACE-EVC:提出"相对情感"语音转换任务,用 LLM 生成相对情感指令数据集,按"更平静一点"这类指令转换。 • [21] Towards Balanced Spectral Reconstruction:用频率相关 sigmoid 加权与能量自适应加权,缓解相位感知损失导致的中高频过度压制。 • [22] A Hybrid Classical-Learning Framework for Adaptive Decision Directed Speech Enhancement:用轻量 MLP 逐帧预测决策导向方法的增益下限 β,兼顾降噪与弱语音保留。 • [42] Restore, Separate, Restore:提出"混音修复-分离-逐轨修复"三阶段框架,在真实分离伪影上微调修复专家。 • [50] Rethinking Training Targets, Architectures and Data Quality for Universal Speech Enhancement:见今日重点。 • [40] Exploiting Acoustic and Content-Oriented Speaker Verification Attacks Against Multilingual Voice Anonymization:用双攻击者范式在六语言上揭示隐私泄露与语言可懂度的耦合,并构建 MultiVC 数据集。 ═══════════════════════════════════════════════════════════ 其他方向 ═══════════════════════════════════════════════════════════ • [2] GIVE-KWS:发现"视觉流在场但没用"的根因是视觉表征缺音素信息,用门控交叉注意力注入而非缩放,-10 dB 下未见关键词 EER 降 72.9%。 • [6] STRAW:在冻结 Whisper 上联合做句子重音与词重音检测,用词跨度重音正则化器解决子词切分导致的重音概率分散。 • [12] Neural Representations, Natural Connections:15 个冻结编码器跨四物种评测,发现人类语音预训练可有效迁移动物发声,且效果强依赖层深而非预训练领域。 • [13] AccentCL:基于冻结 Whisper 多层特征的类增量口音分类,用域分层回放与边际损失支持新口音类别持续扩展。 • [17] An Empirical Analysis of Task-Induced Encoder Bias in FAD:用受控扰动与 R/P/A 四轴分解揭示 FAD 分数高度依赖编码器训练任务,不存在万能编码器。 • [18] Quantifying Cross-Lingual Transfer in Paralinguistic Speech Tasks:提出跨语言迁移矩阵 CLTM,发现性别识别几乎不受语言影响而说话人验证高度依赖语言。 • [24] Revisiting Frame-Wise Saliency for Audio Moment Retrieval:发现被丢弃的帧级显著性序列用无训练峰值相对切分即可超过专用解码器,R1@0.7 从 21.0 升至 36.1。 • [25] Modeling Time-Dependent Responses of Optical Compressors with Selective State Space Models:用 S6/Mamba 加双路 FiLM 条件调制黑盒建模光学压缩器,1.33 ms 低延迟下优于 LSTM/S4D/TCN。 • [29] Extending Music Annotation Schemas:构建模式扩展基准,发现极少标注的监督适配也优于零样本预测,冻结表示加新预测头性价比最高。 • [31] Where Does the Audio Jailbreak Live?:对 AdvWave-P 做频率-深度受控审计,发现"关键频段"结论高度依赖频段划分与移除方式,层定位缺乏因果证据。 • [32] ImpactMat:用前馈网络从撞击声直接回归连续材质物理参数,实现"听声辨材"并可在新物体上重放。 • [33] Exposing and Mitigating Neural Codec Vulnerabilities in Audio Deepfake Detection:揭示神经编解码器压缩使 ADD 系统大量误判真实语音,提出成对一致性学习 PCL-NET 缓解。 • [39] Feature Encoding in VAE-based Audio Decoders:逐层解剖 RAVE/EnCodec 解码器,用编码强度、流行度、联合编码能力三指标揭示音乐特征的分布式编码规律。 • [41] Geometric Representations for Transformed Pattern Matching in Music:把音乐变换统一建模为音高-时间平面上的几何变换,在无声部标注的复调音乐中精确匹配。 • [43] Sobolev Norms in Neural Embeddings Measure Audio Morphing Regularity:提出 SDIM 指标,用嵌入空间 Sobolev 距离统一惩罚变形轨迹的路径偏离与速度不均,可识破对抗性轨迹。 • [47] Beyond Perturbation Magnitude:证伪多模态几何对齐的标量幅度假设,提出方向性几何响应 DGR,位移幅度最多只解释 15% 响应方差。 • [52] Building a Dataset for Music Sample Identification:从 WhoSampled 挖掘 13 万曲目、9.2 万条采样标注,提出基于图连通分量的防泄漏划分协议。 • [53] Training Music Sample Identification Models on Real Sample Pairs:首次完全用真实采样对做全监督三元组训练,证明真实数据优于海量人工合成对。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 今日最鲜明的信号是"重新审视既有假设"。多篇高分论文并不提出新模型,而是拆解被默认接受的前提:声音克隆是否忠实 [51]、去混响该用什么训练目标 [50]、DETR 的显著性头是否被浪费 [24]、FAD 编码器是否中立 [17]、越狱究竟"住"在哪个频段 [31]、RoPE 的周期性是否全是冗余 [45]。这类"审计型"工作集中出现,说明领域正从堆叠模块转向厘清因果。 另一条主线是免训练/推理时干预的兴起:[10] 只改推理即得匿名化器,[37] 用激活引导产生隆巴德效应,[45] 的 WavePrune 无需训练即提升长上下文。与之呼应的是评测范式的重构——[8] 的双体互评、[28] 的三分离协议、[18] 的迁移矩阵,都在追问"我们测的到底是什么"。 此外,参数高效与技能解耦成为音频大模型的共同解法:[35] 的技能 LoRA 路由、[30] 的自适应深度、[44] 的语义-副语言双通路,指向同一个判断——单一纠缠表示已不够用。
2026-10-06 eess.AScs.SD 62 篇

ArxivWatcher 每日综述

2026-10-06 语音与音频论文综述 共 62 篇,大佬论文 0 篇 ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ [56] 重新审视通用语音增强的训练目标、架构与数据质量,提出用时间对齐干声替代早期反射目标,两阶段回归+GAN 框架在 URGENT 2025 夺冠,评分 8.5。 [16] GS-Codec 用一维高斯泼溅参数化分解替代 VQ/RVQ 量化瓶颈,压缩质量追平甚至超越 EnCodec/DAC,并支持训练后细粒度码率控制,评分 8.5。 [7] 分段在线说话人跟踪框架,重叠拼接+工作记忆两阶段策略,在说话人数量未知、无离线后端条件下同时完成分离与日志,LibriCSS/AMI 在线最优,评分 8.2。 [49] HelixWorld 实时交互式音视频世界模型,声音随 6-DoF 相机运动旋转,单 GPU 24 FPS 流式生成,评分 8.2。 [3] SepRQ 用多尺度无掩码伪源分离目标替代掩码预测,从混合语音直接学习说话人解纠缠表征,说话人日志与分离超越 WavLM 且参数更少,评分 8.0。 ═══════════════════════════════════════════════════════════ ── TTS / 音乐生成 ═══════════════════════════════════════════════════════════ • [15] Can LLM Agents Automate Reinforcement Learning for Text-to-Speech? 搭建人机协作流程让 LLM Agent 自动完成零样本 TTS 的 RL 后训练,发现真正瓶颈在"测量能力"而非推理。 • [21] Paradee: Distilling Kokoro-82M into an 8M-Parameter Single-Voice TTS 将 Kokoro 蒸馏为 807 万参数单音色模型,单核 CPU 25 倍实时,UTMOS 4.41。 • [33] VoiceWeaver: Staged Learning of Structured Controls for Expressive Speech 用结构化标签前缀+情感→语气→事件三阶段课程学习实现多属性可控生成,并防遗忘。 • [35] Prompt-Consistency Inference for Zero-Shot Flow-Matching TTS 发现流匹配 TTS 推理时提示区域漂移污染生成,提出免训练复位方法提升相似度与可懂度。 • [39] Tracing a Sparse Emotion-Control Circuit in LLM-Based TTS 用因果追踪在 IndexTTS2 中定位约 5% 组件的稀疏情感回路,并验证其因果作用。 • [45] A Comprehensive Objective Evaluation of Modern TTS for Turkish 18 个客观指标评估土耳其语 TTS,发现无单一系统全面胜出,部分指标给合成语音打分高于真人。 • [20] Smorph: Playable Sound Morphing with Diffusion Models 免训练扩散引导框架,解耦声音结构与音色身份,支持实时可演奏变形。 • [27] Interpretable Destination-Aware Synthesizer Modulation Recovery 三步可解释流水线从合成器音频反推调制目的地、LFO 曲线与振荡器波形。 • [61] Rubric-Based Optimization for Text-to-Music Generation 用 ALM+人工评分量表作奖励后训练 T2M,多维感知提升但精确属性仍需专用指标。 • [37] A Multidimensional Model for Quantifying Tonal Strength 用三个互补特征+因子分析把调性从二元标签变为连续分数,追踪调性演化。 • [34] "Spectral Harmony" Towards the Unification of Timbre and Speech 用 Wasserstein 距离把乐器音色与语音元音统一到 Banach 空间做定量比较。 • [28] A mathematical model of the vowel space 用两个隐变量建立声道形状与共振峰空间的双射,绕开多对一难题。 ═══════════════════════════════════════════════════════════ ── 语音识别 (ASR) ═══════════════════════════════════════════════════════════ • [2] Factorized Delayed Streams Modeling for LLM-based Streaming ASR 去掉 DSM 的词首 token,用独立 padding head 解耦等待决策,识别更准且省显存。 • [12] Lyric: Wave-Domain Computing for Efficient Spoken-Digit Recognition 用被动声学共鸣器在数字化前完成频率分离,精度损失约 3.6 点换取约 98.6% 能耗下降。 • [25] DASHA: Diarization-Aware Speech-LLM ASR for Healthcare 模块化流水线处理 Hinglish 医患对话,DISPLACE-M 挑战赛 25 支队伍中排名第一。 • [46] Mind the Accent Gap: British Accent Robustness in Financial Voice Assistants 构建金融口音基准 CavaBench,发现口音差距主要源于训练数据,任务关键 token 比总 WER 更重要。 • [51] AraYoungVoices: A Diverse L1/L2 Corpus of Arabic Child and Adolescent Speech 发布 151.72 小时阿拉伯语 7–18 岁 L1/L2 语料,量化 ASR 在儿童与 L2 场景的性能缺口。 ═══════════════════════════════════════════════════════════ ── 语音理解与大模型 ═══════════════════════════════════════════════════════════ • [17] Steering Speech-Language Models: Training-Free Task Specialization via CAA 用对比激活加法向 SpeechLLM 注入任务方向向量,无需训练即可专精多任务且降低提示敏感性。 • [31] Hallucination Reduction for LLM-Based Audio Understanding via mDPO 用音频扰动构造偏好对迁移 mDPO 到音频领域,迫使模型依赖声学信息减少幻觉。 • [36] EchoChat: Structured Cognitive Reasoning in Empathetic Spoken Dialogue 将共情对话重构为感知→心理推理→回应三阶段,配 AAA 注意力约束与分阶段信用分配。 • [38] TS-SP: Learning Speaker-Preserving Representations in Audio LLMs 两阶段 LoRA 微调在原生音频编码器注入说话人监督,Vox1-O EER 从 7.01% 降至 4.37%。 • [43] SEA-LM: Egocentric Spatial Audio Understanding for Wearable Microphone Arrays 为智能眼镜增加并行空间音频通路,实现佩戴者归因与 3D 定位,适配 1211 种阵列布局。 • [54] Re-purposing Multimodal Large Language Models for Audio-Text Retrieval 将 Qwen2.5-Omni 改造为嵌入模型输出统一语义向量,配合 AudioVerse 数据集超越 CLAP。 • [60] UniAE-MoE: A Unified Audio Encoder via Mixture of Experts 用 MoE 融合 Qwen2-Audio 与 Audio-Flamingo 3 双骨干,统一 20 个异构音频任务。 • [62] EchoDistill: Robust Large Audio Language Models via Noisy-to-Clean Self-Distillation 噪声学生模仿干净教师的 token 级语义偏好,提升噪声下生成鲁棒性且无推理开销。 • [8] Revisiting Frame-Wise Saliency for Audio Moment Retrieval 发现帧级显著性比专用解码器预测更准,用免学习峰值分割规则大幅提升检索性能。 • [42] SheetSage2: Coherent Lead-Sheet Transcription with Synthetic Supervision 合成数据+结构化解码+自回归蒸馏,统一转写完整主旋律谱,15 个基准中 12 个超越专用系统。 • [55] AuditoryHuM: Auditory Scene Label Generation and Clustering 免训练人机协作框架,MLLM 生成词对标签+零样本对齐过滤幻觉,构建可解释聚类体系。 ═══════════════════════════════════════════════════════════ ── 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ • [3] SepRQ: Self-Supervised Speech Mixture Representation Learning 多尺度无掩码伪源分离预训练,从混合语音学说话人解纠缠表征,日志与分离超越 WavLM。 • [7] Speaker Tracking: Segment-online Multi-talker Organization 重叠拼接+工作记忆两阶段策略,说话人数量未知下实现在线分离与日志联合最优。 • [10] Character Identity is not Speaker Identity: KyaraBench and KyaraEmbed 指出角色身份≠说话人身份,构建首个角色验证基准与紧凑编码器,跨配音演员全面超越现有系统。 • [22] Personal VAD: Speaker-Conditioned Voice Activity Detection 三分类轻量网络以目标说话人嵌入为条件,实现逐帧实时目标用户语音放行。 • [26] VOSSA: Voiceprint Optimization for Streaming Speech Architectures 从内容编码器中间层提取说话人嵌入替代外挂 ASV 编码器,减小模型并提升音高动态还原。 • [48] Revisiting Label-Free Speaker Embedding Enhancement with vMF Profile Likelihood 用 vMF 剖面似然导出闭式损失替代扩散式生成建模,无标签嵌入增强更简单稳定。 • [5] UltraM2M: Leveraging Text Transcripts and Mixture Constraints for Weakly-Supervised SE 在无监督 M2M 框架上引入冻结 ASR 的文本转写弱监督,改善真实录音降噪与识别。 • [9] Enhancing Pathological Speech through Articulatory Bottlenecks 在发音瓶颈表示空间用轻量残差映射器修正构音障碍患者的发音轨迹。 • [23] Textual Echo Cancellation 用 TTS 源文本替代播放音频作为辅助输入,多源注意力 seq2seq 消除设备回声。 • [47] AuraSE: Low-Hallucination Generative Speech Enhancement 双流到单流 MMDiT+推理策略优化,在提升清晰度同时显著抑制生成幻觉。 • [56] Rethinking Training Targets, Architectures and Data Quality for Universal SE 用时间对齐干声替代早期反射目标,两阶段回归+GAN 框架在 URGENT 2025 夺冠。 • [59] One Model, Many Latencies: Universal Speech Enhancement for Diverse Real-Time Applications 可配置前瞻帧+早退机制,单模型覆盖 30 种延迟配置无需重训。 • [52] UltraDub: Towards Authentic Dubbing by Unifying Visually-Steered Flow Learning 让视觉同时充当运动线索与节奏锚点,流匹配框架提升配音唇形同步与清晰度。 • [58] FoleyGenEx: Unified Video-to-Audio Generation with Multi-Modal Control 条件注入+动态掩码+副词增强,首次统一时间同步、多模态控制与细粒度语义控制。 ═══════════════════════════════════════════════════════════ ── 语音安全与隐私 ═══════════════════════════════════════════════════════════ • [6] Transferable Adversarial Robustness for Speech Foundation Models 两阶段分层稳定化,在任务未知时预装鲁棒性,任务确定后仅精修分类器间隔。 • [11] Preemptive defense against re-identification attacks on voice anonymization 向参考语音注入对抗扰动使匿名化失效,EER 从 14% 提升到 45%。 • [24] Multiplexing Neural Audio Watermarks with Adaptive Routing 用学习式 MaskNet 路由多个独立水印的嵌入位置,最大化"至少一个存活"概率。 • [32] Temporal Anchors and Editing Sensitivity in Partial Speech Spoofing 受控实验发现时间锚点与边界一致性训练未带来预期收益,甚至更差。 • [40] NeuMark-Native: Robust TTS-Native Watermarking 在 TTS 生成 codec token 过程中嵌入水印,对神经编解码器重合成保持鲁棒。 • [41] Task-Aware Joint Pruning and Distillation for Efficient Audio Deepfake Detection 跨域蒸馏+移动量引导剪枝,3 亿参数压缩至 3200 万,性能仅降 1.30%。 • [50] Learning to Watermark Speech Synthesis Against Model-Driven Reconstruction RISE 同步嵌入+CARE 跨表示恢复,在多种重建攻击下实现多比特用户溯源。 • [57] Towards Robust Speech Deepfake Detection via Human-Inspired Reasoning 构建人类推理标注数据集,用 CoT+声学接地+GRPO 让检测器给出可解释理由。 ═══════════════════════════════════════════════════════════ ── 其他方向 ═══════════════════════════════════════════════════════════ • [1] MOV-AAD: A Large-Scale Multimodal Dataset for Auditory Attention Decoding 构建动态移动声源+对话轮换范式的 64 通道 EEG 多模态听觉注意解码数据集。 • [4] Influence of Geometrical Acoustic Simulator Complexity on a Trained Multisource Localizer 系统探究模拟器复杂度对定位泛化的影响,结论是中等复杂度已够用。 • [13] When Layer Selection Misleads Speech Depression Detection 揭示层选择偏差可虚高 AUC 达 0.09,嵌套交叉验证后简单声学特征即可比肩复杂模型。 • [14] Ensemble-Based Perceptual Audio Quality Assessment with Confidence Intervals PEAQ 前端+bootstrap 集成回归,输出 MOS 点估计与面板匹配置信区间。 • [18] Joint Estimation of Common-Slope Decay Rates and Spatial Amplitudes 参数化 NMF+SAGE 联合估计共享衰减率与空间幅度,无需反向积分。 • [19] Relational Synthesis: Structure-Mediated Concatenative Synthesis 用域内关系结构代价重组源音频颗粒,转移参考时间结构且不复制任何一方。 • [29] SoundWeaver: Compositional Warm-Starting for Text-to-Audio Diffusion Serving 从缓存音频拼接热启动先验+上下文老虎机选跳步数,实现 1.48–3.74 倍加速。 • [30] SAGE: Semantic Audio Generative Encoder 1.05 亿参数 VAE 改造 SwinV2 到复数 STFT,延迟 CLAP 蒸馏塑造语义潜空间。 • [44] AudioGAR: Bridging Reconstruction and Generation in Latent Audio Generative Models 加噪去噪构造中间态潜变量微调解码器,弥合训练-生成分布失配。 • [53] Do Speech Representations Preserve Regional Accent Across Read and Spontaneous Speech? 十种表征在德语口音识别上跨风格迁移大幅崩塌,风格不变性比同条件强弱更关键。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 今日 62 篇论文呈现三条主线。其一,生成式模型的可控性与可靠性成为焦点:从 TTS 情感回路追踪 [39]、流匹配提示漂移修正 [35],到语音增强的幻觉抑制 [47] 与音频理解幻觉消减 [31],研究者正从"能生成"转向"生成得可信、可解释、可干预"。其二,统一与融合架构持续升温:单模型覆盖多延迟 [59]、MoE 统一音频编码器 [60]、统一转谱 [42]、音视频世界模型 [49],都在试图用一套框架覆盖异构任务与场景。其三,水印与深伪攻防进入"生成原生"与"重建对抗"的新阶段 [40][50][41],而评估方法论本身也受到审视——层选择偏差 [13]、指标矛盾 [45]、跨风格迁移崩塌 [53] 提醒我们,性能数字背后可能藏着系统性乐观偏差。
2026-10-05 eess.AScs.SD 33 篇

ArxivWatcher 每日综述

2026-10-05 语音与音频论文综述 共 32 篇(含 1 篇大佬论文) ═══════════════════════════════════════════════════════════ 今日重点 ═══════════════════════════════════════════════════════════ [1] LoGo(Fei-Fei Li 组,8.2):把长时程视频生成的全局标量奖励拆解为 3D 体素级局部奖励再混合,解决相机可控生成中"局部错误被全局高分冲淡"的功劳分配问题,最长支持 400 帧。[大佬论文] [33] Soundwich(8.2):免训练地把预训练联合音视频扩散模型改造成"一个视频 + 多条可独立编辑音轨",通过 batch 维度实例化源音轨与 per-stem CFG 实现源级时间与内容控制。 [9] Learning Jazz Pianist Style(8.0):在预训练符号音乐 Transformer 上插入门控交叉注意力层,用可学习钢琴家身份嵌入持续施加风格影响,生成数据训练的分类器对真实演奏达 95% 歌曲级识别率。 [10] Controllable Accent Normalization via Discrete Diffusion(8.0):基于掩码离散扩散的口音归一化,用"复用多少源 token"这一旋钮实现平滑可解释的口音强度控制,填补该任务长期缺失的强度调节能力。 [3] FASTDIAR(7.5):把 ReDimNet2 改造成因果帧级编码器,配合置信度门控在线聚类,在单核 CPU 上以 5 倍实时速度、低于 1 秒延迟完成流式说话人分离。 ═══════════════════════════════════════════════════════════ TTS / 音乐生成 ═══════════════════════════════════════════════════════════ ── 语音合成 ── • [4] Unsupervised Instantaneous Phase and Frequency Tracking by Inverse Voice Synthesis:GOLF-inv 用加性闭式声门源与逆向合成框架,仅靠波形重建损失无监督读出 F0 与声门闭合时刻。 • [18] DriftTTS: Few-Step Text-to-Speech Without Distillation via Distribution-Matching Drift:用分布匹配漂移目标替代逐样本回归,无需教师、蒸馏或对抗训练,4 步推理在 LJSpeech 上达到 Matcha-TTS 级音质。 ── 音乐生成 ── • [9] Learning Jazz Pianist Style with Cross-Attention Conditioning:以钢琴家身份嵌入 + 门控交叉注意力实现演奏者风格条件化生成,并指出困惑度对条件化质量不敏感。 • [16] How Far Back Should a Transformer Look? Repetition and Copying in Music Sequence Models:受控上下文扫描显示民谣上长上下文收益主要来自精确复制而非长程结构理解,MAESTRO 上该效应几乎消失。 • [19] Harmonic Eigenspace:基于 Sethares 粗糙度模型构建四维移调不变不协和度空间,网页应用统一可视化 12/31/53-TET 微分音和声。 • [22] Rubric-Based Optimization for Text-to-Music Generation:用现成 ALM 按多维量规打分作奖励,发现量规奖励利于"整体听感",可精确测量的属性则应用专用工具作奖励。 ═══════════════════════════════════════════════════════════ 语音识别 (ASR) ═══════════════════════════════════════════════════════════ • [24] Personalized Automatic Speech Recognition for a Dysarthric and Tracheostomic Speaker using Artificial Conversations:为单一捷克语重度构音障碍+气管造口说话者,用"人工对话"协议采集 33 小时数据,四阶段微调把 Whisper Base 从不可用提升到超越多数人类助手。 ═══════════════════════════════════════════════════════════ 语音理解与大模型 ═══════════════════════════════════════════════════════════ ── 音频大模型与评测 ── • [27] Hearing is Believing? Evaluating and Analyzing Audio Language Model Sycophancy with SYAUDIO:首个音频谄媚评测基准,4,319 题覆盖 4 领域 × 4 类谄媚场景,并提出 MSS/CRS 指标。 • [28] EXAM2: Extending Audio Understanding in Multilingual and Multimodal Analysis:六语言、跨语音/声音/音乐/图像的多模态基准,配套 OmniLoRA 与 Gemma3n-EXAM²,揭示多语言跨模态短板。 • [29] Note-Level Temporal Grounding of Musical Concepts in Large Audio-Language Models:提出时间音乐定位任务与合成钢琴基准 MusicGroundingBench,检验模型能否把音乐概念锚定到具体时间区间。 • [31] EchoDistill: Robust Large Audio Language Models via Noisy-to-Clean Self-Distillation:GRPO 框架下用冻结干净音频教师做 token 级分布对齐与音频感知奖励塑形,推理零额外开销。 ── 副语言与情感 ── • [5] Augmenting Large Audio Language Models with Low-Level Acoustic Features for Dysarthric Speech Detection:把音高、响度、HNR、语速以数值注入文本提示,微调 Qwen2-Audio/Phi-4 直接分类构音障碍。 • [6] Multiclass Speech Classification Under Noise Disparity:把二分类交叉增强扩展到多分类,切断噪声与类别的虚假关联,并指出语音增强预处理反而会引入新捷径。 • [11] Towards Unified Music Emotion Recognition across Dimensional and Categorical Models:多任务学习 + 知识蒸馏整合类别型与维度型异构标签,融合 MERT 嵌入与和弦/调性符号特征。 • [17] ParaGeo: Decomposing Paralinguistic Variation into a Shared Latent Geometry:用中心化残差与截断 SVD 从冻结语音大模型 K/V 表示中构建跨内容可复用的低维副语言坐标系。 ═══════════════════════════════════════════════════════════ 说话人 / 转换 / 增强 ═══════════════════════════════════════════════════════════ ── 说话人技术 ── • [3] FASTDIAR: Frame-level speaker encoder for Streaming Diarization:因果帧级编码器 + 置信度门控在线聚类 + 960ms 修正窗口,实现低延迟 CPU 流式分离。 • [12] CoLMbo-SV: A Grounded Language Model for Explainable Speaker Verification:三通路架构把 18 个声学测量值以文本注入 LLM,验证精度与可核对声学报告共存,并首次区分数值接地与决策忠实性。 ── 语音转换 ── • [10] Controllable Accent Normalization via Discrete Diffusion:LLaDA 掩码离散扩散 + Common Token Predictor,通过复用高置信度共享 token 实现平滑口音强度控制。 ── 增强与分离 ── • [13] GAANet: Global-guided Asymmetric Attention Network for Audio-Visual Speech Separation:音频下采样、视频保持原分辨率的非对称多尺度融合,配合全局语义令牌跨模态调制,轻量级 SOTA。 • [30] Audio-Visual Turn-taking Prediction in Cocktail Party Scenarios:首次在真实鸡尾酒会场景评估 VAP 架构的跨域泛化,发现视觉模态比音频更稳健,少量目标域微调即可显著恢复。 ═══════════════════════════════════════════════════════════ 其他方向 ═══════════════════════════════════════════════════════════ ── 自监督表征与蒸馏 ── • [14] What Actually Makes Correlation-Based SSL Distillation Noise-Robust? A Mechanistic Correction:四种互补诊断推翻"自相关项带来抗噪"的旧归因,证明真正来源是互相关对角线(需师生噪声独立采样)。 ── 声音事件与场景 ── • [7] Evaluating Inference-time Algorithms for Semantic Sound Scene Segmentation:系统评估检测-提取流水线中的推理时标签更新,发现仅在基线较差样本上有效且需熵门控。 • [8] Effects of interpulse-interval variation on deep-learning classification of bat vocalizations:受控操纵脉冲间隔发现其对分类性能影响有限,但用规整化数据训练会损害真实录音表现。 ── 音频理解与检索 ── • [20] PEACE: Joint Embeddings of DSP Effects Code and Audio:首个音频-DSP 代码联合嵌入,用 T5 + BoxGraph 编码 Faust 代码,支持音频检索代码与效果链拓扑推断。 • [21] LayerIt: Towards a Framework for Time-Aligned, Composable Music Visualizations:基于 ScoreWarp 把乐谱、波形、节拍追踪输出统一到共享演奏时间轴并合成可编辑 SVG。 • [23] Revisiting Input Time-frequency Representations in Multi-pitch Estimation for Vocal Ensembles:在五种编码器上验证线性 STFT 优于 HCQT,且更高效,挑战领域默认设计。 • [26] Controllable Embedding Transformation for Mood-Guided Music Retrieval:在 MULE 嵌入空间做"只改情绪、保留风格"的可控变换,用最近邻代理目标构造训练对。 ── 语音安全与隐私 ── • [25] Can External Sources Help the Knowledge Cut-off Issues in Audio Deepfake Detection?:系统研究检索增强深伪检测的适用边界,明确特征、决策策略与失效条件。 • [32] Transforming Keystroke Noise to Text: Self-Supervised Acoustic Eavesdropping Attacks on Keyboards:无标注数据下用声学聚类 + BERT + LLM 纠错 + 迭代自训练,仅 100–150 次敲击即达 99% 文本重建。 ── 评估与口语学习 ── • [2] Acoustic gap placement in second-language read speech production:位置敏感分析发现二语与母语者的停顿差异集中在无标点词间位置(比率比约 12 倍),而非标点处。 ═══════════════════════════════════════════════════════════ 今日趋势 ═══════════════════════════════════════════════════════════ 今日投稿呈现三条主线。其一是"可控性"向细粒度推进:口音强度 [10]、音乐情绪 [26]、音轨分层 [33]、钢琴家风格 [9] 都在追求"只改目标维度、保留其余属性"的解耦控制,且多篇强调可解释的单一旋钮。其二是对既有归因与默认设计的系统性纠偏:[14] 推翻自相关项抗噪归因,[23] 质疑 HCQT 的必要性,[16] 揭示长上下文收益实为复制,这类"机制性纠正"论文密度明显上升。其三是音频大模型的鲁棒性与可信评测成为热点:[27][28][29][31] 分别从谄媚、多语言多模态、时间定位、噪声鲁棒四个角度补足评测与训练缺口,反映出该领域正从"能听懂"转向"是否真的听懂"。