查看摘要
Deep neural networks (DNNs) based on state-space models (SSMs) are increasingly applied to speech processing, but typically operate on pulse-code-modulated (PCM) audio. This constrains deployment on low-power, always-on edge devices, which commonly use single-bit pulse-density-modulated (PDM) micro-electromechanical (MEMS) microphones for their noise robustness, low cost, and variable sampling rates that enable low-power operation. In fact, converting PDM to PCM requires low-pass filtering and decimation, imposing costly overhead on resource-constrained hardware. While prior works have attempted to process PDM signals directly, they require long training times and generalize poorly across sampling rates. In this paper, we show that the SSM has two key properties that remediate these issues: its continuous-time parametrization allows it to produce a consistent representation of the input audio signal, regardless of the modulation strategy and sampling rate, and its long-term memory enables this representation to be aggressively downsampled without needing any anti-aliasing operations. We then propose a novel end-to-end PDM speech processing architecture that uses an SSM to encode the input audio signal into a modulation- and sampling-rate-invariant latent representation. We show that our proposed architecture achieves robust speech classification and enhancement gains at low-power sampling-rates (512 kHz) and similar performance to state-of-the-art algorithms operating on PCM data when tested on standard PDM sampling-rates of 2 MHz. Moreover, we show that the SSM's output can be downsampled by more than 65,000 times, thus significantly reducing the number of processing timesteps in downstream layers.
📖 深度解读
论文解读报告
1. 一句话总结
这篇论文提出了一种基于状态空间模型(SSM)的语音处理架构,让深度神经网络可以只在PCM数据上训练,却直接部署到PDM麦克风数据上,无需额外的PDM转PCM预处理模块,也无需针对不同采样率重新训练模型。
2. 研究背景与动机
核心问题: 如何在低功耗边缘设备上高效处理PDM(脉冲密度调制)麦克风信号,同时兼容多种采样率工作模式?
为什么重要:
- 低功耗、常开的边缘设备(如助听器、智能音箱)普遍使用PDM MEMS麦克风,因为它们噪声鲁棒性好、成本低,且支持可变采样率以降低功耗。
- 传统方案需要先将PDM信号转换为PCM信号(低通滤波+抽取),这给资源受限的硬件带来了沉重的计算负担。
- PDM麦克风有多种工作模式(睡眠模式<350 kHz、低功耗模式350 kHz–1 MHz、标准模式>1 MHz),算法需要能跨采样率工作。
现有方法的不足:
1. PDM→PCM转换方案:需要级联滤波器和抽取操作,计算复杂度高,不适合低功耗设备。
2. CNN替代滤波方案:虽然比传统滤波更节能,但本质仍是转换模块,且需要针对特定采样率训练。
3. 端到端PDM处理方案:直接在PDM数据上训练DNN,但存在两个主要问题——(a) PDM采样率极高(如2 MHz),导致序列极长,训练时间久、内存占用大;(b) 通常只在一个采样率上训练,无法泛化到其他采样率,需要为每种模式单独训练模型。
3. 核心方法
方法概述: 论文提出在DNN前端加入一个SSM编码器层,将输入音频(无论是PCM还是PDM)转换为一个调制方式无关、采样率无关的潜在表示,下游网络只需处理这个统一表示。
关键创新点:
-
利用SSM的连续时间参数化实现调制不变性:SSM本质上是连续时间系统,其离散化步长∆可以根据输入采样率调整。由于PCM和PDM在PCM奈奎斯特频率以下共享相同的频谱内容,SSM对两种调制方式产生的系数轨迹几乎相同。这就像用同一把尺子去量不同精度的刻度——只要关注低频部分,结果是一样的。
-
利用SSM的长期记忆实现无抗混叠抽取:SSM的每个状态向量编码了连续时间窗口[t−θ, t]内的输入历史,窗口长度θ与采样率无关。因此,PDM系数序列可以按OSR(过采样率)因子直接抽取,无需任何抗混叠滤波。这类似于:既然每个系数向量已经"看"了同一段连续时间的历史,那么每隔OSR个样本取一个,信息也不会丢失。
-
PCM训练、PDM部署的训练策略:模型只在16 kHz PCM数据上训练(序列短、训练快),通过数据增强(加入高通白噪声模拟PDM量化噪声、随机量化模拟不同比特率)提高对PDM的泛化能力,测试时直接部署到PDM数据上。
-
可进一步降低下游处理速率:SSM系数序列还可以继续低于奈奎斯特率抽取(如抽取因子达65,536),大幅减少下游DNN的计算量。
4. 实验与结果
数据集:
- 关键词识别(KWS) :Google Speech Commands数据集(35类关键词,16 kHz PCM)
- 语音增强(SE) :VoiceBank+DEMAND数据集(训练集11,572句,测试集872句)
基线方法:
- KWS:与[31]中的SSM堆栈(S4)对比
- SE:与LiSenNet(轻量级实时语音增强网络,<40k参数)对比
主要实验结果:
关键词识别:
- 最佳配置:LegT SSM,H=128,θ=8 ms,准确率93.72%(2 MHz PDM)
- 在512 kHz低功耗采样率下保持92%以上准确率(与PCM基线93.53%相比下降<4%)
- 抽取因子可达65,536,下游层只需处理31.25 Hz的数据
语音增强:
- 最佳配置:FouT SSM,θ=32 ms,H=512,PESQ 3.24,STOI 93%(2 MHz PDM)
- 最轻量配置(θ=2 ms,H=32):PESQ 3.08,STOI 93%,与原始LiSenNet在PCM上的表现(PESQ 3.07,STOI 94%)相当
- 在128 kHz最低采样率下,PESQ仍达2.24(高于噪声语音的2.0基线)
- 75%重叠时算法延迟仅4.5 ms,满足助听器<6 ms的延迟要求
消融实验揭示的规律:
- θ和H的匹配至关重要(语音增强任务):当记忆窗口长度¯θ_PCM与状态维度H相等时性能最佳。若¯θ_PCM < H,FouT基函数会编码超过奈奎斯特频率的高频(在PDM中会响应量化噪声);若¯θ_PCM > H,则无法覆盖全频带,产生低通效应。
- FouT vs LegT:语音增强任务中FouT显著优于LegT,因为FouT基函数是窄带的,频率范围仅由H决定,对PDM高频量化噪声不敏感;而Legendre多项式基函数是宽带的,在PDM测试时会响应训练中从未见过的高频量化噪声。
- 重叠率影响性能:重叠率越高(抽取因子越小),语音增强效果越好,但延迟也越高。
5. 优势与局限
主要优势:
1. 训练效率极高:只需在16 kHz PCM上训练(短序列),避免了在2 MHz PDM长序列上训练的漫长过程和大内存需求。
2. 跨采样率泛化能力强:无需针对每种PDM采样率重新训练,一个模型即可覆盖128 kHz到2 MHz的所有工作模式。
3. 计算效率显著:SSM系数可被抽取高达65,536倍,下游网络处理速率极低(31.25 Hz),非常适合低功耗边缘设备。
局限性:
1. 关键词识别准确率略低于SOTA:最佳93.72% vs [31]的约96%,部分原因是使用了更少的通道数和无双向层。
2. LegT SSM在语音增强中对PDM泛化不佳:由于Legendre基函数的宽带特性,在PDM数据上会编码高频量化噪声,导致性能下降。
3. FouT SSM的频率分辨率受限:当H > ¯θ_PCM时,基函数会编码超过奈奎斯特频率的成分;当H < ¯θ_PCM时又无法覆盖全频带。目前无法像STFT那样通过padding提高频率分辨率。
6. 关键结论与启发
最重要的takeaway: SSM的连续时间参数化使其天然具备"调制方式不变性"——同一个SSM可以同时处理PCM和PDM信号并产生一致的表示,且其长期记忆特性允许对输出进行激进抽取而不需要抗混叠滤波。这为低功耗边缘设备上的语音处理提供了一条"训练时用PCM、部署时用PDM"的实用路径。
对后续研究的启发:
-
实时自适应采样率切换:论文为助听器等常开设备实现"无语音时低功耗模式、检测到语音时切换标准模式"奠定了基础。未来可在FPGA等嵌入式平台上验证对采样率突变的实时适应性。
-
改进FouT基函数设计:论文明确指出一个开放问题——如何设计基函数使其在H > ¯θ_PCM时仍不编码超过奈奎斯特频率的成分,类似于STFT的频域padding,有望进一步提升语音增强性能。
-
更广泛的PDM应用:该架构不仅限于KWS和SE,还可推广到其他语音处理任务(如声学事件检测、说话人识别等),以及非语音的PDM传感器信号处理场景。
-
SSM作为通用前端:这项工作展示了SSM不仅可以作为序列建模的骨干网络,还可以作为跨调制格式、跨采样率的通用编码器,这一思路可能对多模态、多采样率信号处理有更广泛的借鉴意义。