Pg电子游戏：语音信号的回声抑制方法和装置pdf
《语音信号的回声抑制方法和装置.pdf》由会员分享，可在线阅读，更多相关《语音信号的回声抑制方法和装置.pdf（16页完成版）》请在专利查询网上搜索。
2、21/0224(2013.01) G10L 21/0232(2013.01) G10L 21/0264(2013.01) (54)发明名称 一种语音信号的回声抑制方法和装置 (57)摘要 本发明提供了一种语音信号的回声抑制方 法， 包括以下步骤， 获取输入信号； 抑制所述输入 信号的线性回声信号以获得残差信号， 所述残差 信号包括非线性回声信号； 抑制所述残差信号中 的非线性回声信号， 包括： 计算所述残差信号与 所述输入信号的互相关系数； 计算所述输入信号 的频谱在每个时频点的衰减增益； 使用所述互相 关系数和所述输入信号的频谱在每个时频点的 衰减增益计算联合衰减增益因子； 使用所述联合 衰。
3、减增益因子对所述残差信号的非线性回声信 号进行抑制。 权利要求书2页 说明书7页 附图6页 CN 111756906 A 2020.10.09 CN 111756906 A 1.一种语音信号的回声抑制方法， 包括以下步骤： 获取输入信号； 抑制所述输入信号的线性回声信号以获得残差信号， 所述残差信号包括非线性回声信 号； 抑制所述残差信号中的非线性回声信号， 包括： 计算所述残差信号与所述输入信号的互相关系数； 计算所述输入信号的频谱在每个时频点的衰减增益； 使用所述互相关系数和所述输入信号的频谱在每个时频点的衰减增益计算联合衰减 增益因子； 使用所述联合衰减增益因子对所述残差信号的非线所述的语音信号的回声抑制方法， 其特征在于， 还包括将输入信号、 残差信号变换为频域信号； 抑制所述残差信号中的非线性回声还包括： 将经过非线性回声抑制后的残差信号反变换为时域信号。 3.根据权利要求1所述的语音信号的回声抑制方法， 其特征在于， 所述反变换为傅立叶 反变换。 4.根据权利要求1所述的语音信号的回声抑制方法， 其特征在于， 所述输入信号的频谱 在每个时频点的衰减增益AfGain(k,n)为 其中， k为频域点索引值， n为时域点索引值， E(k,n)为所述残差信号对应的频域信号， D (k,n)为输入信号对应的频域信号。 5.根据权利要求4所述。
5、的语音信号的回声抑制方法， 其特征在于， 所述联合衰减增益因 子comGain(k,n)为 comGain(k,n)min( ed(k,n),power(AfGain(k,n),2) 其中， ed(k,n)为所述互相关系数。 6.根据权利要求5所述的语音信号的回声抑制方法， 其特征在于， 所述非线性回声抑制 后的信号的频谱为 Enh(k,n)(1-comGain(k,n)2)*Rand(k,n)+comGain(k,n)*E(k,n) 其中， Rand(k,n)为舒适噪声对应的频谱。 7.根据权利要求1所述的语音信号的回声抑制方法， 其特征在于， 通过自适应滤波器抑 制所述线、所述自适应滤波器采用NLMS滤波。 8.一种语音信号的回声抑制装置， 包括： 用于获取输入信号的模块； 用于抑制线性回声的模块； 用于抑制非线性回声的模块； 其中， 所述用于抑制非线性回声的模块被配置为执行如下操作： 计算残差信号与输入信号的互相关系数， 所述残差信号通过抑制所述输入信号的所述 线性回声得到； 权利要求书 1/2 页 2 CN 111756906 A 2 计算输入信号的频谱在每个时频点的衰减增益； 使用所述互相关系数和所述输入信号的频谱在每个时频点的衰减增益计算联合衰减 增益因子； 使用所述联合衰减增益因子对所述残差信号的非线性回声信号进行抑制。 9.一种语音信号的回声抑制装置。
7、， 包括： 存储器， 用于存储可由处理器执行的指令； 以及 处理器， 用于执行所述指令以实现如权利要求1-7任一项所述的方法。 10.一种存储有计算机程序代码的计算机可读介质， 所述计算机程序代码在由处理器 执行时实现如权利要求1-7任一项所述的方法。 权利要求书 2/2 页 3 CN 111756906 A 3 一种语音信号的回声抑制方法和装置 技术领域 0001 本发明主要涉及数字信号处理， 尤其涉及一种语音信号的回声抑制方法和装置。 背景技术 0002 在语音通话中， 回声是影响通话质量的重要因素。 回声指讲话者通过通话设备发 送给他人的语音又传回到讲话者的听筒的现象。 回声会对讲线、生严重的干扰， 因此需 要消除。 通常， 回声可分为电路回声和声学回声两种类型。 电路回声可以通过硬件设备的合 理设计而消除， 例如通过线性叠加器将产生的电路回声信号在数值上取反， 线性地叠加在 回声信号上， 将产生的电路回声信号抵消。 而声学回声是远端用户的声音信号从听筒播放 出来后， 经过空气及其他的传播媒介传导近端用户的话筒， 再通过近端用户的话筒录音或 又重新传导远端用户的听筒中形成的回声。 0003 一般而言， 回声主要包含两个部分， 线性回声和非线性回声。 线性回声和非线性回 声是同时存在的。 通常语音信号在扬声器播放后， 通过直达波或通过各种反射后被麦克风 采集， 就产生了回声。。
9、 这些反射的回声通常都是准线性的回声， 但由于喇叭器件等原因导致 其播放的声音发生非线性失真， 这部分非线性失真产生的回声就是非线 本发明要解决的技术问题是提供一种语音信号的回声抑制方法和装置， 对语音通 话中的回声信号进行抑制， 特别是消除语音信号中的非线 为解决上述技术问题， 本发明提供了一种语音信号的回声抑制方法， 包括以下步 骤， 获取输入信号； 抑制所述输入信号的线性回声信号以获得残差信号， 所述残差信号包括 非线性回声信号； 抑制所述残差信号中的非线性回声信号， 包括， 计算所述残差信号与所述 输入信号的互相关系数； 计算所述输入信号的。
10、频谱在每个时频点的衰减增益； 使用所述互 相关系数和所述输入信号的频谱在每个时频点的衰减增益计算联合衰减增益因子； 使用所 述联合衰减增益因子对所述残差信号的非线性回声信号进行抑制。 0006 在本发明的一实施例中， 语音信号的回声抑制方法还包括将输入信号、 残差信号 变换为频域信号； 抑制所述残差信号中的非线性回声还包括： 将经过非线性回声抑制后的 残差信号反变换为时域信号。 0007 在本发明的一实施例中， 所述反变换为傅立叶反变换。 0008 在本发明的一实施例中， 所述输入信号的频谱在每个时频点的衰减增益AfGain (k,n)为 0009 0010 其中， k为频域点索引值， n为时。
12、其中， Rand(k,n)为舒适噪声对应的频谱。 0017 在本发明的一实施例中， 通过自适应滤波器抑制所述线性回声信号， 所述自适应 滤波器采用NLMS滤波。 0018 本发明还提供一种语音信号的回声抑制装置， 包括用于获取输入信号的模块； 用 于抑制线性回声的模块； 用于抑制非线性回声的模块； 其中， 所述用于抑制非线性回声的模 块被配置为执行如下操作： 计算残差信号与输入信号的互相关系数， 所述残差信号通过抑 制所述输入信号的所述线性回声得到； 计算输入信号的频谱在每个时频点的衰减增益； 使 用所述互相关系数和所述输入信号的频谱在每个时频点的衰减增益计算联合衰减增益因 子； 使用所述联合。
13、衰减增益因子对所述残差信号的非线性回声信号进行抑制。 0019 本发明还提供一种语音信号的回声抑制装置， 包括存储器， 用于存储可由处理器 执行的指令； 以及处理器， 用于执行所述指令以实现如前所述的方法。 0020 本发明还提供一种存储有计算机程序代码的计算机可读介质， 所述计算机程序代 码在由处理器执行时实现如前所述的方法。 0021 与现有技术相比， 本发明具有以下优点： 通过以输入信号的频谱在每个时频点的 衰减增益为基础计算联合衰减因子， 并通过联合衰减增益因子对残差信号的非线性回声信 号进行抑制， 使残留回声得到较好的抑制， 从而保证语音通线、对本申请进一步的理解， 它们被收录并构成本申请的一部分， 附图 示出了本申请的实施例， 并与本说明书一起起到解释本发明原理的作用。 附图中： 0023 图1是回声信号抑制的原理示意图。 0024 图2是语音信号应用互相关的方法进行回声抑制的结果示意图。 0025 图3是本发明一实施例的回声抑制方法的原理示意图。 0026 图4是本发明一实施例的语音信号的回声抑制方法的示例性流程图。 0027 图5是本发明一实施例的语音信号的回声抑制方法中非线性回声抑制的示例性流 程图。 0028 图6是互相关的方法抑制回声信号的结果与本申请提供的新的回声信号抑制方法 的结果的对比示意图。 0029 图7是本发。
15、明一实施例的语音信号的回声抑制装置的系统框图。 具体实施方式 0030 为让本发明的上述目的、 特征和优点能更明显易懂， 以下结合附图对本发明的具 体实施方式作详细说明。 0031 在下面的描述中阐述了很多具体细节以便于充分理解本发明， 但是本发明还可以 采用其它不同于在此描述的其它方式来实施， 因此本发明不受下面公开的具体实施例的限 说明书 2/7 页 5 CN 111756906 A 5 制。 0032 本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。 应当 理解的是， 前面或下面操作不一定按照顺序来精确地执行。 相反， 可以按照倒序或同时处理 各种步骤。 同时， 或将其。
16、他操作添加到这些过程中， 或从这些过程移除某一步或数步操作。 0033 图1是回声信号抑制的原理示意图。 如图1所示， 语音通话中， 远端信号x(t)经过扬 声器101播放出来。 播放的语音经过不同路径的反射， 部分信号将被麦克风102拾取。 拾取的 信号与近端的讲话者的语音共同形成近端信号d(t)。 近端信号d(t)即为麦克风输入信号 (亦可简称为输入信号)。 0034 回声消除技术主要通过两个部分， 即线性回声消除模块和非线性回声(也可称为 残留回声)消除模块。 如图1所示， 模块103是线性回声消除模块。 例如， 线性回声消除模块可 设置为一自适应滤波器(Adaptive Filter，。
17、 AF)。 自适应滤波器(AF)通过自适应的方法来估 计回声反射路径， 进而获得估计回声y(t)。 而后通过e(t)d(t)y(t)对线性回声进行消 除。 e(t)可称为回声残差信号。 自适应滤波器采用的算法例如可为NLMS(Normalized Least Mean Square， 归一化最小均方差)算法， 也可为其他算法。 0035 模块104主要用来消除非线性回声。 由于扬声器(或称喇叭)等器件引入的失真以 及前述的各种路径形成的反射信号， 因此线的自适应滤波器很难消除 这部分回声， 因而需要一个残留回声(或称非线 残留回声处理通常有两种方。
19、Ped2/(Pdd*Pee) 0042 其中， D(k,n)是d(t)对应的频域信号， E(k,n)是e(t)对应的频域信号。 从时域变换 至频域可通过傅立叶变换实现。 ed(k， n)是麦克风输入信号d(t)和回声残差信号e(t)(亦可 简称为残差信号e(t)的互相关系数， 也可称为相干统计量。 alpha为平滑因子， 其可根据需 要取0至1之间的数值， 例如0.3， 0.5或0.7。 0043 理论上， 相干统计量 ed(k， n)表示d(t)和e(t)两个信号的相似程度。 当残留回声信 号较小时， ed(k， n)相对偏大。 当残留回声信号较大时， ed(k， n)相对偏小。 以ed。
20、(k， n)为基 础， 经过残留回声抑制后的信号的频谱Enh(k,n)可通过如下方式得到： 0044 0045 其中， Rand(k， n)为舒适噪声的频谱。 舒适噪声是无线电和无线通信中使用的合成 背景噪声， 用于填充由于检测语音活动或题提升数字线路的音频清晰度而导致的传输中的 人工静音。 换言之， 舒适噪声可用于对残留回声进行抑制后， 因背景噪声可被一同抑制而导 致的通话者感觉语音通话疑似中断的情形。 说明书 3/7 页 6 CN 111756906 A 6 0046 然而， 互相关方法估计残留回声存在较大误差。 一方面， 相干估计本身是有偏估 计。 另一方面， 因互相关方法是应用消除残差。
21、信号中的线性回声部分的结果来间接估计残 差信号中的残留， 而残留回声本身和麦克输入信号并不是严格的线性关系， 只是存在正相 关， 因此互相关的估计方法抑制回声信号存在误差。 故通过互相关的方法抑制残留回声并 不能对残留回声实现较好的抑制结果。 0047 图2是语音信号应用互相关的方法进行回声抑制的结果示意图。 如图2所示， 图2中 (a)图是语音通话中， 例如免提通话中的一段语音信号包含回声信号的数据， 其中包括较难 处理的非线中(a)图的横轴为时间t， 单位为秒(s)或毫秒(ms)。 纵轴为信号 幅度(Amplitude)， 单位为分贝(dB)或其他经归一化后的单位。 图2。
22、中(b)图为图2中(a)图的 语音信号对应的频谱。 图2中(b)图经处理后， 以黑色为背景， 图中的白色像素的分布主要是 非线性回声对应的频谱。 实际上语音信号亦在整个时频点范围内分布有频谱值， 但在经过 黑色背景的处理后， 图2中(b)图的白色像素值主要对应非线性回声在相应的时频点处的频 谱。 图中的白色像素值的亮度越亮或越暗对应在相应的时频点处的频谱的强度值越大或越 小。 图2中(b)图的横轴和纵轴， 为方便信号的分析和处理， 将横轴的单位用时域点索引值n 标示， 纵轴用频域点索引值k标示。 例如， 对应图2中(a)图的横轴t从0至220ms， 每隔10ms作 为一计数点， 则时域点索引值。
23、n对应为0至22。 图2中的(b)图的纵轴， 其原始单位可用频率标 示， 为方便信号的分析， 将纵轴的单位用频域点索引值k标示。 在一实施例中， 纵轴对应的原 始频率范围为0至8MHz， 每隔50Hz作为一计数点， 则频域点索引值k相应的数值为0至160。 k 和n在坐标系中的交点(k， n)可称为时频点。 图2中的(b)图的频谱图， 在每一时频点处亦有 一对应的频域信号的强度值。 0048 图2中(c)图为经过互相关方法进行残留回声抑制后的语音信号强度示意图。 图2 中(d)图为相应的频谱。 图2中(d)图的虚线框中白色像素值为经过互相关方法进行回声抑 制后的回声信号对应的在相应时频点处的的。
24、主要的频谱。 从图2中(d)图可以看出， 经过互 相关方法进行回声信号抑制后， 仍残存一些残留回声信号， 从而给通话者造成听觉上的影 响， 无法保证较高的通线 本申请的技术方案提出一种新的语音信号的回声抑制方法， 特别是非线性的残留 回声抑制。 图3为本发明一实施例的回声抑制方法的原理示意图。 图3中， 301为扬声器。 302 为麦克风。 模块303为线性回声抑制模块， 其可为自适应滤波器(AF)， 滤波器的算法可为 NLMS算法。 x(t)， d(t)与y(t)的定义与图1类似， 不再赘述。 0050 图3中还包括麦克风输入信号经过自适应滤波器滤波前后的衰减增益计算模块 3。
25、04和联合残留回声抑制模块305。 如图4所示， 本发明的语音信号的回声抑制方法包括步骤 401获取输入信号， 即麦克风输入信号d(t)。 步骤402抑制输入信号d(t)中的线性回声信号 以获得残差信号e(t)。 残差信号e(t)中仍包括非线抑制残差信号中的 非线为非线性回声抑制的示例性流程图。 如图5所示， 抑制残差信号中的非线性回 声的步骤包括， 步骤501计算残差信号e(t)与输入信号d(t)的互相关系数； 步骤502计算输 入信号的频谱在每个时频点的衰减增益； 步骤503使用互相关系数和输入信号的频谱在每 个时频点的衰减增益计算联合衰。
26、减增益因子； 步骤504使用联合衰减增益因子对残差信号 的非线性回声进行抑制。 说明书 4/7 页 7 CN 111756906 A 7 0052 在步骤501， 计算残差信号e(t)与输入信号d(t)的互相关系数 ed(k， n)。 互相关系 数 ed(k， n)的计算过程如前述， 在此不再赘述。 0053 在步骤502， 计算输入信号的频谱在每个时频点的衰减增益。 输入信号的频谱在每 个时频点的衰减增益AfGain(k,n)为 0054 0055 其中， E(k,n)是e(t)对应的频域信号， D(k,n)是d(t)对应的频域信号。 min(,)表示 取两个数值中的较小值。即为取和1.0的。
28、(k， n)和power(AfGain(k,n),2)， 即AfGain(k,n)的2次方， 两个数 值中的较小值。 0059 在步骤504， 通过联合衰减增益因子comGain(k,n)对残差信号的非线性回声进行 抑制。 具体的过程为： 0060 0061 其中， Rand(k， n)为舒适噪声的频谱。 经过残留回声抑制后的信号的频谱为Enh(k, n)。 Enh(k,n)经过傅立叶反变换可得到时域信号enh(t)。 enh(t)即为经过回声抑制后得到 语音信号。 0062 图6为互相关方法抑制回声信号的结果示意图与本申请提供的新的回声信号抑制 方法的结果示意图的对比。 如图6所示， 图6中。
29、(a)图和(b)图实际为图2中的(c)图和(d)图。 为直观体现两种回声抑制方法的比较结果， 故将其作为图6中(a)图和(b)图再次展示于此。 如前述， 图6中(b)图的虚线框中白色像素值为经过互相关方法进行回声抑制后的回声信号 对应的在相应时频点处的的主要的频谱。 图6中的(c)图和(d)图为本申请提出的新的回声 抑制方法的结果示意图。 其中图6中的(c)图为经过回声抑制后的语音数据的时域示意图。 图6中的(d)图为对应的频谱。 即图6中(d)图的虚线框中白色像素值为经过联合残留回声抑 制方法进行回声抑制后的回声信号对应的在相应时频点处的的主要的频谱。 如前所述， 横 轴的单位用时域点索引值。
30、n标示， 纵轴用频域点索引值k标示。 从图中可以看出， 经过本申请 的回声抑制方法进行回声抑制后， 残留回声得到较好的抑制。 0063 需要说明的是， 因数字信号处理的固有特点， 因此要实现的对回声的百分之百的 抑制极难实现， 亦无特别的必要。 若要实现完全抑制， 则对系统的信号处理性能亦提出了极 高的要求。 这无疑将极大增加通话终端的制造成本。 因此， 本申请的技术方案可在对通话系 统的性能无较大提升要求的基础上， 实现对回声信号的较好的抑制。 0064 本发明的理论基础是， 通常语音信号在频谱图上是稀疏分布的， 特别是浊音信号， 说明书 5/7 页 8 CN 111756906 A 8 其。
31、频谱图呈现规律性的谐波条纹。 而包含非线性回声信号的残留回声信号的频谱图的能量 强弱， 与线性回声信号频谱图具有相关性。 本申请的发明人发现， 如果对应于输入信号的频 谱图的当前时频点的自适应滤波器的线性增益衰减较大， 则该时频点存在残留的非线性回 声的概率较大。 0065 以此原理为基础， 通过计算出自适应滤波器每个时频点的衰减增益， 并使其联合 相干残留回声估计方法(即互相关方法进行联合残留回声抑制)一起作用于残留回声抑制， 得到联合衰减增益因子comGain(k,n)。 从而使残留回声得到进一步抑制。 0066 本发明还提供一种语音信号的回声抑制装置， 包括： 用于获取输入信号的模块， 。
32、用 于抑制线性回声的模块和用于抑制非线性回声的模块。 其中， 用于抑制非线性回声的模块 被配置为执行如下操作： 计算残差信号与输入信号的互相关系数， 所述残差信号通过抑制 所述输入信号的所述线性回声得到； 计算输入信号的频谱在每个时频点的衰减增益； 使用 所述互相关系数和所述输入信号的频谱在每个时频点的衰减增益计算联合衰减增益因子； 使用所述联合衰减增益因子对所述残差信号的非线性回声信号进行抑制。 从而实现对语音 信号中的回声进行较好的抑制。 0067 本发明还提供一种语音信号的回声抑制装置， 包括存储器， 用于存储可由处理器 执行的指令； 以及处理器， 用于执行所述指令以实现如前所述的方法。。
33、 0068 图7示出了根据本申请一实施例示出的语音信号的回声抑制装置的系统框图。 语 音信号的回声抑制装置700可包括内部通信总线、 处理器(Processor)702、 只读存储器 (ROM)703、 随机存取存储器(RAM)704、 以及通信端口705。 内部通信总线可以实现语音信 号的回声抑制装置700组件间的数据通信。 处理器702可以进行判断和发出提示。 在一些实 施例中， 处理器702可以由一个或多个处理器组成。 通信端口705可以实现语音信号的回声 抑制装置700与外部的数据通信。 在一些实施例中， 语音信号的回声抑制装置700可以通过 通信端口705从网络发送和接受。
34、信息及数据。 语音信号的回声抑制装置700还可以包括不同 形式的程序储存单元以及数据储存单元， 例如只读存储器(ROM)703和随机存取存储器 (RAM)704， 能够存储计算机处理和/或通信使用的各种数据文件， 以及处理器702所执行的 可能的程序指令。 处理器执行这些指令以实现方法的主要部分。 处理器处理的结果通过通 信端口传给用户设备， 在用户界面上显示。 0069 上述的语音信号的回声抑制装置可以实施为计算机程序， 保存在存储器中， 并可 记载到处理器502中执行， 以实施本申请的语音信号的回声抑制方法。 0070 本申请还提供了一种存储有计算机程序代码的计算机可读介质， 所述计算机程。
35、序 代码在由处理器执行时实现如上所述的语音信号的回声抑制方法。 0071 本申请的一些方面可以完全由硬件执行、 可以完全由软件(包括固件、 常驻软件、 微码等)执行、 也可以由硬件和软件组合执行。 以上硬件或软件均可被称为 “数据块” 、“模 块” 、“引擎” 、“单元” 、“组件” 或 “系统” 。 处理器可以是一个或多个专用集成电路(ASIC)、 数 字信号处理器(DSP)、 数字信号处理器件(DAPD)、 可编程逻辑器件(PLD)、 现场可编程门阵列 (FPGA)、 处理器、 控制器、 微控制器、 微处理器或者其组合。 此外， 本申请的各方面可能表现 为位于一个或多个计算机可读介质中的计。
36、算机产品， 该产品包括计算机可读程序编码。 例 如， 计算机可读介质可包括， 但不限于， 磁性存储设备(例如， 硬盘、 软盘、 磁带)、 光盘 (例如， 压缩盘CD、 数字多功能盘DVD)、 智能卡以及闪存设备(例如， 卡、 棒、 键驱动 说明书 6/7 页 9 CN 111756906 A 9 器)。 0072 计算机可读介质可能包含一个内含有计算机程序编码的传播数据信号， 例如在基 带上或作为载波的一部分。 该传播信号可能有多种表现形式， 包括电磁形式、 光形式等等、 或合适的组合形式。 计算机可读介质可以是除计算机可读存储介质之外的任何计算机可读 介质， 该介质可以通过连接至一个指令执行。
37、系统、 装置或设备以实现通讯、 传播或传输供使 用的程序。 位于计算机可读介质上的程序编码可以通过任何合适的介质进行传播， 包括无 线电、 电缆、 光纤电缆、 射频信号、 或类似介质、 或任何上述介质的组合。 0073 同理， 应当注意的是， 为了简化本申请披露的表述， 从而帮助对一个或多个发明实 施例的理解， 前文对本申请实施例的描述中， 有时会将多种特征归并至一个实施例、 附图或 对其的描述中。 但是， 这种披露方法并不意味着本申请对象所需要的特征比权利要求中提 及的特征多。 实际上， 实施例的特征要少于上述披露的单个实施例的全部特征。 0074 虽然本申请已参照当前的具体实施例来描述， 。
