降噪方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请实施例提供了一种降噪方法、装置、电子设备及计算机可读存储介质，其中方法包括：根据语音能量分布特征获取干净语音训练集；对干净语音训练集进行卷积房间冲激响应，得到模拟混响语音；将模拟混响语音进行加噪处理，得到模拟带噪语音；通过降噪模型对模拟带噪语音的归一化幅度谱进行计算，得到掩码数据，对掩码数据进行压缩处理，得到压缩掩码；根据预设压缩参数对压缩掩码进行解压处理，得到解压掩码；根据解压掩码对真实带噪语音进行降噪处理，得到预测干净语音。这样，可以提高视频会议的语音降噪效果。会议的语音降噪效果。会议的语音降噪效果。

【技术实现步骤摘要】
降噪方法、装置、电子设备及计算机可读存储介质


[0001]本申请涉及视频
，尤其涉及一种降噪方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]随着视频技术不断发展，人们对会议视频设备的通话音质也越来越高，视频会议过程中出现的噪声，特别是突发噪声会严重影响用户视频会议的体验。目前使用神经网络模型消除突发噪声在学术界已经成为主流，现有的消除突发噪声的方案主要通过使用一段干净语音作为标签，叠加噪声后作为神经网络模型的输入数据，然后直接对神经网络模型进行训练，此种方案的语音环境与真实视频会议环境相差较大，导致应用到真实的视频会议中进行降噪时的降噪效果比较差。

技术实现思路

[0003]为了解决上述技术问题，本申请实施例提供了一种降噪方法、装置、电子设备及计算机可读存储介质。
[0004]第一方面，本申请实施例提供了一种降噪方法，所述方法包括：
[0005]根据语音能量分布特征获取干净语音训练集；
[0006]对所述干净语音训练集进行卷积房间冲激响应，得到模拟混响语音；
[0007]将所述模拟混响语音进行加噪处理，得到模拟带噪语音；
[0008]通过降噪模型对所述模拟带噪语音的归一化幅度谱进行计算，得到掩码数据，对所述掩码数据进行压缩处理，得到压缩掩码；
[0009]根据预设压缩参数对所述压缩掩码进行解压处理，得到解压掩码；
[0010]根据所述解压掩码对真实带噪语音进行降噪处理，得到预测干净语音。
[0011]第二方面，本申请实施例提供了一种降噪装置，所述装置包括：
[0012]获取模块，用于根据语音能量分布特征获取干净语音训练集；
[0013]冲激模块，用于对所述干净语音训练集进行卷积房间冲激响应，得到模拟混响语音；
[0014]加噪模块，用于将所述模拟混响语音进行加噪处理，得到模拟带噪语音；
[0015]计算模块，用于通过降噪模型对所述模拟带噪语音的归一化幅度谱进行计算，得到掩码数据，对所述掩码数据进行压缩处理，得到压缩掩码；
[0016]解压模块，用于根据预设压缩参数对所述压缩掩码进行解压处理，得到解压掩码；
[0017]降噪模块，用于根据所述解压掩码对真实带噪语音进行降噪处理，得到预测干净语音。
[0018]第三方面，本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器运行时执行第一方面提供的降噪方法。
[0019]第四方面，本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行第一方面提供的降噪方法。
[0020]上述本申请提供的降噪方法、装置、电子设备及计算机可读存储介质，根据语音能量分布特征获取干净语音训练集；对所述干净语音训练集进行卷积房间冲激响应，得到模拟混响语音；将所述模拟混响语音进行加噪处理，得到模拟带噪语音；通过降噪模型对所述模拟带噪语音的归一化幅度谱进行计算，得到掩码数据，对所述掩码数据进行压缩处理，得到压缩掩码；根据预设压缩参数对所述压缩掩码进行解压处理，得到解压掩码；根据所述解压掩码对真实带噪语音进行降噪处理，得到预测干净语音。通过对实际视频会议场景进行仿真，得到模拟带噪语音，然后针对远场环境，对模拟带噪语音的归一化处理，得到归一化幅度谱，防止输入的极端数值影响降噪模型的性能，对降噪模型输出的掩码数据输出进行压缩，保证掩码数据能在任意信噪比都能取到非常大的动态范围，提高真实的视频会议降噪效果。
附图说明
[0021]为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对本申请保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
[0022]图1示出了本申请实施例提供的降噪方法的一流程示意图；
[0023]图2示出了本申请实施例提供的降噪模型的一结构示意图；
[0024]图3示出了本申请实施例提供的降噪降噪方法的另一流程示意图；
[0025]图4示出了本申请实施例提供的降噪装置的一结构示意图。
具体实施方式
[0026]下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
[0027]通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0028]在下文中，可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
[0029]此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0030]除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关
中的语境含义相同的含
义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本申请的各种实施例中被清楚地限定。
[0031]实施例1
[0032]本公开实施例提供了一种降噪方法。
[0033]具体的，参见图1，降噪方法包括：
[0034]步骤S101，根据语音能量分布特征获取干净语音训练集。
[0035]在本实施例中，基于视频会议的实际情况，可以将在视频会议中的用户发言情况划分为如下三类：第一类：用户A语音完成后，用户B接着语音；第二类，用户A和用户B同时语音；第三类，用户C单独输出语音。可以针对实际视频会议语音情况，确定各个类别下的语音能量分布特征，然后根据各个类别下的语音能量分布特征获取对应的干净语音训练集。
[0036]步骤S102，对所述干净语音训练集进行卷积房间冲激响应，得到模拟混响语音。
[0037]在本实施例中，卷积房间冲激响应(Room Impulse Response，RIR)可以对干净语音训练集模拟实际房间混响，得到模拟混响语音。
[0038]步骤S103，将所述模拟混响语音进行加噪处理，得到模拟带噪语音。
[0039]在一实施方式中，可以按照预设信噪比对模拟混响语音叠加噪声数据，得到模拟带噪语音，其中预设信噪比可以随机从[
‑
5，20]dB中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种降噪方法，其特征在于，所述方法包括：根据语音能量分布特征获取干净语音训练集；对所述干净语音训练集进行卷积房间冲激响应，得到模拟混响语音；将所述模拟混响语音进行加噪处理，得到模拟带噪语音；通过降噪模型对所述模拟带噪语音的归一化幅度谱进行计算，得到掩码数据，对所述掩码数据进行压缩处理，得到压缩掩码；根据预设压缩参数对所述压缩掩码进行解压处理，得到解压掩码；根据所述解压掩码对真实带噪语音进行降噪处理，得到预测干净语音。2.根据权利要求1所述的方法，其特征在于，所述降噪模型包括输入层、隐藏层和输出层，所述隐藏层包括多层门控循环单元；所述掩码数据包括掩码实部和掩码虚部；所述通过降噪模型对所述模拟带噪语音的归一化幅度谱进行计算，得到掩码数据的步骤，包括：通过所述输入层输入所述归一化幅度谱，所述归一化幅度谱包括第一预设数量的幅度值，所述第一预设数量根据各所述门控循环单元的输出单元数量确定；通过各所述多层门控循环单元对所述归一化幅度谱进行计算，得到计算结果序列，所述计算结果序列包括第二预设数量的结果值，所述第二预设数量根据所述第一预设数量和所述门控循环单元的层数确定；通过所述输出层输出所述计算结果序列，将所述计算结果序列拆分为所述掩码实部和所述掩码虚部。3.根据权利要求1所述的方法，其特征在于，所述预设压缩参数包括压缩系数和压缩曲线控制系数，所述根据预设压缩参数对所述压缩掩码进行解压处理，得到解压掩码的步骤，包括：分别计算所述压缩曲线控制系数与所述压缩掩码的差值、和值，将所述差值与所述和值相除，得到对应的商值；计算所述商值的对数值，根据所述对数值和所述压缩系数计算所述解压掩码。4.根据权利要求1所述的方法，其特征在于，所述根据所述解压掩码对真实带噪语音进行降噪处理，得到预测干净语音的步骤，包括：将所述真实带噪语音进行傅里叶变换，得到带噪语音傅里叶变换结果；将所述解压掩码与所述带噪语音傅里叶变换结果相乘，得到所述预测干净语音。5.根据权利要求1所述的方法，其特征在于，所述根据语音能量分布特征获取干净语音数据的步骤，包括：根据语音能量分布特征分别获取拼接类型的第一预估概率、叠加类型的第二预估概率...

【专利技术属性】
技术研发人员：陈林毅，毕永建，
申请(专利权)人：厦门亿联网络技术股份有限公司，
类型：发明
国别省市：