一种基于重参数化的解耦方式的音频特征提取方法及装置制造方法及图纸

本申请公开了一种基于重参数化的解耦方式的音频特征提取方法及装置，包括：获取目标说话人的待测语音样本；将待测语音样本进行预处理；提取预处理后的待测语音样本的声学特征；将声学特征输入到网络推理模块中得到声纹特征向量，网络推理模块是由训练好的多层网络训练模块经过重参数化转换成的单路结构的网络模型。本申请在训练阶段，使用多分支结构，以达到更好的收敛效果，在推理阶段，重参数化为单路结构，以获得比参数量相当的多分支结构更好的效果，并且能使速度更快，消耗内存更低。

【技术实现步骤摘要】
一种基于重参数化的解耦方式的音频特征提取方法及装置
本申请涉及声纹特征提取
，尤其涉及一种基于重参数化的解耦方式的音频特征提取方法及装置。
技术介绍
现有的高性能网络结构包括多分支结构和性能优异的网络组件。其中多分支结构较之前的单路结构，性能可以得到极大提升。像GoogleNet，Inception等，都属于多路结构。而性能优异的网络组件，包括深度可分离卷积，分组卷积等等，这些都可以显著增加网络性能。然而多分支结构和性能优异的组件虽然能显著提高模型性能，但是又会最终导致模型在推理时速度变慢且耗内存，这非常不利于工业场景，尤其是在算力受限的情况下。近年来也有很多在单路网络上的尝试。这些尝试的核心都在于训练更深的网络，但是并没有很好的成果，性能上普遍不如多分支结构，得到的模型往往既不简单也不实用。
技术实现思路
本申请提供了一种基于重参数化的解耦方式的音频特征提取方法及装置，使得在训练阶段，使用多分支结构，以达到更好的收敛效果，在推理阶段，重参数化为单路结构，以获得比参数量相当的多分支结构更好的效果，并且能使速度更快，消耗内存更低。有鉴于此，本申请第一方面提供了一种基于重参数化的解耦方式的音频特征提取方法，所述方法包括：获取目标说话人的待测语音样本；将所述待测语音样本进行预处理；提取预处理后的所述待测语音样本的声学特征；将所述声学特征输入到网络推理模块中得到声纹特征向量，所述网络推理模块是由训练好的多层网络训练模块经过重参数化转换成的单路结构的网络模型。可选的，在所述将所述声学特征输入到所述网络推理模块中得到声纹特征向量，之前还包括：采集大量目标说话人的语音样本作为训练语音样本；将所述训练语音样本进行预处理；提取预处理后的所述训练语音样本的声学特征；将所述声学特征输入到所述网络训练模块中，得到训练好的所述网络训练模块，所述网络训练模块包括多个并行的第一3x3卷积层，第一1x1卷积层以及直连层。可选的，所述网络推理模块是由训练好的多层网络训练模块经过重参数化转换成的单路结构的网络模型，具体为：将训练好的所述网络训练模块中的所述第一3x3卷积层与BN层单元进行合并，得到第二3x3卷积层；将训练好的所述训练网络模块中的所述第一1x1卷积层与BN层单元进行合并，得到第二1x1卷积层；将训练好的所述训练网络模块中的所述直连层与BN层单元进行合并，得到第三1x1卷积层；将所述第二1x1卷积层扩展为第三3x3卷积层；将所述第三1x1卷积层扩展为第四3x3卷积层；依据卷积的可加性原理，将所述第二3x3卷积层，所述第三3x3卷积层，以及所述第四3x3卷积层进行相加，得到所述网络推理模块中的第五3x3卷积层。可选的，所述将所述待测语音样本进行预处理，包括：将所述待测语音样本进行重采样，降噪变换。本申请第二方面提供一种基于重参数化的解耦方式的音频特征提取装置，所述装置包括：获取单元，用于获取目标说话人的待测语音样本；第一预处理单元，用于将所述待测语音样本进行预处理；第一特征提取单元，用于提取预处理后的所述待测语音样本的声学特征；声纹特征获取单元，用于将所述声学特征输入到网络推理模块中得到声纹特征向量，所述网络推理模块是由训练好的多层网络训练模块经过重参数化转换成的单路结构的网络模型。可选的，还包括：采集单元，用于采集大量目标说话人的语音样本作为训练语音样本；第二预处理单元，用于将所述训练语音样本进行预处理；第二特征提取单元，用于提取预处理后的所述训练语音样本的声学特征；训练单元，用于将所述声学特征输入到所述网络训练模块中，得到训练好的所述网络训练模块，所述网络训练模块包括多个并行的第一3x3卷积层，第一1x1卷积层以及直连层。可选的，所述声纹特征获取单元包括：第一合并单元，用于将训练好的所述网络训练模块中的所述第一3x3卷积层与BN层单元进行合并，得到第二3x3卷积层；第二合并单元，用于将训练好的所述训练网络模块中的所述第一1x1卷积层与BN层单元进行合并，得到第二1x1卷积层；第三合并单元，用于将训练好的所述训练网络模块中的所述直连层与BN层单元进行合并，得到第三1x1卷积层；第一扩展单元，用于将所述第二1x1卷积层扩展为第三3x3卷积层；第二扩展单元，用于将所述第三1x1卷积层扩展为第四3x3卷积层；相加单元，用于依据卷积的可加性原理，将所述第二3x3卷积层，所述第三3x3卷积层，以及所述第四3x3卷积层进行相加，得到所述网络推理模块中的第五3x3卷积层。可选的，所述预处理单元具体用于将所述待测语音样本进行重采样，降噪变换。本申请第三方面提供一种基于重参数化的解耦方式的音频特征提取设备，所述设备包括处理器以及存储器：所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令，执行如上述第一方面所述的基于重参数化的解耦方式的音频特征提取方法的步骤。本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的方法。从以上技术方案可以看出，本申请具有以下优点：本申请中，提供了一种基于重参数化的解耦方式的音频特征提取方法，包括：获取目标说话人的待测语音样本；将待测语音样本进行预处理；提取预处理后的待测语音样本的声学特征；将声学特征输入到网络推理模块中得到声纹特征向量，网络推理模块是由训练好的多层网络训练模块经过重参数化转换成的单路结构的网络模型。本申请在训练阶段，使用多分支结构，以达到更好的收敛效果，在推理阶段，重参数化为单路结构，以获得比参数量相当的多分支结构更好的效果，并且能使速度更快，消耗内存更低。附图说明图1为本申请一种基于重参数化的解耦方式的音频特征提取方法的一个实施例中的方法流程图；图2为本申请一种基于重参数化的解耦方式的音频特征提取方法的另外一个实施例的方法流程图；图3为本申请一种基于重参数化的解耦方式的音频特征提取装置的一个实施例中的一个结构示意图；图4为本申请一种具体的实施方式中网络训练模块和网络推理模块的网络结构示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。图1为本申请一种基于重参数化的解耦方式的音频特征提取方法的一个实施例中的方法流程图，如图1所示，图1中包括：101、获取目标说话人的待测语音样本；需要说明的是，本申请可本文档来自技高网...

【技术保护点】
1.一种基于重参数化的解耦方式的音频特征提取方法，其特征在于，包括：/n获取目标说话人的待测语音样本；/n将所述待测语音样本进行预处理；/n提取预处理后的所述待测语音样本的声学特征；/n将所述声学特征输入到网络推理模块中得到声纹特征向量，所述网络推理模块是由训练好的多层网络训练模块经过重参数化转换成的单路结构的网络模型。/n

【技术特征摘要】
1.一种基于重参数化的解耦方式的音频特征提取方法，其特征在于，包括：
获取目标说话人的待测语音样本；
将所述待测语音样本进行预处理；
提取预处理后的所述待测语音样本的声学特征；
将所述声学特征输入到网络推理模块中得到声纹特征向量，所述网络推理模块是由训练好的多层网络训练模块经过重参数化转换成的单路结构的网络模型。


2.根据权利要求1所述的基于重参数化的解耦方式的音频特征提取方法，其特征在于，在所述将所述声学特征输入到所述网络推理模块中得到声纹特征向量，之前还包括：
采集大量目标说话人的语音样本作为训练语音样本；
将所述训练语音样本进行预处理；
提取预处理后的所述训练语音样本的声学特征；
将所述声学特征输入到所述网络训练模块中，得到训练好的所述网络训练模块，所述网络训练模块包括多个并行的第一3x3卷积层，第一1x1卷积层以及直连层。


3.根据权利要求2所述的基于重参数化的解耦方式的音频特征提取方法，其特征在于，所述网络推理模块是由训练好的多层网络训练模块经过重参数化转换成的单路结构的网络模型，具体为：
将训练好的所述网络训练模块中的所述第一3x3卷积层与BN层单元进行合并，得到第二3x3卷积层；
将训练好的所述训练网络模块中的所述第一1x1卷积层与BN层单元进行合并，得到第二1x1卷积层；
将训练好的所述训练网络模块中的所述直连层与BN层单元进行合并，得到第三1x1卷积层；
将所述第二1x1卷积层扩展为第三3x3卷积层；
将所述第三1x1卷积层扩展为第四3x3卷积层；
依据卷积的可加性原理，将所述第二3x3卷积层，所述第三3x3卷积层，以及所述第四3x3卷积层进行相加，得到所述网络推理模块中的第五3x3卷积层。


4.根据权利要求1所述的基于重参数化的解耦方式的音频特征提取方法，其特征在于，所述将所述待测语音样本进行预处理，包括：
将所述待测语音样本进行重采样，降噪变换。


5.一种基于重参数化的解耦方式的音频特征提取装置，其特征在于，包括：
获取单元，用于获取目标说话人的待测语音样本；
第一预处理单元，用于将所述待测语音样本进行预处理；
第一特征提取单元，用于提取预处理后的所述待测语音样本的声学特征；
声纹特征获取单元，用于将所...

【专利技术属性】
技术研发人员：许敏强，马雨枫，赵淼，刘敏，
申请(专利权)人：广州国音智能科技有限公司，
类型：发明
国别省市：广东;44