基于残差时延网络的说话人确认方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种基于残差时延网络的说话人确认方法、装置、设备及介质，所述方法包括：构建残差时延网络，对所述残差时延网络进行训练；获取测试用户的注册音频和测试音频；对所述注册音频和测试音频执行预处理，然后执行特征提取，分别得到注册音频和测试音频的梅尔频率倒谱系数；将所述注册音频/测试音频的梅尔频率倒谱系数传入训练好的所述残差时延网络，获取所述残差时延网络在会话切片级输出的特征向量，作为注册特征向量/待测试特征向量；将所述注册特征向量和待测试特征向量输入概率线性判别分析模型，并根据模型输出的分值输出说话人确认结果。本发明专利技术解决了现有文本无关说话人确认方法在短音频方面的准确率欠佳的问题。

Speaker Recognition Method, Device, Equipment and Media Based on Residual Delay Network

【技术实现步骤摘要】
基于残差时延网络的说话人确认方法、装置、设备及介质
本专利技术涉及信息
，尤其涉及一种基于残差时延网络的说话人确认方法、装置、设备及介质。
技术介绍
声纹识别，也称为话说人识别，是生物识别技术中的一种。声纹识别主要解决两大类问题，即说话人辨认和说话人确认。说话人辨认技术是用以判断某段语音来自若干说话人中的哪一个，是“多选一问题”，而说话人确认技术是判定某段语音是不是属于指定被检测人所说的，是“一对一问题”。说话人确认广泛应用于诸多领域，在银行、非银金融、公安、军队及其他民用安全认证等行业和部门有着广泛的需求。说话人确认依照被检测语音是否需要指定内容分为文本相关确认和文本无关确认两种方式。近年来文本无关说话人确认方法不断突破，其准确性较之以往有了极大的提升。然而在某些受限情况下，比如采集到的说话人有效语音较短的情况下，其准确性还不尽如人意。因此，寻找一种提高文本无关说话人确认在短音频方面的准确率的方法成为本领域技术人员亟需解决的问题。
技术实现思路
本专利技术实施例提供了一种基于残差时延网络的说话人确认方法、装置、设备及介质，以解决现有文本无关说话人确认方法在短音频方面的准确率欠佳的问题。一种基于残差时延网络的说话人确认方法，包括：构建残差时延网络，采用预设的训练样本集对所述残差时延网络进行训练；获取测试用户的音频信息集，所述音频信息集包括注册音频和测试音频；对所述测试用户的音频信息集执行预处理；对预处理后的所述音频信息集执行特征提取，分别得到注册音频对应的梅尔频率倒谱系数和测试音频对应的梅尔频率倒谱系数；将所述注册音频的梅尔频率倒谱系数作为输入向量传入训练好的所述残差时延网络，获取所述残差时延网络在会话切片级输出的特征向量，作为所述测试用户的注册特征向量；将所述测试音频的梅尔频率倒谱系数作为输入向量传入训练好的所述残差时延网络，获取所述残差时延网络在会话切片级输出的特征向量，作为所述测试用户的待测试特征向量；将所述注册特征向量和待测试特征向量输入预设的概率线性判别分析模型，并获取所述概率线性判别分析模型输出的分值；根据所述分值输出说话人确认结果。进一步地，所述残差时延网络通过将残差时延网络块替换时延网络中的会话帧间级得到，所述残差时延网络块通过结合时延网络的结构与残差网络的恒等映射、残差映射得到。进一步地，所述采用预设的训练样本集对所述残差时延网络进行训练包括：收集若干个说话人的多个音频信息作为训练样本集；对所述训练样本集中的音频信息执行预处理；对预处理后的每一所述音频信息进行特征提取，得到对应的梅尔频率倒频谱系数；将每一所述音频信息对应的梅尔频率倒频谱系数作为输入向量传入预设的残差时延网络进行训练，获取所述残差时延网络输出的识别结果；采用预设的损失函数计算每一所述音频信息对应的梅尔频率倒谱系数经过所述残差时延网络的识别结果与对应的说话人标签之间的误差，并根据所述误差修改所述残差时延网络的参数；将每一所述音频信息对应的梅尔频率倒频谱系数作为输入向量传入参数修改后的残差时延网络执行下一次训练。进一步地，所述对所述训练样本集中的音频信息执行预处理包括：对每一所述音频信息添加说话人标签，根据所述说话人标签进行分类，得到每一个说话人的音频信息集；将音频信息个数小于第一预设阈值的音频信息集及说话人从所述训练样本集中剔除；对剩余音频信息集中的每一个音频信息执行语音活动检测，并根据语音活动检测结果删除非语音部分，得到语音部分时长；将语音部分时长少于第二预设阈值的音频信息从所述音频信息集中剔除。进一步地，所述根据所述分值输出说话人确认结果包括：比对所述分值与预设分数阈值；若所述分值大于或等于所述预设分数阈值时，输出所述待测试特征向量和注册特征向量来自同一个说话人的指示信息；若所述分值小于所述预设分数阈值时，输出所述待测试特征向量和注册特征向量来自不同的说话人的指示信息。一种基于残差时延网络的说话人确认装置，包括：训练模块，用于构建残差时延网络，采用预设的训练样本集对所述残差时延网络进行训练；获取模块，用于获取测试用户的音频信息集，所述音频信息集包括注册音频和测试音频；预处理模块，用于对所述测试用户的音频信息集执行预处理；特征提取模块，用于对预处理后的所述音频信息集执行特征提取，分别得到注册音频对应的梅尔频率倒谱系数和测试音频对应的梅尔频率倒谱系数；第一特征获取模块，用于将所述注册音频的梅尔频率倒谱系数作为输入向量传入训练好的所述残差时延网络，获取所述残差时延网络在会话切片级输出的特征向量，作为所述测试用户的注册特征向量；第二特征获取模块，用于将所述测试音频的梅尔频率倒谱系数作为输入向量传入训练好的所述残差时延网络，获取所述残差时延网络在会话切片级输出的特征向量，作为所述测试用户的待测试特征向量；分值获取模块，用于将所述注册特征向量和待测试特征向量输入预设的概率线性判别分析模型，并获取所述概率线性判别分析模型输出的分值；说话人确认模块，用于根据所述分值输出说话人确认结果。进一步地，所述训练模块包括：收集单元，用于收集若干个说话人的多个音频信息作为训练样本集；预处理单元，用于对所述训练样本集中的音频信息执行预处理；特征提取单元，用于对预处理后的每一所述音频信息进行特征提取，得到对应的梅尔频率倒频谱系数；训练单元，用于将每一所述音频信息对应的梅尔频率倒频谱系数作为输入向量传入预设的残差时延网络进行训练，获取所述残差时延网络输出的识别结果；参数修改单元，用于采用预设的损失函数计算每一所述音频信息对应的梅尔频率倒谱系数经过所述残差时延网络的识别结果与对应的说话人标签之间的误差，并根据所述误差修改所述残差时延网络的参数；所述训练单元还用于，将每一所述音频信息对应的梅尔频率倒频谱系数作为输入向量传入参数修改后的残差时延网络执行下一次训练。进一步地，所述预处理单元包括：标签子单元，用于对每一所述音频信息添加说话人标签，根据所述说话人标签进行分类，得到每一个说话人的音频信息集；第一剔除子单元，用于将音频信息个数小于第一预设阈值的音频信息集及说话人从所述训练样本集中剔除；检测子单元，用于对剩余音频信息集中的每一个音频信息执行语音活动检测，并根据语音活动检测结果删除非语音部分，得到语音部分时长；第二剔除子单元，用于将语音部分时长少于第二预设阈值的音频信息从所述音频信息集中剔除。一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于残差时延网络的说话人确认方法。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于残差时延网络的说话人确认方法。本专利技术实施例通过构建残差时延网络，采用预设的训练样本集对所述残差时延网络进行训练；然后获取测试用户的音频信息集，所述音频信息集包括注册音频和测试音频；对所述测试用户的音频信息集执行预处理；对预处理后的所述音频信息集执行特征提取，分别得到注册音频对应的梅尔频率倒谱系数和测试音频对应的梅尔频率倒谱系数；将所述注册音频的梅尔频率倒谱系数作为输入向量传入训练好的所述残差时延网络，获取所述残差时延网络在会话切片级输出的特征向量，作为所述测试用户的注册特征向量；将所述测试音频的本文档来自技高网...

【技术保护点】
1.一种基于残差时延网络的说话人确认方法，其特征在于，包括：构建残差时延网络，采用预设的训练样本集对所述残差时延网络进行训练；获取测试用户的音频信息集，所述音频信息集包括注册音频和测试音频；对所述测试用户的音频信息集执行预处理；对预处理后的所述音频信息集执行特征提取，分别得到注册音频对应的梅尔频率倒谱系数和测试音频对应的梅尔频率倒谱系数；将所述注册音频的梅尔频率倒谱系数作为输入向量传入训练好的所述残差时延网络，获取所述残差时延网络在会话切片级输出的特征向量，作为所述测试用户的注册特征向量；将所述测试音频的梅尔频率倒谱系数作为输入向量传入训练好的所述残差时延网络，获取所述残差时延网络在会话切片级输出的特征向量，作为所述测试用户的待测试特征向量；将所述注册特征向量和待测试特征向量输入预设的概率线性判别分析模型，并获取所述概率线性判别分析模型输出的分值；根据所述分值输出说话人确认结果。

【技术特征摘要】
1.一种基于残差时延网络的说话人确认方法，其特征在于，包括：构建残差时延网络，采用预设的训练样本集对所述残差时延网络进行训练；获取测试用户的音频信息集，所述音频信息集包括注册音频和测试音频；对所述测试用户的音频信息集执行预处理；对预处理后的所述音频信息集执行特征提取，分别得到注册音频对应的梅尔频率倒谱系数和测试音频对应的梅尔频率倒谱系数；将所述注册音频的梅尔频率倒谱系数作为输入向量传入训练好的所述残差时延网络，获取所述残差时延网络在会话切片级输出的特征向量，作为所述测试用户的注册特征向量；将所述测试音频的梅尔频率倒谱系数作为输入向量传入训练好的所述残差时延网络，获取所述残差时延网络在会话切片级输出的特征向量，作为所述测试用户的待测试特征向量；将所述注册特征向量和待测试特征向量输入预设的概率线性判别分析模型，并获取所述概率线性判别分析模型输出的分值；根据所述分值输出说话人确认结果。2.如权利要求1所述的基于残差时延网络的说话人确认方法，其特征在于，所述残差时延网络通过将残差时延网络块替换时延网络中的会话帧间级得到，所述残差时延网络块通过结合时延网络的结构与残差网络的恒等映射、残差映射得到。3.如权利要求1或2所述的基于残差时延网络的说话人确认方法，其特征在于，所述采用预设的训练样本集对所述残差时延网络进行训练包括：收集若干个说话人的多个音频信息作为训练样本集；对所述训练样本集中的音频信息执行预处理；对预处理后的每一所述音频信息进行特征提取，得到对应的梅尔频率倒频谱系数；将每一所述音频信息对应的梅尔频率倒频谱系数作为输入向量传入预设的残差时延网络进行训练，获取所述残差时延网络输出的识别结果；采用预设的损失函数计算每一所述音频信息对应的梅尔频率倒谱系数经过所述残差时延网络的识别结果与对应的说话人标签之间的误差，并根据所述误差修改所述残差时延网络的参数；将每一所述音频信息对应的梅尔频率倒频谱系数作为输入向量传入参数修改后的残差时延网络执行下一次训练。4.如权利要求3所述的基于残差时延网络的说话人确认方法，其特征在于，所述对所述训练样本集中的音频信息执行预处理包括：对每一所述音频信息添加说话人标签，根据所述说话人标签进行分类，得到每一个说话人的音频信息集；将音频信息个数小于第一预设阈值的音频信息集及说话人从所述训练样本集中剔除；对剩余音频信息集中的每一个音频信息执行语音活动检测，并根据语音活动检测结果删除非语音部分，得到语音部分时长；将语音部分时长少于第二预设阈值的音频信息从所述音频信息集中剔除。5.如权利要求1或2所述的基于残差时延网络的说话人确认方法，其特征在于，所述根据所述分值输出说话人确认结果包括：比对所述分值与预设分数阈值；若所述分值大于或等于所述预设分数阈值时，输出所述待测试特征向量和注册特征向量来自同一个说话人的指示信息；若所述分值小于所述预设分数阈值时，输出所述待测试特征向量和注册特征向量来自不同的说话人的指示信息。6.一种基于残差时延网络的说话人确认...

【专利技术属性】
技术研发人员：彭俊清，王健宗，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44