一种重叠语音的检测方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种重叠语音的检测方法、装置、电子设备及存储介质，包括：将待检测语音输入特征提取网络层，确定出待检测语音的每一音频段的幅度谱语音特征和相位谱语音特征；将各个音频段的幅度谱语音特征输入第一残差网络层，确定出幅度重叠得分矩阵；以及将各个音频段的相位谱语音特征输入第二残差网络层，确定出相位重叠得分矩阵；将幅度重叠得分矩阵和幅度重叠得分矩阵输入聚合网络层进行聚合处理，确定待检测语音中是否存在重叠语音，并在存在时，输出重叠语音的起始时间和终止时间。通过将待检测语音输入到重叠语音检测模型中，将幅度重叠得分矩阵、相位重叠得分矩阵进行聚合处理，从而可以提高对重叠语音识别的准确率。从而可以提高对重叠语音识别的准确率。从而可以提高对重叠语音识别的准确率。

【技术实现步骤摘要】
一种重叠语音的检测方法、装置、电子设备及存储介质


[0001]本申请涉及语音检测
，尤其是涉及一种重叠语音的检测方法、装置、电子设备及存储介质。

技术介绍

[0002]语音重叠检测是指在一段连续的多人说话的语音中检出多人同时说话的起始时间和结束时间。随着人工智能技术的发展，对于语音重叠算法的精度要求越来越高，因为在智能音箱、助听器、会议记录等应用设备中，麦克风接收到的语音信号常常伴随着背景噪音或者其他说话人声的干扰，若是不能准确地确定出重叠语音，将会严重影响到后端的应用，出现目标语音不清晰、语义识别不准或记录不准确的问题。
[0003]现阶段，一般采用基于无监督聚类的语音重叠算法进行确定，但是这种方法在面对大数据量语音文件时会导致更容易受到噪声信息的干扰，导致最终重叠语音确定的准确率降低。所以，如何快速准确的确定出重叠语音成为了亟需解决的问题。

技术实现思路

[0004]有鉴于此，本申请的目的在于提供一种重叠语音的检测方法、装置、电子设备及存储介质，从而提高对重叠语音识别的准确率。
[0005]本申请实施例提供了一种重叠语音的检测方法，所述检测方法包括：
[0006]获取待检测语音；
[0007]将所述待检测语音输入至预先训练好的重叠语音检测模型的特征提取网络层，确定出所述待检测语音的每一音频段的幅度谱语音特征和相位谱语音特征；
[0008]将各个音频段的所述幅度谱语音特征输入至重叠语音检测模型的第一残差网络层，确定出幅度重叠得分矩阵；以及将各个音频段的所述相位谱语音特征输入至重叠语音检测模型的第二残差网络层，确定出相位重叠得分矩阵；其中，所述幅度重叠得分矩阵表征所述待检测语音的每个音频段在幅度维度上的重叠程度；所述相位重叠得分矩阵表征所述待检测语音的每个音频段在相位维度上的重叠程度；所述第一残差网络层和所述第二残差网络层均包括多头注意力机制提取单元；
[0009]将所述幅度重叠得分矩阵和所述幅度重叠得分矩阵输入至重叠语音检测模型的聚合网络层进行聚合处理，确定所述待检测语音中是否存在重叠语音，并在存在时，输出重叠语音的起始时间和终止时间。
[0010]在一种可能的实施方式中，通过以下步骤训练所述重叠语音检测模型：
[0011]获取多条非重叠样本语音；
[0012]针对任意至少两条所述非重叠样本语音，对该至少两条所述非重叠样本语音进行重叠构造，确定出一条重叠样本语音；其中，所述重叠样本语音为该至少两条所述非重叠样本语音进行全部重叠构造或部分重叠构造生成的；
[0013]基于确定出的多条所述重叠样本语音所携带的重叠语音标签和多条非重叠样本
语音所携带的非重叠语音标签对初始神经网络模型进行训练，确定出所述重叠语音检测模型。
[0014]在一种可能的实施方式中，将各个音频段的所述幅度谱语音特征输入至重叠语音检测模型的第一残差网络层，确定出幅度重叠得分矩阵，包括：
[0015]针对于每个所述音频段的所述幅度谱语音特征，将所述幅度谱语音特征输入至一维卷积单元，对所述幅度谱语音特征进行一维卷积处理，确定出幅度谱语音第一特征；
[0016]将所述幅度谱语音第一特征输入至多尺度特征提取单元，对所述幅度谱语音第一特征在多尺度特征维度上进行非线性特征拟和，确定出幅度谱语音第二特征；
[0017]将所述幅度谱语音第二特征输入至多头注意力机制提取单元，对所述幅度谱语音第二特征进行加权平均值和加权标准差处理，确定出幅度谱语音第三特征；
[0018]将所述幅度谱语音第三特征输入至降维单元，对所述幅度谱语音第三特征进行降维处理，确定出幅度谱语音第四特征；
[0019]将所述幅度谱语音第四特征输入至分类单元，对所述幅度谱语音第四特征进行二分类处理，确定出幅度重叠得分向量；
[0020]基于各个所述音频段的幅度重叠得分向量，确定所述幅度重叠得分矩阵；
[0021]其中，所述第一残差网络层包括所述一维卷积单元、所述多尺度特征提取单元、所述多头注意力机制提取单元、所述降维单元以及所述分类单元。
[0022]在一种可能的实施方式中，通过以下步骤对所述幅度重叠得分矩阵和所述幅度重叠得分矩阵进行聚合处理，确定所述待检测语音中是否存在重叠语音：
[0023]对所述幅度重叠得分矩阵和所述相位重叠得分矩阵进行平均值计算，确定出平均值矩阵；
[0024]基于所述平均值矩阵，确定出所述待检测语音中是否存在重叠语音。
[0025]在一种可能的实施方式中，通过以下步骤对所述幅度重叠得分矩阵和所述幅度重叠得分矩阵进行聚合处理，确定所述待检测语音中是否存在重叠语音：
[0026]基于所述幅度重叠得分矩阵、幅度重叠得分矩阵所对应的音频段在幅度维度上的重叠程度标签、相位重叠得分矩阵以及相位重叠得分矩阵所对应的音频段在相位维度上的重叠程度标签，确定出得分矩阵标签数据集；
[0027]利用惩罚函数，对所述得分矩阵标签数据集进行构造并求解凸二次规划，确定出拉格朗日乘子的最优解序列；
[0028]在所述拉格朗日乘子的最优解序列中的任一个拉格朗日乘子的分量进行计算，确定出分类决策函数；
[0029]基于所述分类决策函数，确定所述待检测语音中是否存在重叠语音。
[0030]在一种可能的实施方式中，通过以下步骤对所述幅度重叠得分矩阵和所述幅度重叠得分矩阵进行聚合处理，确定所述待检测语音中是否存在重叠语音：
[0031]利用全连接网络和前向计算公式，对所述幅度重叠得分矩阵以及所述幅度重叠得分矩阵进行处理，确定所述待检测语音中是否存在重叠语音。
[0032]在一种可能的实施方式中，所述将所述待检测语音输入至预先训练好的重叠语音检测模型的特征提取网络层，确定出所述待检测语音的每一音频段幅度谱语音特征和每一音频段相位谱语音特征，包括：
[0033]对所述待检测语音进行分帧处理确定出多个音频段；
[0034]对每个所述音频段进行傅里叶处理，确定出每一音频段的幅度谱语音特征和相位谱语音特征。
[0035]本申请实施例还提供了一种重叠语音的检测装置，所述检测装置包括：
[0036]获取模块，用于获取待检测语音；
[0037]语音特征确定模块，用于将所述待检测语音输入至预先训练好的重叠语音检测模型的特征提取网络层，确定出所述待检测语音的每一音频段的幅度谱语音特征和相位谱语音特征；
[0038]得分矩阵确定模块，用于将各个音频段的所述幅度谱语音特征输入至重叠语音检测模型的第一残差网络层，确定出幅度重叠得分矩阵；以及将各个音频段的所述相位谱语音特征输入至重叠语音检测模型的第二残差网络层，确定出相位重叠得分矩阵；其中，所述幅度重叠得分矩阵表征所述待检测语音的每个音频段在幅度维度上的重叠程度；所述相位重叠得分矩阵表征所述待检测语音的每个音频段在相位维度上的重叠程度；所述第一残差网络层和所述第二残差网络层均包括多头注意力机制提取单元；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种重叠语音的检测方法，其特征在于，所述检测方法包括：获取待检测语音；将所述待检测语音输入至预先训练好的重叠语音检测模型的特征提取网络层，确定出所述待检测语音的每一音频段的幅度谱语音特征和相位谱语音特征；将各个音频段的所述幅度谱语音特征输入至重叠语音检测模型的第一残差网络层，确定出幅度重叠得分矩阵；以及将各个音频段的所述相位谱语音特征输入至重叠语音检测模型的第二残差网络层，确定出相位重叠得分矩阵；其中，所述幅度重叠得分矩阵表征所述待检测语音的每个音频段在幅度维度上的重叠程度；所述相位重叠得分矩阵表征所述待检测语音的每个音频段在相位维度上的重叠程度；所述第一残差网络层和所述第二残差网络层均包括多头注意力机制提取单元；将所述幅度重叠得分矩阵和所述幅度重叠得分矩阵输入至重叠语音检测模型的聚合网络层进行聚合处理，确定所述待检测语音中是否存在重叠语音，并在存在时，输出重叠语音的起始时间和终止时间。2.根据权利要求1所述的检测方法，其特征在于，通过以下步骤训练所述重叠语音检测模型：获取多条非重叠样本语音；针对任意至少两条所述非重叠样本语音，对该至少两条所述非重叠样本语音进行重叠构造，确定出一条重叠样本语音；其中，所述重叠样本语音为该至少两条所述非重叠样本语音进行全部重叠构造或部分重叠构造生成的；基于确定出的多条所述重叠样本语音所携带的重叠语音标签和多条非重叠样本语音所携带的非重叠语音标签对初始神经网络模型进行训练，确定出所述重叠语音检测模型。3.根据权利要求1所述的检测方法，其特征在于，将各个音频段的所述幅度谱语音特征输入至重叠语音检测模型的第一残差网络层，确定出幅度重叠得分矩阵，包括：针对于每个所述音频段的所述幅度谱语音特征，将所述幅度谱语音特征输入至一维卷积单元，对所述幅度谱语音特征进行一维卷积处理，确定出幅度谱语音第一特征；将所述幅度谱语音第一特征输入至多尺度特征提取单元，对所述幅度谱语音第一特征在多尺度特征维度上进行非线性特征拟和，确定出幅度谱语音第二特征；将所述幅度谱语音第二特征输入至多头注意力机制提取单元，对所述幅度谱语音第二特征进行加权平均值和加权标准差处理，确定出幅度谱语音第三特征；将所述幅度谱语音第三特征输入至降维单元，对所述幅度谱语音第三特征进行降维处理，确定出幅度谱语音第四特征；将所述幅度谱语音第四特征输入至分类单元，对所述幅度谱语音第四特征进行二分类处理，确定出幅度重叠得分向量；基于各个所述音频段的幅度重叠得分向量，确定所述幅度重叠得分矩阵；其中，所述第一残差网络层包括所述一维卷积单元、所述多尺度特征提取单元、所述多头注意力机制提取单元、所述降维单元以及所述分类单元。4.根据权利要求1所述的检测方法，其特征在于，通过以下步骤对所述幅度重叠得分矩阵和所述幅度重叠得分矩阵进行聚合处理，确定所述待检测语音中是否存在重叠语音：对所述幅度重叠得分矩阵和所述相位重叠得分矩阵进行平均值计算，确定出平均值矩
阵；基于所述平均值矩阵，确定出所述待检测语音中是否存在重叠语音。5....

【专利技术属性】
技术研发人员：万同堂，邓菁，郑榕，
申请(专利权)人：北京远鉴信息技术有限公司，
类型：发明
国别省市：