一种基于时延神经网络的快速语种识别方法技术

本发明专利技术公开了一种基于时延神经网络的快速语种识别方法，步骤1，输入语音信号，对输入的语音信号进行处理，得到固定长度的语音信号帧序列；步骤2、按帧提取语音信号帧序列的底层声学特征；步骤3，将底层声学特征输入Residual TDNN残差块结构中进行计算处理，得到M×64抽象特征；步骤4，进行Attention计算，步骤5，对Attention特征在时间帧维度上应用全局平均池化处理，得到Embedding向量；步骤6，对Embedding向量进行两层DNN提取，得到语种向量；步骤7，将语种向量输入ArcFaceStatic损失函数，将底层声学特征输入到训练好的神经网络，得到所有可识别语种的概率。本发明专利技术本发明专利技术在短语音上具有较强鲁棒性，因此能够快速准确地识别语种。

【技术实现步骤摘要】
一种基于时延神经网络的快速语种识别方法
本专利技术涉及语音识别
，特别涉及一种应用于语种识别的。
技术介绍
21世纪以来，伴随着模式识别、人工智能等学科的快速发展，人类发展进入了智能化时代。语音识别作为人机交互领域的关键技术受到了极大的重视并体现出较大的实用价值。按照形式可将语音划分为与字词信息相关、与语段内容相关的语音识别系统、与语段中所蕴含说话人身份相关的说话人识别系统及与语段所属语言种类相关的语种识别系统。目前，语种识别领域中时长大于10s长语段的识别准确率已经足够好，但复杂的测试环境和测试条件的限制对语种识别技术提出了更高的要求。传统的基于统计模型的全差异空间分析i-vector方法和基于音素语言模型的PRLM方法在短语音识别中无法满足识别性能的要求，基于神经网络模型发展起来的端到端的语种识别系统在当前语种识别领域获得了广泛的应用并有着较好的发展前景。基于端到端的语种识别系统简化了传统模型的结构，将模型和分类打分部分融为一体，通过网络中参数将各个部分进行连接，使网络的优化更加直接、简便。目前在语种识别领域应用基于神本文档来自技高网...

【技术保护点】
1.一种基于时延神经网络的快速语种识别方法，其特征在于，该方法包括以下步骤：/n步骤1，输入语音信号，对输入的语音信号进行处理，得到固定长度的语音信号帧序列；/n步骤2、按帧提取语音信号帧序列的底层声学特征；/n步骤3，将底层声学特征输入Residual TDNN残差块结构中进行计算处理，得到64维抽象特征；/n步骤4，进行Attention计算，Attention使用MultiHead-attention，Multihead-attention是Head数为8的self-attention构成./nSelf-attention的计算过程为：/n4-1，选择Query Key Value矩阵；...

【技术特征摘要】
1.一种基于时延神经网络的快速语种识别方法，其特征在于，该方法包括以下步骤：
步骤1，输入语音信号，对输入的语音信号进行处理，得到固定长度的语音信号帧序列；
步骤2、按帧提取语音信号帧序列的底层声学特征；
步骤3，将底层声学特征输入ResidualTDNN残差块结构中进行计算处理，得到64维抽象特征；
步骤4，进行Attention计算，Attention使用MultiHead-attention，Multihead-attention是Head数为8的self-attention构成.
Self-attention的计算过程为：
4-1，选择QueryKeyValue矩阵；
4--2，计算抽象特征之间的相似度分数Query×Key为MxM，通过将Q和每个K进行相似度计算，经过softmax得到归一化权重；
然后，对相似度分数进行归一化处理，使用softmax函数并通过计算权重得到注意力系数aij，和相应键值value的加权和求得最后的Attention输出特征H；
Self-attention计算公式为：
H＝V(softmax(KTQ))






其中，i,j表示每一帧特征索引，aij表示第i帧特征对所有其他j帧特征的注意力系数，V表示输入特征序列、KT表示输入特征序列转置、Q表示输入特征序列、hi表示第i帧输出特征、vj表示第j帧输入特征、kj表示第j帧输入特征、qi表示第i帧输入特征、M表示特征序列长度；
MultiHead-Attention的计算过程为：
先对QueryKeyValue进行多个线性变换得到QWiQ、KWiK、VWiV；Query,Key,Value都是输入到attention的特征序列；
然后，对每个QWiQ、KWiK、VWiV进行Self-Attention，操作处理如下：
MultiHead(Q，K，V)＝Concat(head1，...，headh)WO



其中，QWiQ、KWiK、VWiV分别表示对QueryKeyValue的多个变换矩阵，WO表示拼接多个Attention结果后再进行一个线性变换；
得到输出的Attention特征，其特征维度M×d，d表示特征维度(这里以64为例)；
步骤5，对Attention特征在时间帧维度上应用全局平均池化处理，得到Embedding向量；在平均池化层上，拼接两层前馈神经网络，Embedding向量公式如下；



其中，hi表示Multihead-attention输出的第i帧特征；
步骤6，对Embedding向量进行两层DNN提取，得到语种向量；
步骤7，将语种向量输入ArcFaceStatic损失函数，将底层声学特征输入到训练好的神经网络，得到所有可识别语种的概率。


2.如权利要求1所述的一种基于时延神经网络的快速语种识别方法，其特征在于，所述底层声学特征为SFFT特征或FDLP特征中的任意一种。


3.如权利要求1所...

【专利技术属性】
技术研发人员：刘俊南，江海，王化，刘文龙，
申请(专利权)人：因诺微科技天津有限公司，
类型：发明
国别省市：天津;12