基于多头注意力机制和时延神经网络的语音识别方法技术

本发明专利技术涉及一种基于多头注意力机制和时延神经网络的语音识别方法，属于语音识别技术领域。本发明专利技术针对已有低资源语音识别模型单一，长序列上下文依赖捕获能力差、局部特征提取能力不足的问题。本发明专利技术将通过对比学习、时延神经网络等方法提高自监督低资源语音识别模型特征提取能力。针对目标域标注数据稀缺的情景，传统的低资源语音识别模型由于训练数据和测试数据的不匹配的影响，通常难以在高维潜在空间中找到更加理想的片段语音到字元的维特比对齐，最终导致了模型的健壮性不理想。本研究拟定通过数据增强的方法对未标注数据进行理想分布拓展，降低了未标注数据的概念偏移量，加强了未标注数据的可靠性。

【技术实现步骤摘要】

本专利技术属于语音识别，涉及基于多头注意力机制和时延神经网络的语音识别方法。

技术介绍

1、如今的商用车载语音识别系统大多使用传统模型进行有监督训练，这种有监督的训练方式需要大量的人工标注数据集。这种训练方式对于特定方言，特别是人工标注语料库资源十分匮乏的小语种来说是十分不友好的。因此需要有一种只依赖少量标记数据就可以完成自主学习的技术来帮助实现小语种语音识别。基于多头注意力机制和时延神经网络的低资源语音识别技术可以利用声音文件内部的音频信息学习语音模型。本专利技术能利用数据内部的结构来生成监督信息，而依赖人工标记数据，并使用该监督信息来学习有关数据的模型。该技术的优势在于在保证深度学习模型识别精度的情况下，极大减少标记数据所需的人力和时间，使得低资源语音识别应用方案落地更加高效和便捷。

技术实现思路

1、有鉴于此，本专利技术的目的在于提供一种基于多头注意力机制和时延神经网络的语音识别方法。

2、为达到上述目的，本专利技术提供如下技术方案：

3、基于多头注意力机制和时延神经网络的语音识本文档来自技高网...

【技术保护点】

1.基于多头注意力机制和时延神经网络的语音识别方法，其特征在于：该方法包括以下步骤：

2.根据权利要求1所述的基于多头注意力机制和时延神经网络的语音识别方法，其特征在于：所述微调模型具体为：

【技术特征摘要】

1.基于多头注意力机制和时延神经网络的语音识别方法，其特征在于：该方法包括以下步骤：

2....

【专利技术属性】
技术研发人员：李鹏华，谢潇，利节，侯杰，项盛，尹绍云，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：