语音识别模型及其训练方法、语音识别方法及装置制造方法及图纸

本发明专利技术公开了一种语音识别模型及其训练方法、语音识别方法及装置，涉及语音识别技术领域，本发明专利技术技术方案中将深度残差收缩网络和门控卷积网络引入到电网调度语音识别中，通过深度残差收缩网络中的收缩模块移除阈值区域的冗余信息来提高卷积神经网络特征提取能力，通过门控卷积网络捕获有效上下文。在此基础上，并对其改进提出了残差收缩卷积网络和门控卷积前馈网络，构建了联合CTC的RSCN

【技术实现步骤摘要】
语音识别模型及其训练方法、语音识别方法及装置


[0001]本专利技术涉及语音识别
，尤其是一种语音识别模型及其训练方法、语音识别方法及装置。

技术介绍

[0002]随着配电网规模的扩大和信息化建设的推进，配网指挥涉及的信息不断增多。调度员每天需要进行大量重复性的发令、收令、核对等工作，工作量过大，可能会增加失误风险，同时传统电网调度通常使用电话形式进行信息传递，在处理大型故障时，容易形成信息拥挤堵塞，造成行为失配与处置失效。因此如今大规模电网调度给调度员带来了巨大的挑战。
[0003]随着人工智能技术的快速发展，智能交互开始走进人们的生活。语音识别技术也正逐渐应用到电网调度中去。也由此产生了采用智能虚拟调度员代替重复性和繁杂的人工劳动的需求。其中，语音识别环节关系到虚拟调度员对现场人员汇报信息的准确理解，是调度指令正确处理和发送的基础。通过语音识别技术可以将语音转为文字方便将识别的文字作为调度日志，同时通过语音识别技术能够智能查询调度记录，极大的减轻了调度员的劳动强度。
[0004]然而，电网调度员、现场工作人员处于噪声环本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音识别模型,其特征在于，包括：声学模型和语言模型；所述声学模型包括：残差收缩卷积网络层和门控卷积前馈网络层；该模型将语谱图作为输入，通过残差收缩卷积网络消除语谱图噪声和冗余信息，提取出有效特征；然后通过堆叠门控卷积前馈网络控制特征之间依赖项的长度，以此捕获有效的长时间记忆；最后通过CTC损失函数进行训练；所述语言模型包括多头注意力机制和前馈神经网络，在模型的输出接入线性层和SoftMax层以预测被遮蔽的词或字，通过多次预测训练迭代得到模型，使用的损失函数是交叉熵损失函数。2.根据权利要求1所述的语音识别模型，其特征在于，所述声学模型依次由卷积层、多层残差收缩卷积网络、线性层、多层门控卷积前馈网络、线性层和Softmax、联结时序分类损失函数训练层构成。3.根据权利要求1所述的语音识别模型，其特征在于，所述残差收缩卷积网络依次由卷积层、收缩模块、卷积层、收缩模块组成，在所述收缩模块中引入软阈值函数，将噪声信息朝着“零”的方向进行收缩。4.根据权利要求1所述的语音识别模型，其特征在于，所述门控卷积前馈网络依次由卷积层、门控线性单元、前馈神经网络、dropout层组成，所述前馈神经网络包括矩阵线性变化Linear层和Swish非线性激活函数。5.一种语音识别模型的训练方法，其特征在于，应用于权利要求1至4任一项所述的语音识别模型，所述方法包括：声学模型训练：将语谱图输入声学模型，输出可能的文本序列；语言模型训练：通过无监督形式进行学习文本之间的关系；声学模型输出的文本序列输入语言模型，语言模型输出为对应文本的概率；模...

【专利技术属性】
技术研发人员：张飞，付合英，郝斌，任晓颖，高鹭，朱学超，
申请(专利权)人：内蒙古科技大学，
类型：发明
国别省市：