一种语音识别模型的生成方法、装置及电子设备制造方法及图纸

本公开关于一种语音识别模型的生成方法、装置及电子设备，用于提高模型识别的准确率和识别效果。该方法包括：获取训练样本，每个训练样本包括语音帧序列及对应的标注文本序列；将所述语音帧序列作为所述编码器的输入特征，将所述语音帧序列的语音编码帧作为所述编码器的输出特征，对所述编码器进行训练；将所述语音编码帧作为所述解码器的输入特征，将所述语音帧序列对应的标注文本序列作为输出特征对解码器进行训练，得到当前预测文本序列，将所述语音编码帧作为所述解码器的输入特征，将所述语音帧序列对应的标注文本序列及所述当前预测文本序列按照预设概率采样后合并得到的序列作为输出特征，对所述解码器进行再次训练。

Generation method, device and electronic equipment of a speech recognition model

【技术实现步骤摘要】
一种语音识别模型的生成方法、装置及电子设备
本公开涉及语音识别
，尤其涉及一种语音识别模型的生成方法、装置及电子设备。
技术介绍
目前主流的语音识别框架为基于编解码注意力机制的端到端框架，例如语音识别神经网络(ListenAttendandSpell，LAS)模型，该模型包括编码、解码、注意力机制三部分功能，编码用于对语音的特征帧进行建模，获取声学的高层信息表示，解码用于建模语言信息，在给定上一时刻的输出，结合声学表示预测当前时刻的输出，注意力机制用于在语言和声学之间建立联系，从声学表示中抽取和当前语言相关的内容。该模型把传统模型的词典模型、声学模型、语言模型、解码模型都融合在一个神经网络模型中，同时学习声学和语言两方面的信息，属于目前为止较有潜力的端到端框架。但目前的端到端框架计算资源消耗大、并行计算困难，并且通过语音识别神经网络模型进行语音识别时，会存在上一时刻的输出错误导致错误的累积，模型的识别准确率较低，识别效果较差。
技术实现思路
本公开提供了一种语音识别模型的生成方法、装置及电子设备，用于在基于自注意力机制的编解码器模型中，利用自注意力机制完成对语音的编解码，并且在模型生成的过程中，在所述语音帧序列对应的标注文本序列与编解码器模型输出端反馈的预测文本序列之间按照预设概率进行采样，将错误的预测文本加入到模型生成的过程中，能够解决在上一帧预测文本错误时仍能够在下一帧得到正确的预测文本，缓解由于错误累积带来的误差累积，提高模型识别的准确率和识别效果。第一方面，本公开提供一种语音识别模型的生成方法，该方法包括：获取训练样本，每个训练样本包括语音帧序列及对应的标注文本序列；将所述语音帧序列作为所述编码器的输入特征，将所述语音帧序列的语音编码帧作为所述编码器的输出特征，对所述编码器进行训练；将所述语音编码帧作为所述解码器的输入特征，将所述语音帧序列对应的标注文本序列作为输出特征对解码器进行训练，得到当前预测文本序列，将所述语音编码帧作为所述解码器的输入特征，将所述语音帧序列对应的标注文本序列及所述当前预测文本序列按照预设概率采样后合并得到的序列作为输出特征，对所述解码器进行再次训练。作为一种可能的实施方式，所述获取训练样本步骤包括：获取语音信号并进行语音特征提取，得到初始语音帧序列；对所述初始语音帧序列中语音帧进行拼帧，并下采样拼帧后的语音帧，得到语音帧序列。作为一种可能的实施方式，所述预设概率根据所述解码器输出的预测文本序列的准确率确定。作为一种可能的实施方式，所述根据所述解码器输出的预测文本序列的准确率确定所述预设概率步骤包括：根据解码器输出的预测文本序列的准确率的大小，按照正比关系确定采样预测文本序列的预设概率，按照反比关系确定采样标注文本序列的预设概率。作为一种可能的实施方式，还包括：确定所述当前预测文本序列与对应的标注文本序列的接近程度满足预设值，及确定所述当前预测文本序列中的字错误率CER满足预设值时，结束对所述语音识别模型的训练。作为一种可能的实施方式，所述标注文本序列为标注的音节序列，所述预测文本序列为预测的音节序列。第二方面，本公开提供一种语音识别模型的生成装置，所述语音识别模型包括编码器和解码器，该装置包括：获取样本单元、编码器训练单元、解码器训练单元，其中：获取样本单元，被配置为执行获取训练样本，每个训练样本包括语音帧序列及对应的标注文本序列；编码器训练单元，被配置为执行将所述语音帧序列作为所述编码器的输入特征，将所述语音帧序列的语音编码帧作为所述编码器的输出特征，对所述编码器进行训练；解码器训练单元，被配置为执行将所述语音编码帧作为所述解码器的输入特征，将所述语音帧序列对应的标注文本序列作为输出特征对解码器进行训练，得到当前预测文本序列，将所述语音编码帧作为所述解码器的输入特征，将所述语音帧序列对应的标注文本序列及所述当前预测文本序列按照预设概率采样后合并得到的序列作为输出特征，对所述解码器进行再次训练。作为一种可能的实施方式，所述获取样本单元具体被配置为执行：获取语音信号并进行语音特征提取，得到初始语音帧序列；对所述初始语音帧序列中语音帧进行拼帧，并下采样拼帧后的语音帧，得到语音帧序列。作为一种可能的实施方式，所述预设概率根据所述解码器输出的预测文本序列的准确率确定。作为一种可能的实施方式，所述解码器训练单元具体被配置为执行：根据解码器输出的预测文本序列的准确率的大小，按照正比关系确定采样预测文本序列的预设概率，按照反比关系确定采样标注文本序列的预设概率。作为一种可能的实施方式，所述装置还包括完成训练单元被配置为执行：确定所述当前预测文本序列与对应的标注文本序列的接近程度满足预设值，及确定所述当前预测文本序列中的字错误率CER满足预设值时，结束对所述语音识别模型的训练。作为一种可能的实施方式，所述标注文本序列为标注的音节序列，所述预测文本序列为预测的音节序列。第三方面，本公开提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如下步骤：获取训练样本，每个训练样本包括语音帧序列及对应的标注文本序列；将所述语音帧序列作为所述编码器的输入特征，将所述语音帧序列的语音编码帧作为所述编码器的输出特征，对所述编码器进行训练；将所述语音编码帧作为所述解码器的输入特征，将所述语音帧序列对应的标注文本序列作为输出特征对解码器进行训练，得到当前预测文本序列，将所述语音编码帧作为所述解码器的输入特征，将所述语音帧序列对应的标注文本序列及所述当前预测文本序列按照预设概率采样后合并得到的序列作为输出特征，对所述解码器进行再次训练。作为一种可能的实施方式，所述处理器具体被配置为执行：获取语音信号并进行语音特征提取，得到初始语音帧序列；对所述初始语音帧序列中语音帧进行拼帧，并下采样拼帧后的语音帧，得到语音帧序列。作为一种可能的实施方式，所述预设概率根据所述解码器输出的预测文本序列的准确率确定。作为一种可能的实施方式，所述处理器具体被配置为执行：根据解码器输出的预测文本序列的准确率的大小，按照正比关系确定采样预测文本序列的预设概率，按照反比关系确定采样标注文本序列的预设概率。作为一种可能的实施方式，所述处理器具体还被配置为执行：确定所述当前预测文本序列与对应的标注文本序列的接近程度满足预设值，及确定所述当前预测文本序列中的字错误率CER满足预设值时，结束对所述语音识别模型的训练。作为一种可能的实施方式，所述标注文本序列为标注的音节序列，所述预测文本序列为预测的音节序列。第四方面，本公开提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面所述方法的步骤。本公开提供的一种语音识别模型的生成本文档来自技高网...

【技术保护点】
1.一种语音识别模型的生成方法，其特征在于，所述语音识别模型包括编码器和解码器，该方法包括：/n获取训练样本，每个训练样本包括语音帧序列及对应的标注文本序列；/n将所述语音帧序列作为所述编码器的输入特征，将所述语音帧序列的语音编码帧作为所述编码器的输出特征，对所述编码器进行训练；/n将所述语音编码帧作为所述解码器的输入特征，将所述语音帧序列对应的标注文本序列作为输出特征对解码器进行训练，得到当前预测文本序列，将所述语音编码帧作为所述解码器的输入特征，将所述语音帧序列对应的标注文本序列及所述当前预测文本序列按照预设概率采样后合并得到的序列作为输出特征，对所述解码器进行再次训练。/n

【技术特征摘要】
1.一种语音识别模型的生成方法，其特征在于，所述语音识别模型包括编码器和解码器，该方法包括：
获取训练样本，每个训练样本包括语音帧序列及对应的标注文本序列；
将所述语音帧序列作为所述编码器的输入特征，将所述语音帧序列的语音编码帧作为所述编码器的输出特征，对所述编码器进行训练；
将所述语音编码帧作为所述解码器的输入特征，将所述语音帧序列对应的标注文本序列作为输出特征对解码器进行训练，得到当前预测文本序列，将所述语音编码帧作为所述解码器的输入特征，将所述语音帧序列对应的标注文本序列及所述当前预测文本序列按照预设概率采样后合并得到的序列作为输出特征，对所述解码器进行再次训练。


2.根据权利要求1所述的方法，其特征在于，所述获取训练样本步骤包括：
获取语音信号并进行语音特征提取，得到初始语音帧序列；
对所述初始语音帧序列中语音帧进行拼帧，并下采样拼帧后的语音帧，得到语音帧序列。


3.根据权利要求1所述的方法，其特征在于，所述预设概率根据所述解码器输出的预测文本序列的准确率确定。


4.根据权利要求3所述的方法，其特征在于，所述根据所述解码器输出的预测文本序列的准确率确定所述预设概率步骤包括：
根据解码器输出的预测文本序列的准确率的大小，按照正比关系确定采样预测文本序列的预设概率，按照反比关系确定采样标注文本序列的预设概率。


5.根据权利要求1所述的方法，其特征在于，还包括：
确定所述当前预测文本序列与对应的标注文本序列的接近程度满足预设值，及确定所述当前预测文本序列中的字错误率CER满足预设值时，结束对所述语音识别模型的训练。


6...

【专利技术属性】
技术研发人员：赵媛媛，李杰，王晓瑞，李岩，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11