基于截断注意力的实时语音识别的方法、装置、设备以及计算机可读存储介质制造方法及图纸

本公开提供了一种基于截断注意力的实时语音识别的方法、装置、设备以及计算机可读存储介质。方法包括获得用于截断输入的语音信号的特征序列的截断信息，然后基于截断信息来将特征序列截断成多个子序列。方法还包括针对每个子序列，通过注意力机制来获得实时识别结果。本公开的实施例通过在传统的注意力模型中引入根据语音信号而确定的截断信息，能够指导注意力模型针对每个截断分别进行注意力建模，不仅能够实现实时的语音识别，而且能够保证很高的识别准确率。此外，可选地，本公开的一些实施例所提出的双头结构能够保证实时语音识别过程的计算量较小，本公开的一些实施例所提出的多级注意力结构能够进一步提升语音识别的准确率。

【技术实现步骤摘要】
基于截断注意力的实时语音识别的方法、装置、设备以及计算机可读存储介质
本公开的实施例总体上涉及语音识别
，并且更具体地涉及基于截断注意力的实时语音识别的方法、装置、设备以及计算机可读存储介质。
技术介绍
语音识别是指通过计算机把语音信号转换为对应的文本的过程，是实现人与机器交互的主要途径之一。近年来，随着深度学习技术在语音识别领域的广泛引用，语音识别的准确率得到了极大的提升。此外，由于智能设备的不断普及，使用语音进行识别的场合已经变得非常丰富。例如，语音识别技术已经广泛应用于语音输入，语音拨号、车载导航等各种场合。语音识别技术结合自然语言处理以及语音合成等技术，可以产生更多复杂应用，例如智能音箱、会议同声传译、智能客服助理等。语音识别的准确率直接影响着语音相关产品用户的使用体验，因此，随着语音识别使用场景的不断丰富，对语音识别的准确率提出了更高的要求。实时语音识别是指针对接收到的连续语音，对语音的各个片段进行识别，从而可以实时地获得识别结果，而不需要等待全部语音输入完毕之后才开始识别过程。在大规模词汇量的在线连续语音识别中，影响系统性能的关键因素是系统的识别精度和响应速度。例如，在用户期望在说话的同时能够看到识别结果实时展现的场景中，需要语音识别系统在保持高识别率的同时，及时快速地对语音信号进行解码并输出识别结果。如果等用户语音输入完毕后才开始识别，则会严重影响用户的使用体验，造成语音交互的不流畅性。
技术实现思路
根据本公开的示例实施例，提供了一种基于截断注意力的实时语音识别的方法、装置、设备以及计算机可读存储介质。在本公开的第一方面中，提供了一种基于截断注意力的实时语音识别的方法。该方法包括：基于输入的语音信号，获得用于截断语音信号的特征序列的截断信息；基于截断信息，将特征序列截断成多个子序列；以及针对多个子序列中的子序列，通过注意力机制来获得实时识别结果。在本公开的第二方面中，提供了一种基于截断注意力的实时语音识别的装置。该装置包括：截断信息获得模块，被配置为基于输入的语音信号，获得用于截断语音信号的特征序列的截断信息；特征序列截断模块，被配置为基于截断信息，将特征序列截断成多个子序列；以及识别结果获得模块，被配置为针对多个子序列中的子序列，通过注意力机制来获得实时识别结果。在本公开的第三方面中，提供了一种电子设备，其包括一个或多个处理器以及存储装置，其中存储装置用于存储一个或多个程序。一个或多个程序当被一个或多个处理器执行，使得电子设备实现根据本公开的实施例的方法或过程。在本公开的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的实施例的方法或过程。应当理解，本
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。附图说明结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：图1示出了传统的语音识别过程的示意图；图2示出了根据本公开的实施例的示例实时语音识别场景的示意图；图3示出了根据本公开的实施例的基于截断注意力的实时语音识别的方法的流程图；图4示出了根据本公开的实施例的基于截断注意力的实时语音识别的过程的示意图；图5示出了根据本公开的实施例的基于连接时序分类(CTC)尖峰信息的流式多级截断注意力(SMLTA)模型的示例架构的示意图；图6示出了根据本公开的实施例的基于CTC尖峰信息的SMLTA模型的示例工作原理图；图7示出了根据本公开的实施例的基于截断注意力的实时语音识别的装置的框图；以及图8示出了能够实施本公开的多个实施例的电子设备的框图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。传统的语音识别系统主要包括声学模型、语言模型以及解码器三个部分，如图1所示，其示出了传统的语音识别过程100的示意图。在获得采集的语音信号110之后，首先在框120处对语音信号110进行信号处理和特征提取，包括从输入的语音信号110中提取特征，以供声学模型132处理，还包括一些信号处理技术，以便降低环境噪声或者其他因素对特征造成的影响。参考图1，在特征提取之后，将提取的特征输入到解码器130，并由解码器130经过处理输出识别结果140，解码器130根据声学模型132和语言模型134寻找最大概率输出的语音信号的词序列，其中声学模型132实现语音到音节的转换，而语言模型134实现音节到文本的转换。声学模型132利用声学、语音学、环境特性以及说话人性别口音等信息，对语音信号进行建模。例如，声学模型132可以采用隐马尔科夫模型(HMM)建模，以表示语音的特征向量序列对某一状态序列的后验概率。语言模型134用于对语言进行建模。通常，可以使用统计的N元文法(N-Gram)，即统计前后N个字出现的概率。如图1所示，声学模型132可以基于语音数据库133来训练和/或工作，语言模型134可以基于文本数据库135来训练和/或工作。一般来说，为了减少模型的复杂度和计算量，通常声学模型132和语言模型134被当作两个独立的模型分别进行训练和优化。如图1所示，语音识别系统的构建需要经过特征提取、声学模型训练、语言模型训练、以及解码器优化等多个模块共同配合。特别是声学模型训练，通常需要具有专业声学背景知识的人员来进行开发和优化，这增加了语音识别系统的复杂程度和人力成本。随着神经网络技术的不断发展，声学模型的各个模块逐渐被神经网络替代，不但简化声学模型的复杂度并且降低模型的开发和调试难度，而且显著提升语音识别系统的性能。例如，出现了深度神经网络(DNN)+HMM的声学模型。随后，在该结构的基础上，声学模型进一步引入了深度卷积网络(CNN)、基于门的循环神经网络(GRU)以及长短时记忆网络(LSTM)等网络结构以替换DNN模型，显著提升了神经网络模型的建模精度。连接时序分类(CTC)模型是一种端到端(end-to-end)的模型，其被用于大规模词汇量的语音识别，混合DNN+HMM的声学模型结构完全被统一的神经网络结构所替代，大大简化了声学模型的结构和训练难度，使得语音识别系统的准确本文档来自技高网...

【技术保护点】
1.一种基于截断注意力的实时语音识别的方法，包括：/n基于输入的语音信号，获得用于截断所述语音信号的特征序列的截断信息；/n基于所述截断信息，将所述特征序列截断成多个子序列；以及/n针对所述多个子序列中的子序列，通过注意力机制来获得实时识别结果。/n

【技术特征摘要】
1.一种基于截断注意力的实时语音识别的方法，包括：
基于输入的语音信号，获得用于截断所述语音信号的特征序列的截断信息；
基于所述截断信息，将所述特征序列截断成多个子序列；以及
针对所述多个子序列中的子序列，通过注意力机制来获得实时识别结果。


2.根据权利要求1所述的方法，其中获得用于截断语音信号的特征序列的截断信息包括：
通过对所述特征序列进行连接时序分类(CTC)处理来获得与所述语音信号有关的尖峰信息；以及
基于所获得的所述尖峰信息，确定所述截断信息。


3.根据权利要求1所述的方法，其中通过注意力机制来获得实时识别结果包括：
对所述多个子序列中的第一子序列执行注意力模型的第一注意力建模，所述注意力模型能够实现加权特征选择；以及
对所述多个子序列中的第二子序列执行所述注意力模型的第二注意力建模，所述第一注意力建模不同于所述第二注意力建模。


4.根据权利要求2所述的方法，其中：
由共享编码器将所述语音信号编码成所述特征序列；
由连接时序分类(CTC)模块基于所述特征序列来获得所述尖峰信息；以及
由注意力解码器基于所述特征序列和所述尖峰信息来获得所述实时识别结果，所述共享编码器被所述连接时序分类(CTC)模块和所述注意力解码器共享。


5.根据权利要求4所述的方法，还包括：
确定用于训练所述连接时序分类(CTC)模块的第一损失函数；
确定用于训练所述注意力解码器的第二损失函数；以及
使用所述第一损失函数和所述第二损失函数来一起训练所述连接时序分类(CTC)模块和所述注意力解码器。


6.根据权利要求2所述的方法，其中将所述特征序列截断成多个子序列包括：
针对所述尖峰信息中的每个尖峰，选择所述特征序列中与每个尖峰相邻的预定数目个尖峰相对应的子序列，所述预定数目个尖峰包括每个尖峰之前的第一数目个尖峰和每个尖峰之后的第二数目个尖峰。


7.根据权利要求6所述的方法，其中通过注意力机制来获得实时识别结果包括：
基于所述特征序列中的多个重叠的子序列，通过第一级注意力机制分别确定多个特征向量；
基于所确定的所述多个特征向量，通过第二级注意力机制确定上下文特征向量；以及
基于所确定的所述上下文特征向量，确定所述实时识别结果。


8.根据权利要求6所述的方法，其中所述特征序列是隐含特征序列，并且每个尖峰指示一个音节或者一组音素。


9.一种基于截断注意力的实时语音识别的装置，包括：
截断信息获得模块，被配置为基于输入的语音信号，获得用于截断所述语音信号的特征序列的截断信息；
特征序列截断模块，被配置为基于所述截断信息，将所述特征序列截断成多个子序列；以及
识别结果获得模块，被配置为针对所述多个子序列中的子序列，通过注意力机制来获得实时识别结果。


10.根据权利要求9所述的装置，其中所述截断信息获得模块包括：
尖峰信息获...

【专利技术属性】
技术研发人员：付晓寅，白锦峰，陈志杰，梁鸣心，陈旭，贾磊，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11