普通话和粤语混合语音识别模型训练方法及系统技术方案

本发明专利技术公开一种普通话和粤语混合语音识别模型训练方法，包括：采用N种语言的混合语音训练样本对多任务模型进行训练，多任务模型包括多个共享网络层和与多个共享网络层中的最后一层连接的对应于N种语言的N个任务神经网络层；将多个共享网络层的网络参数迁移至待训练语音识别模型，以完成待训练语音识别模型的训练。本发明专利技术实施例首先采用多种语言的混合语音训练样本训练多任务模型，然后通过数据迁移的方式复用多任务模型的网络参数，基于普通话和粤语混合建模，训练普通话和粤语混合语音识别模型。能够解决普通话和粤语混合语音识别的问题，不需要对原来的识别服务进行大的修改，可以利用当前已有的成果，降低模型训练成本和服务开发成本。

【技术实现步骤摘要】
普通话和粤语混合语音识别模型训练方法及系统
本专利技术涉及语音识别
，尤其涉及普通话和粤语混合语音识别模型训练方法及系统。
技术介绍
随着移动终端设备及语音识别技术的不断发展，出现了一些普通话和方言混合语音识别方案。如讯飞语音输入法、百度语音输入法、搜狗输入法、阿里智能客服，它们均具有普通话和方言混合语音识别功能。现有解决方案均是基于深度学习框架的算法，根据各自的实际情况使用不同的声学建模单元，通过不同的声学训练流程和算法，支持同时识别多种语言。常见的解决方案有两种，一种是使用语种分类器判断语音属于哪种语言，然后再将语音输入相应的语音识别系统进行识别，如图1所示。但这种方法需要引入语种识别模块进行语种分类，这样，造成识别结果依赖于语种识别模块的分类性能，当语种识别模块、分类器不稳定时，会造成识别效果差。语音识别准确率是基于语种分类的准确率、语音识别系统准确率的累积确定的，因此，语音识别准确率低于单独的一个语音识别系统，这种方案难以在各种场景具有较强的鲁棒性。并且，服务器上需要部署多套语音识别系统，工程代价高。另一种方案是采用混合语音识别方法，将多种语言的建模单元混合在一起，然后将不同语言的音频数据和文本数据混合，复用常规的训练流程，进行混合语音识别；也可以将多种语言的字典、训练数据和语料文本混合，再复用常规的训练流程，进行混合语音识别。这种混合语音识别方法容易实现，工程代价比较低，但这种语音识别方法是将多种不同的语言的数据混合在一起训练，现实情况中很难做到各语言的训练数据是均衡的，并且不同的语言存在发音差异性，数据量不均衡或选取不合适，会造成不同语言的发音音素在训练集中分布不均衡，这样训练出的识别结果会偏向数据量大的语言，这样的混合语音识别系统的性能相比单独的各个语言的语音识别系统性能会下降很多，整体识别率难以做到将每种语言都很好地识别，ASR(AutomaticSpeechRecognition)性能损失较多。
技术实现思路
本专利技术实施例提供一种普通话和粤语混合语音识别模型训练方法及系统、普通话和粤语混合语音识别方法及系统，用于至少解决上述技术问题之一。第一方面，本专利技术实施例提供一种普通话和粤语混合语音识别模型训练方法，包括：采用N种语言的混合语音训练样本对多任务模型进行训练，所述多任务模型包括多个共享网络层和与所述多个共享网络层中的最后一层连接的对应于N种语言的N个任务神经网络层；将所述多个共享网络层的网络参数迁移至待训练语音识别模型，以完成所述待训练语音识别模型的训练。第二方面，本专利技术实施例提供一种普通话和粤语混合语音识别方法，包括：将普通话和方言混合语音输入至本专利技术实施例所述的普通话和粤语混合语音识别模型训练方法训练得到的语音识别模型，进行混合语音识别。第三方面，本专利技术实施例提供一种普通话和粤语混合语音识别模型训练系统，包括：多任务模型训练模块，用于采用N种语言的混合语音训练样本对多任务模型进行训练，所述多任务模型包括多个共享网络层和与所述多个共享网络层中的最后一层连接的对应于N种语言的N个任务神经网络层；语音识别模型训练模块，用于将所述多个共享网络层的网络参数迁移至待训练语音识别模型，以完成所述待训练语音识别模型的训练。第四方面，本专利技术实施例提供一种普通话和粤语混合语音识别系统，包括：语音识别模型，采用本专利技术实施例所述的普通话和粤语混合语音识别模型训练方法训练得到；语音输入模块，用于将普通话和粤语混合语音输入至所述语音识别模型，进行混合语音识别。第五方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术上述任一项普通话和粤语混合语音识别。第六方面，本专利技术实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本专利技术上述任一项普通话和粤语混合语音识别。本专利技术实施例的有益效果在于：首先采用多种语言的混合语音训练样本训练多任务模型，然后通过数据迁移的方式复用多任务模型的网络参数，基于普通话和粤语混合建模，训练普通话和粤语混合语音识别模型。能够解决普通话和粤语混合语音识别的问题，不需要对原来的识别服务进行大的修改，可以利用当前已有的成果，降低模型训练成本和服务开发成本。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为现有技术中使用语种分类器进行混合语音识别的方案示意图；图2为本专利技术的普通话和粤语混合语音识别模型训练方法的一实施例的流程图；图3为本专利技术的普通话和粤语混合语音识别模型训练系统的一实施例的原理框图；图4为本专利技术的普通话和粤语混合语音识别系统的一实施例的原理框图；图5为本专利技术的普通话和粤语混合语音识别模型训练方法的实施例的示意图；图6为本专利技术的普通话和粤语混合语音识别模型训练方法的另一实施例的示意图；图7为本专利技术的普通话和粤语混合语音识别方法的一实施例的流程图；图8为本专利技术的电子设备的一种实施例的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本专利技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本专利技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。在本专利技术中，“模块”、“装置”、“系统”等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数本文档来自技高网...

【技术保护点】
1.一种普通话和粤语混合语音识别模型训练方法，包括：/n采用N种语言的混合语音训练样本对多任务模型进行训练，所述多任务模型包括多个共享网络层和与所述多个共享网络层中的最后一层连接的对应于N种语言的N个任务神经网络层；/n将所述多个共享网络层的网络参数迁移至待训练语音识别模型，以完成所述待训练语音识别模型的训练。/n

【技术特征摘要】
1.一种普通话和粤语混合语音识别模型训练方法，包括：
采用N种语言的混合语音训练样本对多任务模型进行训练，所述多任务模型包括多个共享网络层和与所述多个共享网络层中的最后一层连接的对应于N种语言的N个任务神经网络层；
将所述多个共享网络层的网络参数迁移至待训练语音识别模型，以完成所述待训练语音识别模型的训练。


2.根据权利要求1所述的方法，其中，所述采用N种语言的混合语音训练样本对多任务模型进行训练包括：
基于对应于所述N个任务神经网络层的N个损失函数训练所述N个任务神经网络层的网络参数；
至少基于对应于所述N个任务神经网络层的N个损失函数共同训练所述多个共享网络层的网络参数。


3.根据权利要求2所述的方法，其中，所述多任务模型还包括与所述多个共享网络层中的最后一层连接的语言分类网络层；
所述至少基于对应于所述N个任务神经网络层的N个损失函数共同训练所述多个共享网络层的网络参数包括：
基于对应于所述N个任务神经网络层的N个损失函数和对应于所述语言分类网络层的损失函数共同训练所述多个共享网络层的网络参数。


4.根据权利要求3所述的方法，其中，基于对应于所述N个任务神经网络层的N个损失函数和对应于所述语言分类网络层的损失函数共同训练所述多个共享网络层的网络参数包括：
基于对应于所述N个任务神经网络层的N个损失函数和对应于所述语言分类网络层的损失函数的加权和训练所述多个共享网络层的网络参数。


5.一种普通话和粤语混合语音识别方法，包括：
将普通话和方言混合语音输入至权利要求1-4所述的方法训练得到的语音识别模型，进行混合语音识别。


6.一种普通话和粤语混合语音识别模型训练系统，包括：
多任务模型训练模块，用于采用N种语言的混合语音训练样本对多任务模型进行训练，所述多任务模型包括多个共享网络层和与所述多个共享网络层中的最后一层连接的对应于N种语言的N个任务神经网络层；...

【专利技术属性】
技术研发人员：朱森，钱彦旻，陆一帆，陈梦姣，
申请(专利权)人：苏州思必驰信息科技有限公司，
类型：发明
国别省市：江苏;32