一种声学模型的训练方法、装置以及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种声学模型的训练方法、装置以及计算机可读存储介质，包括获取带标注的声学训练数据；将所获取的声学训练数据作为云端声学模型的输入进行训练，得到第一声学后验概率；将云端声学模型中的模型参数信息更新至本地第一声学模型；基于声学训练数据和第一声学后验概率，对本地第一声学模型进行训练，得到目标第一声学模型；以所训练得到的目标第一声学模型为基础，利用模型压缩算法得到本地第二声学模型；基于声学训练数据和第一声学后验概率，对本地第二声学模型进行训练，得到目标第二声学模型。利用云端的计算资源来得到模型参数，并且通过模型参数移植和模型压缩算法来得到可应用于芯片端的本地声学模型，因而大大提高了训练效率。

【技术实现步骤摘要】
一种声学模型的训练方法、装置以及计算机可读存储介质
本专利技术涉及语音识别
，尤其涉及一种声学模型的训练方法、装置以及计算机可读存储介质。
技术介绍
语音识别是一种让机器通过识别和理解过程把语音信号转变为相应的文本或命令的人工智能技术。近年来，随着高质量的训练数据的增加，加上本地芯片计算能力不足，导致现如今依靠芯片来训练一个模型的效率变得十分低下。
技术实现思路
本专利技术实施例提供了一种声学模型的训练方法、装置以及计算机可读存储介质，具有高效地训练声学模型的效果。本专利技术一方面提供一种声学模型的训练方法，所述方法包括：获取带标注的声学训练数据；将所获取的声学训练数据作为云端声学模型的输入进行训练，得到第一声学后验概率；将所述云端声学模型中的模型参数信息更新至本地第一声学模型；基于所述声学训练数据和第一声学后验概率，对所述本地第一声学模型进行训练，得到目标第一声学模型；以所训练得到的目标第一声学模型为基础，利用模型压缩算法得到本地第二声学模型；基于所述声学训练数据和第一声学后验概率，对所述本地第二声学模型进行训练，得到目标第二声学模型。在一可实施方式中，所述带标注的声学训练数据包括相互对应的声学特征信息和文本信息。在一可实施方式中，所述云端声学模型、本地第一声学模型以及本地第二声学模型均为FSMN模型。在一可实施方式中，所述云端声学模型、本地第一声学模型以及本地第二声学模型均使用粗粒度并且不带音调的音节作为建模单元。在一可实施方式中，所述基于所述声学训练数据和第一声学后验概率，对所述本地第一声学模型进行训练，得到目标第一声学模型，包括：将所述声学训练数据作为所述本地第一声学模型的输入进行训练，得到第二声学后验概率；基于所述第一声学后验概率和第二声学后验概率，更新所述本地第一声学模型中的参数信息，得到目标第一声学模型。在一可实施方式中，所述基于所述声学训练数据和第一声学后验概率，对所述本地第二声学模型进行训练，得到目标第二声学模型，包括：将所述声学训练数据作为所述本地第二声学模型的输入进行训练，得到第三声学后验概率；基于所述第一声学后验概率和第三声学后验概率，更新所述本地第二声学模型中的参数信息；利用序列建模模型训练准则进一步更新所述本地第二声学模型的参数信息，得到目标第二声学模型。在一可实施方式中，在对所述本地第二声学模型训练的过程中，所述方法还包括：利用语音端点检测技术去除所述声学训练数据中的长静音部分。本专利技术另一方面提供一种声学模型的训练装置，所述装置包括：训练数据获取模块，用于获取带标注的声学训练数据；声学后验概率生成模块，用于将所获取的声学训练数据作为云端声学模型的输入，得到第一声学后验概率；参数更新模块，用于将所述云端声学模型中的模型参数信息更新至本地第一声学模型；第一训练模块，用于基于所述声学训练数据和第一声学后验概率，对所述本地第一声学模型进行训练，得到目标第一声学模型；模型生成模块，用于以所训练得到的目标第一声学模型为基础，利用模型压缩算法得到本地第二声学模型；第二训练模块，用于基于所述声学训练数据和第一声学后验概率，对所述本地第二声学模型进行训练，得到目标第二声学模型。在一可实施方式中，所述第一训练模块具体用于：将所述声学训练数据作为所述本地第一声学模型的输入进行训练，得到第二声学后验概率；基于所述第一声学后验概率和第二声学后验概率，更新所述本地第一声学模型中的参数信息，得到目标第一声学模型。本专利技术另一方面提供一种计算机可读存储介质，所述存储介质包括一组计算机可执行指令，当所述指令被执行时用于执行一种声学模型的训练方法。在本专利技术实施例中，利用云端的计算资源来得到模型参数，并且通过模型参数移植和模型压缩算法来得到可应用于芯片端的本地本地的声学模型，相比较于在芯片端训练声学模型而言，本方案大大提高了训练效率，并且还可以应用于其他神经网络模型。附图说明通过参考附图阅读下文的详细描述，本专利技术示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本专利技术的若干实施方式，其中：在附图中，相同或对应的标号表示相同或对应的部分。图1为本专利技术实施例一种声学模型的训练方法的实现流程示意图；图2为本专利技术实施例一种声学模型的训练装置的结构组成示意图。具体实施方式为使本专利技术的目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而非全部实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例一种声学模型的训练方法的实现流程示意图；如图1所示，本专利技术一方面提供一种声学模型的训练方法，方法包括：步骤101，获取带标注的声学训练数据；步骤102，将所获取的声学训练数据作为云端声学模型的输入进行训练，得到第一声学后验概率；步骤103，将云端声学模型中的模型参数信息更新至本地第一声学模型；步骤104，基于声学训练数据和第一声学后验概率，对本地第一声学模型进行训练，得到目标第一声学模型；步骤105，以所训练得到的目标第一声学模型为基础，利用模型压缩算法得到本地第二声学模型；步骤106，基于声学训练数据和第一声学后验概率，对本地第二声学模型进行训练，得到目标第二声学模型。本实施例中，在步骤101中，声学训练数据具体为由特征提取模块提取的特征向量，获取方式可以是利用爬虫技术从线上获取，也可以从本地语料库中直接获取。在步骤102中，云端声学模型放置于云端中，一般为训练成熟的模型，具有强大并且高效的计算能力，能快速地训练大量的训练数据，得到对应的第一声学后验概率。在步骤103中，模型参数信息为模型中的变化信息参数，包括权重参数、卷积核参数等。此步骤目的在于将本地第一声学模型中的模型参数信息与云端声学模型中的模型参数一致，可通过迁移学习方法进行参数移植操作。结合步骤102，省去了在本地端进行数据训练的过程，提高了训练效率。步骤104中，本地第一声学模型中的“本地”可以是服务器，也可以是计算机等终端设备。步骤105中，利用模型压缩算法将本地第一声学模型进行模型压缩，得到本地第二声学模型，以在保证模型预测效果的前提下，从中减少了模型参数，尽可能地降低模型的大小，使本地第二声学模型能够应用于芯片端；步骤106中，再利用训练数据和第一声学后验概率，进一步对本地第二声学模型进行训练，以再次调整本地第二声学模型中的模型参数，得到目标第二声学模型。由此，利用云端的计算资源来得到模型参数，并且通过模型参数移植和模型压缩算法来得到可应用于芯片端的本地声学模型，相比较于在芯片端训练声学模型而言，本方案大大提高了训练效率，并且还可以应用于其他神经网络模型。在一可实施方式中本文档来自技高网...

【技术保护点】
1.一种声学模型的训练方法，其特征在于，所述方法包括：/n获取带标注的声学训练数据；/n将所获取的声学训练数据作为云端声学模型的输入进行训练，得到第一声学后验概率；/n将所述云端声学模型中的模型参数信息更新至本地第一声学模型；/n基于所述声学训练数据和第一声学后验概率，对所述本地第一声学模型进行训练，得到目标第一声学模型；/n以所训练得到的目标第一声学模型为基础，利用模型压缩算法得到本地第二声学模型；/n基于所述声学训练数据和第一声学后验概率，对所述本地第二声学模型进行训练，得到目标第二声学模型。/n

【技术特征摘要】
1.一种声学模型的训练方法，其特征在于，所述方法包括：
获取带标注的声学训练数据；
将所获取的声学训练数据作为云端声学模型的输入进行训练，得到第一声学后验概率；
将所述云端声学模型中的模型参数信息更新至本地第一声学模型；
基于所述声学训练数据和第一声学后验概率，对所述本地第一声学模型进行训练，得到目标第一声学模型；
以所训练得到的目标第一声学模型为基础，利用模型压缩算法得到本地第二声学模型；
基于所述声学训练数据和第一声学后验概率，对所述本地第二声学模型进行训练，得到目标第二声学模型。


2.根据权利要求1所述的方法，其特征在于，所述带标注的声学训练数据包括相互对应的声学特征信息和文本信息。


3.根据权利要求1所述的方法，其特征在于，所述云端声学模型、本地第一声学模型以及本地第二声学模型均为FSMN模型。


4.根据权利要求1所述的方法，其特征在于，所述云端声学模型、本地第一声学模型以及本地第二声学模型均使用粗粒度并且不带音调的音节作为建模单元。


5.根据权利要求1所述的方法，其特征在于，所述基于所述声学训练数据和第一声学后验概率，对所述本地第一声学模型进行训练，得到目标第一声学模型，包括：
将所述声学训练数据作为所述本地第一声学模型的输入进行训练，得到第二声学后验概率；
基于所述第一声学后验概率和第二声学后验概率，更新所述本地第一声学模型中的参数信息，得到目标第一声学模型。


6.根据权利要求1所述的方法，其特征在于，所述基于所述声学训练数据和第一声学后验概率，对所述本地第二声学模型进行训练，得到目标第二声学模型，包括：
将所述声学训练数据作为所述本地第二声学模...

【专利技术属性】
技术研发人员：薛峰，
申请(专利权)人：苏州思必驰信息科技有限公司，
类型：发明
国别省市：江苏;32