本发明专利技术提供了一种低质数据的自动化合成方法、装置及电子设备，涉及语音技术领域，包括获取低质音频数据；对所述低质音频数据进行噪音分离，得到发音数据和噪音数据；基于所述噪音数据去除所述发音数据的背景噪音，得到去除背景噪音的发音数据；对所述发音数据进行语音识别，得到所述发音数据的文本信息；输入所述文本信息至预先训练的声学模型，得到合成的音频数据。本申请具有在保证全自动化的情形下对收集到的低质量音频数据进行语音合成任务的功能。功能。功能。
【技术实现步骤摘要】
一种低质数据的自动化合成方法、装置及电子设备
[0001]本专利技术涉及语音
，尤其涉及一种低质数据的自动化合成方法、装置及电子设备。
技术介绍
[0002]自动化低质数据语音合成系统是指，在保证全自动化的情形下，能对收集到的低质量音频数据进行语音合成任务的系统。
[0003]低质音频数据质量较低，主要有三个问题：噪音；无语音标注文本(即这段音频的文字内容)；混有大量无关音色音频。其中无语音标注文本的音频，通常需要由ASR系统对音频进行识别产出识别文本，但一般情况下ASR系统识别的准确率不会是100％，甚至会很低，造成合成系统的结果出现大量坏例。因此，通常情况下需要人工介入，人工标注出正确文本，然后再进行语音合成任务。
[0004]因此，提出一种低质数据的自动化合成方法、装置及电子设备。
技术实现思路
[0005]本说明书提供一种低质数据的自动化合成方法、装置及电子设备，可实现在保证全自动化的情形下对收集到的低质量音频数据进行语音合成任务的功能。
[0006]本申请提供的一种低质数据的自动化合成方法采用如下的技术方案，包括：
[0007]获取低质音频数据；
[0008]对所述低质音频数据进行噪音分离，得到发音数据和噪音数据；
[0009]基于所述噪音数据去除所述发音数据的背景噪音，得到去除背景噪音的发音数据；
[0010]对所述发音数据进行语音识别，得到所述发音数据的文本信息；
[0011]输入所述文本信息至预先训练的声学模型，得到合成的音频数据。
[0012]可选的，所述声学模型的训练方法包括：
[0013]构建声学模型，并获取多个样本低质音频数据；
[0014]对所述样本低质音频数据分别进行噪音分离，得到相应的样本发音数据和样本噪音数据；
[0015]基于所述样本噪音数据去除所述样本发音数据的背景噪音，得到去除背景噪音的样本发音数据；
[0016]对所述样本发音数据分别进行语音识别，得到所述样本发音数据的样本文本信息；
[0017]根据所述样本发音数据和所述样本文本信息，对所述声学模型进行训练，得到训练完成的声学模型。
[0018]可选的，所述根据所述样本发音数据和所述样本文本信息，对所述声学模型进行训练，包括：
[0019]获取各个所述样本发音数据的声纹特征矢量；
[0020]根据所述声纹特征矢量对所述样本发音数据进行聚类；
[0021]选取聚类结果中数量最多的一类的所述样本发音数据和相对应的样本文本信息，对所述声学模型进行训练。
[0022]可选的，所述选取聚类结果中数量最多的一类的所述样本发音数据和相对应的样本文本信息，对所述声学模型进行训练，包括：
[0023]获取聚类结果中数量最多的一类的所述样本发音数据作为第一数据；
[0024]获取所述第一数据的信噪比，和所述第一数据对应的文本数据的置信度量；
[0025]根据所述信噪比和所述置信度量对所述第一数据进行筛选，得到第二数据；
[0026]通过所述第二数据和所述第二数据对应的文本信息，对所述声学模型进行训练。
[0027]可选的，所述根据所述信噪比和所述置信度量对所述第一数据进行筛选，得到第二数据，包括：
[0028]基于所述置信度量对所述第一数据进行升序/降序排名，得到与所述置信度量的升序/降序排名结果成正比的第一分数；
[0029]基于所述信噪比对所述第一数据进行升序/降序排名，得到与所述信噪比的升序/降序排名结果成正比的第二分数；
[0030]结合所述第一分数和所述第二分数对所述第一数据进行升序排名；
[0031]选取排名靠前的N个第一数据，作为第二数据。
[0032]可选的，所述根据所述样本发音数据和所述样本文本信息，对所述声学模型进行训练，得到训练完成的声学模型，包括：
[0033]获取高质音频数据和高质音频数据的高质文本信息；
[0034]将所述样本文本信息与所述高质文本信息输入所述声学模型，分别得到相对应的样本声学特征和高质声学特征；
[0035]将所述样本声学特征与相对应的样本发音数据进行对比，判断所述样本声学特征与相对应的样本发音数据是否相似；
[0036]将所述高质声学特征与相对应的高质音频数据进行对比，判断述高质声学特征与相对应的高质音频数据是否相似；
[0037]当所述样本声学特征与相对应的样本发音数据相似的数量符合第一预设条件，且所述高质声学特征与相对应的高质音频数据相似的数量符合第二预设条件，所述声学模型收敛，得到训练完成的声学模型。
[0038]可选的，所述将所述样本文本信息与所述高质文本信息输入所述声学模型，分别得到相对应的样本声学特征和高质声学特征，包括：
[0039]通过所述高质文本信息对所述样本文本信息进行修正、补充，得到修正、补充的样本文本数据，其中，修正、补充后的所述样本文本信息与所述高质文本信息具有相同的分布。
[0040]本申请提供的一种低质数据的自动化合成装置采用如下的技术方案，包括：
[0041]获取模块，用于获取低质音频数据；
[0042]分离模块，用于对所述低质音频数据进行噪音分离，得到发音数据和噪音数据；
[0043]去噪模块，用于基于所述噪音数据去除所述发音数据的背景噪音，得到去除背景
噪音的发音数据；
[0044]语音识别模块，用于对所述发音数据进行语音识别，得到所述发音数据的文本信息；
[0045]合成模块，用于输入所述文本信息至预先训练的声学模型，得到合成的音频数据。
[0046]可选的，所述合成模块的声学模型包括：
[0047]获取子模块，用于构建声学模型，并获取多个样本低质音频数据；
[0048]分离子模块，用于对所述样本低质音频数据分别进行噪音分离，得到相应的样本发音数据和样本噪音数据；
[0049]去噪子模块，用于基于所述样本噪音数据去除所述样本发音数据的背景噪音，得到去除背景噪音的样本发音数据；
[0050]语音识别子模块，用于对所述样本发音数据分别进行语音识别，得到所述样本发音数据的样本文本信息；
[0051]合成子模块，用于根据所述样本发音数据和所述样本文本信息，对所述声学模型进行训练，得到训练完成的声学模型。
[0052]可选的，所述合成子模块包括：
[0053]第一获取单元，用于获取各个所述样本发音数据的声纹特征矢量；
[0054]聚类单元，用于根据所述声纹特征矢量对所述样本发音数据进行聚类；
[0055]选取单元，用于选取聚类结果中数量最多的一类的所述样本发音数据和相对应的样本文本信息，对所述声学模型进行训练。
[0056]可选的，所述选取单元，用于获取聚类结果中数量最多的一类的所述样本发音数据作为第一数据；获取所述第一数据的信噪比，和所述第一数据对应的文本数据本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种低质数据的自动化合成方法，其特征在于，包括：获取低质音频数据；对所述低质音频数据进行噪音分离，得到发音数据和噪音数据；基于所述噪音数据去除所述发音数据的背景噪音，得到去除背景噪音的发音数据；对所述发音数据进行语音识别，得到所述发音数据的文本信息；输入所述文本信息至预先训练的声学模型，得到合成的音频数据。2.如权利要求1所述的方法，其特征在于，所述声学模型的训练方法包括：构建声学模型，并获取多个样本低质音频数据；对所述样本低质音频数据分别进行噪音分离，得到相应的样本发音数据和样本噪音数据；基于所述样本噪音数据去除所述样本发音数据的背景噪音，得到去除背景噪音的样本发音数据；对所述样本发音数据分别进行语音识别，得到所述样本发音数据的样本文本信息；根据所述样本发音数据和所述样本文本信息，对所述声学模型进行训练，得到训练完成的声学模型。3.如权利要求1
‑
2所述的方法，其特征在于，所述根据所述样本发音数据和所述样本文本信息，对所述声学模型进行训练，包括：获取各个所述样本发音数据的声纹特征矢量；根据所述声纹特征矢量对所述样本发音数据进行聚类；选取聚类结果中数量最多的一类的所述样本发音数据和相对应的样本文本信息，对所述声学模型进行训练。4.如权利要求1
‑
3所述的方法，其特征在于，所述选取聚类结果中数量最多的一类的所述样本发音数据和相对应的样本文本信息，对所述声学模型进行训练，包括：获取聚类结果中数量最多的一类的所述样本发音数据作为第一数据；获取所述第一数据的信噪比，和所述第一数据对应的文本数据的置信度量；根据所述信噪比和所述置信度量对所述第一数据进行筛选，得到第二数据；通过所述第二数据和所述第二数据对应的文本信息，对所述声学模型进行训练。5.如权利要求1
‑
4所述的方法，其特征在于，所述根据所述信噪比和所述置信度量对所述第一数据进行筛选，得到第二数据，包括：基于所述置信度量对所述第一数据进行升序/降序排名，得到与所述置信度量的升序/降序排名结果成正比的第一分数；基于所述信噪比对所述第一数据进行升序/降序排名，得到与所述信噪比的升序/降序排名结果成正比的第二分数；结合所述第一分数和所述...
【专利技术属性】
技术研发人员：马达标，李晴覃，
申请(专利权)人：上海淇玥信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。