语音识别模型的数据集清洗方法技术

本发明专利技术公开了一种语音识别模型的数据集清洗方法。现有方法工作量大且效率低。本发明专利技术方法首先进行数据集初步清洗和前处理，去除无用数据和提高音频质量操作，然后将处理后音频文件通过网络同步上传至多个云端ASR平台进行内容识别，取得每个音频文件的识别结果文本，将每个音频文件的识别结果文本与该音频文件对应的标注文件进行内容比对，如比对一致，则保留该音频文件及对应的标注文件，否则剔除。比对正确的音频文件及对应的标注文件移到清洗正确目录下，完成清洗。本发明专利技术方法音频数据清洗过程中无需人员参与，可多个任务同时进行，效率得到提高。效率得到提高。

【技术实现步骤摘要】
语音识别模型的数据集清洗方法


[0001]本专利技术属于人工智能
，具体涉及一种语音识别模型的数据集清洗方法。

技术介绍

[0002]近年来人工智能相关技术发展迅速，这其中人工智能语音识别技术作为人机交流接口的关键技术，正在改变我们人机的交互方式，因此该技术也迅速成为人工智能领域的焦点。
[0003]目前人工智能语音识别技术已运用在越来越多的电子产品中，其中语音识别算法的性能是决定该算法能否实用化的关键因素。而语音识别算法性能的好坏，很大一部分是由语音识别算法的训练数据集决定，语音识别算法的性能的量化报告则是由语音识别算法测试数据集决定，由此可知在整个语音识别项目中，语音识别算法数据集起到的作用很大。因此我们对语音识别算法数据集质量要求很高,但无论购买还是网上下载的方式获取语音识别算法数据集质量不可能百分百完美，总会有标注质量或者音频质量不合格导致语音识别算法数据集质量低，因语音识别算法数据集的质量要求非常高，导致在语音识别项目前期中都会引入一个非常关键步骤，这个步骤就是语音识别算法数据集清洗，但是传统的测试方式有如下问题：
[0004](1)语音识别算法数据集往往是海量的，特别是语音识别算法的训练集数量特别庞大，通过传统人查看标注内容再人耳听音频内容，最后比对是否一致，音频质量是否合格，这种方式工作量大且效率极低。
[0005](2)长时间听音频，清洗人员身心健康也是不小的伤害。
[0006](3)因海量的数据需要人工清洗那就需要大量的人力投入，对公司经济是个不小的开销。/>
技术实现思路

[0007]本专利技术的本专利技术的目的就是针对传统语音算法数据集清洗方法的不足，提供一种语音识别模型的数据集清洗方法。
[0008]因当前不管那种方式获取的语音识别算法数据集质量不可能百分百完美，均会有如下问题：
[0009](1)语音识别算法数据集音频有，内容空、内容缺失、音频信噪比过高、异常噪声、语言错误问题；
[0010](2)语音识别算法数据集音频标注有，内容为空，内容错误、内容缺失、语言错误问题。
[0011]上述问题都是影响语音算法识别数据集质量的问题，特别是语音识别算法的模型训练时候，假如使用的是错误的或者说质量不高的音频数据集，可想而知训练出来的语音识别算法模型肯定是有问题的，导致该语音识别算法模型无法使用。鉴于此，本专利技术提出的语音识别算法数据集清洗方法具体如下：
[0012]步骤(1)数据集初步清洗，数据集中包括多个音频文件和对应的标注文件，剔除音频文件和标注文件中大小为0字节的空文件。
[0013]步骤(2)数据集前处理；针对海量的语音识别音频数据集，其中会有些是无用的音频数据，标注也编码各异，将全部语音识别音频数据进行如下处理：
[0014](2
‑
1)利用VAD(Voice Activity Detection)算法检测每个音频文件是否全为静音，剔除纯静音的内容为空的文件；VAD语音活动检测又称语音端点检测，语音边界检测，目的是从声音信号流里识别长时间的静音期；
[0015](2
‑
2)利用VAD(Voice Activity Detection)算法检测每个音频文件的头部和尾部是否有静音部分，剔除头尾静音部分；
[0016](2
‑
3)因为数据集来源各不相同，有些音频幅度信号很弱，会导致后面ASR(Automatic Speech Recognition，是一种将人的语音转换为文本的自动语音识别技术)部分很难识别；将数据集中每个音频文件的语音音频幅度进行归一化处理，通过提高幅度来提高识别率；
[0017](2
‑
4)多个标注文件可能是在不同的操作系统上创建，导致操作标注文件的时候出现问题，将数据集中每个标注文件的字符编码进行归一化处理，统一将字符编码修改为当前清洗主机电脑可识别的字符编码。
[0018]步骤(3)云端ASR识别数据集；将经过初步清洗和前处理后数据集中的音频文件通过网络同步上传至多个云端ASR平台，进行内容识别，取得每个音频文件的识别结果文本；云端ASR平台可以是百度、科大讯飞、云知声、阿里、腾讯的云端ASR服务等。通过多个云端ASR平台进行内容识别是为了提高识别准确性，降低误识别的概率。
[0019]步骤(4)数据集识别结果比对及清洗；将每个音频文件的识别结果文本与该音频文件对应的标注文件进行内容比对，如比对一致，则保留该音频文件及对应的标注文件，否则剔除；对于一个音频文件，查询每个云端ASR平台返回的结果构成的识别结果文本，进行如下处理：
[0020](4
‑
1)如果多个云端ASR平台返回的结果构成的识别结果文本存在空文本，则直接判断为比对不一致，直接剔除该音频文件及对应的标注文件，移动到一个识别失败的目录下，用于管理清洗失败的文件，这类文件大多是没有人声内容、信噪比太小或为负、幅度过大被截幅的不合格无法识别文件；
[0021](4
‑
2)如果多个云端ASR平台返回的结果构成的识别结果文本均有内容，则将每个云端ASR平台对应的识别结果文本与该音频文件对应的标注文件进行内容比对，比对策略按顺序为：首先查找对应的标注文件和识别结果文件中的内容中的阿拉伯数字字符，将阿拉伯数字字符转换成中文字符；然后查找数字转换后的对应的标注文件和识别结果文件中的内容中的中文字符，将中文字符转换拼音字符，防止识别结果和标注内容是同音字；再将中文转换后的对应的标注文件和识别结果文件中的所有大写字母转换为小写；最后比对大小写转换后的对应的标注文件和识别结果文件的内容，如果所有识别结果文本与对应的标注文件内容均一致，保留原始该音频文件及对应的原始标注文件，否则剔除该音频文件及对应的标注文件。
[0022]步骤(5)比对正确的音频文件及对应的标注文件移到清洗正确目录下，该目录即是存储音频文件和对应标注文件内容完全一致的数据。
[0023]本专利技术方法音频数据清洗过程中无需人员参与，可以根据主机情况多个任务同时进行，效率极大提高。本专利技术方法去除了传统人查看标注内容再人耳听音频内容，查看标注和音频内容是否一致来清洗数据的方法，较少人员投入的经济负担和长时间听音频对健康造成的负担。
具体实施方式
[0024]以一个音频文件A.wav为例，A.wav实际内容是“连接Wifi1”，A.wav对应的标注文件名称为A.lab，标注内容也是“连接Wifi1”。对含有A.wav文件和A.lab文件的数据集进行清洗，具体方法如下：
[0025]步骤(1)数据集初步清洗，检测A.wav文件和A.lab文件大小是否为0字节，如果是则删除，否则进行下一步；
[0026]步骤(2)数据集前处理：
[0027]①
利用VAD算法检测A.wav文件是否全为静音，如果是则剔除；
[0028]②
利用VAD算法检测A.wav文件的头部和尾部是否有静音部本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.语音识别模型的数据集清洗方法，其特征在于，该方法具体如下：步骤(1)数据集初步清洗，所述数据集中包括多个音频文件和对应的标注文件，剔除音频文件和标注文件中大小为0字节的空文件；步骤(2)将数据集全部语音识别音频数据进行如下处理：(2
‑
1)检测每个音频文件是否全为静音，剔除纯静音的内容为空的文件；(2
‑
2)检测每个音频文件的头部和尾部是否有静音部分，剔除头尾静音部分；(2
‑
3)将数据集中每个音频文件的语音音频幅度进行归一化处理；(2
‑
4)将数据集中每个标注文件的字符编码进行归一化处理，统一将字符编码修改为当前清洗主机电脑可识别的字符编码；步骤(3)云端ASR识别数据集；将处理后数据集中的音频文件通过网络同步上传至多个云端ASR平台，进行内容识别，取得每个音频文件的识别结果文本；步骤(4)数据集识别结果比对及清洗；对于一个音频文件，查询每个云端ASR平台返回的结果构成的识别结果文本，进行如下处理：(4
‑
1)如果多个云端A...

【专利技术属性】
技术研发人员：刘述琨，江增强，赵波凯，
申请(专利权)人：杭州国芯科技股份有限公司，
类型：发明
国别省市：