语音标注质量确定方法、装置、设备及计算机可读介质制造方法及图纸

本申请涉及一种语音标注质量确定方法、装置、设备及计算机可读介质。所述方法包括将目标音频文件输入预设的语音识别模型中，得到预识别文本及所述预识别文本的贝叶斯风险值；获取标注员对所述预识别文本在标注过程中的标注过程信息及所述标注员在标注历史标注文本时的历史标注信息；基于所述贝叶斯风险值、所述标注过程信息及历史标注信息确定所述标注员对所述预识别文本进行标注的得到的标注文本的文本可信度；根据所述文本可信度确定所述标注文本的标注质量。本申请能够实现辅助验收员关注更可能出错的标注文本，进而提升整个语音数据标注质检的效率。

Method, device, equipment and computer readable medium for determining the quality of voice labeling

【技术实现步骤摘要】
语音标注质量确定方法、装置、设备及计算机可读介质
本申请涉及计算机
，尤其涉及一种语音标注质量确定方法、装置、设备及计算机可读介质。
技术介绍
目前，随着人工智能技术的突破，语音作为人机交互的重要环节，地位也越来越突出。但由于不同地域相应的语音差异性也较大，因此，为了建立一个有效的声学模型，需要对海量语音数据进行标注。目前，语音数据获取常采用人工进行标注，再通过质检对标注数据进行合格验收。不同标注员标注数据的质量会存在参差不齐的情况，需要质检人员对数据质量再次把关，质检验收后获取的数据越精准，对声学模型训练的效果越好。质检验收常采用随机抽取标注员数据的方法，该方法随机性比较强，会存在漏掉质量差的标注数据。
技术实现思路
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种语音标注质量确定方法、装置、设备及计算机可读介质。第一方面，本申请提供了一种语音标注质量确定方法，包括：将目标音频文件输入预设的语音识别模型中，得到预识别文本及所述预识别文本的贝叶斯风险值；获取标注员对所述预识别文本在标注过程中的标注过程信息及所述标注员在标注历史标注文本时的历史标注信息；基于所述贝叶斯风险值、所述标注过程信息及历史标注信息确定所述标注员对所述预识别文本进行标注的得到的标注文本的文本可信度；根据所述文本可信度确定所述标注文本的标注质量。可选地，所述基于所述贝叶斯风险值、所述标注过程信息及历史标注信息确定所述标注员对所述预识别文本进行标注的得到的标注文本的文本可信度，包括：若所述贝叶斯风险值超过预设风险阈值、根据所述历史标注信息确定的所述标注员的历史标注质量低于预设标注质量阈值且根据所述标注过程信息确定所述标注员对所述预识别文本的修改量小于预设修改阈值，则确定所述文本可信度低。可选地，所述历史标注质量根据所述标注员的认真度和准确度确定；根据所述历史标注记录确定所述标注员的历史标注质量是否低于预设标注质量阈值，包括：根据所述历史标注信息确定所述标注员的历史标注质量是否低于预设标注质量阈值，包括：根据所述历史标注信息确定所述标注员的认真度和准确度；将所述历史标注质量与预设标注质量阈值比较；若所述历史标注质量小于所述预设标注质量阈值，确定所述标注员的历史标注质量低于预设标注质量阈值；否则，确定所述标注员的历史标注质量大于预设标注质量阈值。可选地，所述历史标注质量根据所述标注员的准确度和标注时长确定；根据所述历史标注信息确定所述标注员的历史标注质量是否低于预设标注质量阈值，包括：根据所述历史标注信息确定所述标注员的认真度和准确度；基于所述认真度、预设认真度权重系数、准确度及预设准确度权重系数计算所述标注员的历史标注质量；将所述历史标注质量与预设标注质量阈值比较；若所述历史标注质量小于所述预设标注质量阈值，确定所述标注员的历史标注质量低于预设标注质量阈值；否则，确定所述标注员的历史标注质量大于预设标注质量阈值。可选地，所述方法还包括：获取所述目标音频文件的文件信息；在多个标注团队中，查找与所述文件信息匹配的标注团队；基于所述标注团队中多个标注员的历史标注信息，确定对所述目标音频文件进行语音识别标注的标注员。可选地，所述根据所述文本可信度确定所述标注文本的标注质量，包括：若所述文本可信度大于所述预设可信度阈值，确定所述标注文本的标注质量合格；若所述文本可信度小于所述预设可信度阈值，确定所述标注文本的标注质量不合格，待进一步校验。第二方面，本申请还提供了一种语音标注质量确定装置，包括：输入模块，用于将目标音频文件输入预设的语音识别模型中，得到预识别文本及所述预识别文本的贝叶斯风险值；第一获取模块，用于获取标注员对所述预识别文本在标注过程中的标注过程信息及所述标注员在标注历史标注文本时的历史标注信息；第一确定模块，用于基于所述贝叶斯风险值、所述标注过程信息及历史标注信息确定所述标注员对所述预识别文本进行标注的得到的标注文本的文本可信度；第二确定模块，用于根据所述文本可信度确定所述标注文本的标注质量。可选地，所述第一确定模块，还用于：若所述贝叶斯风险值超过预设风险阈值、根据所述历史标注信息确定的所述标注员的历史标注质量低于预设标注质量阈值且根据所述标注过程信息确定所述标注员对所述预识别文本的修改量小于预设修改阈值，则确定所述文本可信度低。第三方面，本申请还提供了一种语音标注设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。第四方面，本申请还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行所述第一方面所述的方法。本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请通过首先将目标音频文件输入预设的语音识别模型中，得到预识别文本及所述预识别文本的贝叶斯风险值，然后获取标注员对所述预识别文本在标注过程中的标注过程信息及所述标注员在标注历史标注文本时的历史标注信息，再基于所述贝叶斯风险值、所述标注过程信息及历史标注信息确定所述标注员对所述预识别文本进行标注的得到的标注文本的文本可信度，最后可以根据所述文本可信度确定所述标注文本的标注质量，实现辅助验收员关注更可能出错的标注文本，进而提升整个语音数据标注质检的效率。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种语音标注质量确定方法的一种流程图；图2为本申请实施例提供的一种语音标注质量确定方法的另一种流程图；图3为本申请实施例提供的一种语音标注质量确定装置的结构图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。由于目前语音数据获取常采用人工进行标注，再通过质检对标注数据进行合格验收。不同标注员标注数据的质量会存在参差不齐的情况，需要质检人员对数据质量再次把关，质检验收后获取的数据越精准，对声学模型训练的效果越好。质检验收常采用随机抽取标注员数据的方法，该方法随机性比较强，会存在漏掉质量差的标注数据。为此，本专利技术实施例提供一种语音标注质量确定方法，如图1所示，所述方法可以包括以下步骤：步骤S101，将目标音频文件输入预设的语音识别模型中，得到预识别文本及所述预识别文本的贝叶斯风险值；在本申请实施例中，可以预先获取用于训练语音识别模型的音频文件，提取音频文件中常用的语音特征，以对音频文件进行语音识别得到的正确文本作为模型输出，通过最小化预测文本和正确文本之间错误率，对模型参数进行调整和训练，得到训练好的语音识别模型，本申请实施例中的语音识别模型可以指：深本文档来自技高网...

【技术保护点】
1.一种语音标注质量确定方法，其特征在于，包括：将目标音频文件输入预设的语音识别模型中，得到预识别文本及所述预识别文本的贝叶斯风险值；获取标注员对所述预识别文本在标注过程中的标注过程信息及所述标注员在标注历史标注文本时的历史标注信息；基于所述贝叶斯风险值、所述标注过程信息及历史标注信息确定所述标注员对所述预识别文本进行标注的得到的标注文本的文本可信度；根据所述文本可信度确定所述标注文本的标注质量。

【技术特征摘要】
2019.04.17 CN 20191030673261.一种语音标注质量确定方法，其特征在于，包括：将目标音频文件输入预设的语音识别模型中，得到预识别文本及所述预识别文本的贝叶斯风险值；获取标注员对所述预识别文本在标注过程中的标注过程信息及所述标注员在标注历史标注文本时的历史标注信息；基于所述贝叶斯风险值、所述标注过程信息及历史标注信息确定所述标注员对所述预识别文本进行标注的得到的标注文本的文本可信度；根据所述文本可信度确定所述标注文本的标注质量。2.根据权利要求1所述的语音标注质量确定方法，其特征在于，所述基于所述贝叶斯风险值、所述标注过程信息及历史标注信息确定所述标注员对所述预识别文本进行标注的得到的标注文本的文本可信度，包括：若所述贝叶斯风险值超过预设风险阈值、根据所述历史标注信息确定的所述标注员的历史标注质量低于预设标注质量阈值且根据所述标注过程信息确定所述标注员对所述预识别文本的修改量小于预设修改阈值，则确定所述文本可信度低。3.根据权利要求2所述的语音标注质量确定方法，其特征在于，所述历史标注质量根据所述标注员的认真度和准确度确定；根据所述历史标注信息确定所述标注员的历史标注质量是否低于预设标注质量阈值，包括：根据所述历史标注信息确定所述标注员的认真度和准确度；基于所述认真度、预设认真度权重系数、准确度及预设准确度权重系数计算所述标注员的历史标注质量；将所述历史标注质量与预设标注质量阈值比较；若所述历史标注质量小于所述预设标注质量阈值，确定所述标注员的历史标注质量低于预设标注质量阈值；否则，确定所述标注员的历史标注质量大于预设标注质量阈值。4.根据权利要求2所述的语音标注质量确定方法，其特征在于，所述历史标注质量根据所述标注员的准确度和标注时长确定；根据所述历史标注信息确定所述标注员的历史标注质量是否低于预设标注质量阈值，包括：根据所述历史标注信息确定所述标注员的认真度和准确度；基于所述认真度、预设认真度权重系数、准确度及预设准确度权重系数计算所述标注员的历史标注质量；将所述历史...

【专利技术属性】
技术研发人员：张晴晴，何淑琳，刘天宇，杨金富，罗磊，马光谦，汪洋，
申请(专利权)人：北京爱数智慧科技有限公司，
类型：发明
国别省市：北京,11