评价时间戳准确性的方法、装置、电子设备和存储介质制造方法及图纸

本申请涉及一种评价时间戳准确性的方法、装置、电子设备和存储介质，该方法包括：获取音频对应的识别文本结果以及音频对应的标注文本；匹配识别文本结果以及标注文本确定匹配字数；根据匹配字数和识别文本结果确定准确率；根据匹配字数和标注文本确定召回率；根据准确率和所述召回率确定F1

【技术实现步骤摘要】
评价时间戳准确性的方法、装置、电子设备和存储介质


[0001]本申请涉及时间戳评价
，特别是涉及一种评价时间戳准确性的方法、装置、电子设备和存储介质。

技术介绍

[0002]如语音端点检测任务中，只需要给出一句话的起始点和结束点，并可以允许有一些误差(如100ms，这对用户体验并没有很大影响)。但是在听写应用中，ASR需要给出更小颗粒度上的时间戳(如字级别)，这样才能在回听中有较好的用户体验。对于片段级别的时间戳，我们可以使用帧准、召回率和准确率等指标来评估，而对于字级别的时间戳，主要是通过主观感受来评判，尚没有一个客观好用的评价指标和方法。这会导致识别引擎给出的时间戳可能会有比较大的偏差，影响用户体验。

技术实现思路

[0003]基于上述问题，本申请提供一种评价时间戳准确性的方法、电子设备和存储介质。
[0004]第一方面，本申请实施例提供一种评价时间戳准确性的方法，包括：
[0005]获取音频对应的识别文本结果以及音频对应的标注文本；
[0006]匹配识别文本结果以及标注文本确定匹配字数；
[0007]根据匹配字数和识别文本结果确定准确率；
[0008]根据匹配字数和标注文本确定召回率；
[0009]根据准确率和所述召回率确定F1
‑
score，F1
‑
score用于评价时间戳的准确性。
[0010]进一步地，上述一种评价时间戳准确性的方法，还包括：
[0011]获取音频对应的识别文本结果以及音频对应的标注文本；
[0012]计算识别文本结果和标注文本中字级别的匹配程度；
[0013]根据字级别的匹配程度确定时间戳的准确性。
[0014]进一步地，上述一种评价时间戳准确性的方法，还包括：
[0015]获取音频对应的识别文本结果以及音频对应的标注文本；
[0016]计算识别文本结果和标注文本中字级别的匹配偏差；
[0017]根据字级别的匹配偏差确定时间戳的准确性。
[0018]进一步地，上述一种评价时间戳准确性的方法，还包括：
[0019]根据准确率和召回率确定F1
‑
score，包括：
[0020]根据准确率和召回率的调和平均数确定F1
‑
score。
[0021]进一步地，上述一种评价时间戳准确性的方法中，计算识别文本结果和标注文本中字级别的匹配程度，包括：
[0022]确定识别文本结果中每个字的开始时间点和结束时间点得到第一区间；
[0023]确定标注文本中每个字的开始时间点和结束时间点得到第二区间；
[0024]通过交并比计算第一区间和第二区间的交叠率；
[0025]第一区间和第二区间的交叠率是字级别的匹配程度。
[0026]进一步地，上述一种评价时间戳准确性的方法中，计算识别文本结果和标注文本中字级别的匹配偏差，包括：
[0027]确定识别文本结果中每个字的时间戳；
[0028]确定标注文本中每个字的时间戳；
[0029]通过计算识别文本结果中每个字的时间戳和标注文本中每个字的时间戳确定识别文本结果和标注文本中字级别的匹配偏差。
[0030]进一步地，上述一种评价时间戳准确性的方法中，通过计算识别文本结果中每个字的时间戳和标注文本中每个字的时间戳确定识别文本结果和标注文本中字级别的匹配偏差，包括：
[0031]计算平均绝对误差和均方根误差。
[0032]第二方面，本申请实施例提供一种评价时间戳准确性的装置，包括：
[0033]获取模块：用于获取音频对应的识别文本结果以及音频对应的标注文本；
[0034]匹配模块：用于匹配识别文本结果以及所述标注文本确定匹配字数；
[0035]第一确定模块：用于根据匹配字数和识别文本结果确定准确率；
[0036]第二确定模块：用于根据匹配字数和标注文本确定召回率；
[0037]第三确定模块：用于根据准确率和召回率确定F1
‑
score，F1
‑
score用于评价时间戳的准确性。
[0038]第三方面，本申请实施例还提供一种电子设备，其特征在于，包括：处理器和存储器；
[0039]所述处理器通过调用所述存储器存储的程序或指令，用于执行上述一种评价时间戳准确性的方法。
[0040]第四方面，本申请实施例还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机上述一种评价时间戳准确性的方法。
[0041]本申请实施例的优点在于：本申请涉及一种评价时间戳准确性的方法、电子设备和存储介质，该方法包括：获取音频对应的识别文本结果以及音频对应的标注文本；匹配识别文本结果以及标注文本确定匹配字数；根据匹配字数和识别文本结果确定准确率；根据匹配字数和标注文本确定召回率；根据准确率和所述召回率确定F1
‑
score，F1
‑
score用于评价时间戳的准确性。本申请中首先评价时间戳的准确性通过识别文本与标注文本的匹配率来确定，将识别文本结果与标注文本的匹配率看作一个检索任务，借用检索任务中常用的准确率和召回率，以及把二者综合起来的调和平均数F1
‑
score来评价字级别时间戳的准确性，字可以是中文汉字，或者英文单词，最终实现对字级别时间戳的评价，改善了用户体验。
附图说明
[0042]为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。
[0043]图1为本申请实施例提供的一种评价时间戳准确性的方法示意图一；
[0044]图2为本申请实施例提供的一种评价时间戳准确性的方法示意图二；
[0045]图3为本申请实施例提供的一种评价时间戳准确性的方法示意图三；
[0046]图4为本申请实施例提供的一种评价时间戳准确性的装置示意图；
[0047]图5是本申请实施例提供的一种电子设备的示意性框图。
具体实施方式
[0048]为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵时做类似改进，因此本申请不受下面公开的具体实施的限制。
[0049]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种评价时间戳准确性的方法，其特征在于，包括：获取音频对应的识别文本结果以及音频对应的标注文本；匹配所述识别文本结果以及所述标注文本确定匹配字数；根据所述匹配字数和所述识别文本结果确定准确率；根据所述匹配字数和所述标注文本确定召回率；根据所述准确率和所述召回率确定F1
‑
score，所述F1
‑
score用于评价时间戳的准确性。2.根据权利要求1所述的一种评价时间戳准确性的方法，其特征在于，所述还包括：获取音频对应的识别文本结果以及音频对应的标注文本；计算识别文本结果和标注文本中字级别的匹配程度；根据所述字级别的匹配程度确定时间戳的准确性。3.根据权利要求1所述的一种评价时间戳准确性的方法，其特征在于，所述还包括：获取音频对应的识别文本结果以及音频对应的标注文本；计算识别文本结果和标注文本中字级别的匹配偏差；根据所述字级别的匹配偏差确定时间戳的准确性。4.根据权利要求1所述的一种评价时间戳准确性的方法，其特征在于，所述根据所述准确率和所述召回率确定F1
‑
score，包括：根据所述准确率和所述召回率的调和平均数确定F1
‑
score。5.根据权利要求2所述的一种评价时间戳准确性的方法，其特征在于，所述计算识别文本结果和标注文本中字级别的匹配程度，包括：确定识别文本结果中每个字的开始时间点和结束时间点得到第一区间；确定标注文本中每个字的开始时间点和结束时间点得到第二区间；通过交并比计算第一区间和所述第二区间的交叠率；所述第一区间和...

【专利技术属性】
技术研发人员：范红亮，李轶杰，梁家恩，
申请(专利权)人：云知声智能科技股份有限公司，
类型：发明
国别省市：