数据标注方法、装置、及存储介质制造方法及图纸

本申请公开了一种数据标注方法、装置、及存储介质。其中，接收意图表达式；在无法识别到与意图表达式相匹配的标准问的情况下，预测并输出与意图表达式的提问意图相符的标准问；以及响应于对标准问中目标标准问的选择操作，将意图表达式的标签标注为目标标准问；可以解决访客的提问方式千差万别，从而导致访客的意图表达式的标注效率较低的问题；由于可以通过智能反问的形式，为无法识别的意图表达式进行自动标注，因此，无需人工手动对无法识别的意图表达式进行标注，可以提高标注效率。可以提高标注效率。可以提高标注效率。

【技术实现步骤摘要】
数据标注方法、装置、及存储介质


[0001]本申请涉及计算机
，特别是涉及一种数据标注方法、装置、及存储介质。

技术介绍

[0002]随着人工智能技术的不断发展，可以与人进行交流的文本机器人的使用也越来越广泛，比如：文本机器人广泛应用于营销咨询、客户服务等业务场景。文本机器人可以“识别”并“理解”文字表达的意图，并反馈该意图对应的“回复”。
[0003]文本机器人的应答效果需要持续对底层算法模型进行训练优化来提高。对于不同的行业细分领域，训练素材的类型和算法模型的选型可能存在差异。训练算法模型的过程之一就是对训练集进行持续的标注，即给问题打上“标签”。比如：在银行业务中，“信用卡办理”的意图有对应的标准回复，而访客的该意图表达式可能千差万别，“我想办卡”、“我要申请信用卡”、“信用卡怎么申请”可能都是“信用卡办理”的意图表达式，因此需要利用标注平台建立意图表达式与意图的映射，当访客表达“我想办卡”时，模型能对应识别到“信用卡办理”的意图。
[0004]然而，访客的意图表达各式各样，若要持续保证应答效果，则需要提升文本机器人的自学习能力，即持续对意图表达式进行标注。
[0005]传统的对意图表达式进行标注的方式包括：利用标注平台将文本机器人无法识别的意图表达式进行汇总，并通过标注人员手动将意图表达与现有知识进行映射。
[0006]但是，访客的提问方式千差万别，标注人员手动标注的效率较低。

技术实现思路

[0007]本公开的实施例提供了一种数据标注方法、装置及存储介质，以至少解决现有技术中存在访客的提问方式千差万别，从而导致访客的意图表达式的标注效率较低的技术问题。
[0008]根据本公开实施例的一个方面，提供了一种数据标注方法，包括：
[0009]接收意图表达式；
[0010]在无法识别到与所述意图表达式相匹配的标准问的情况下，预测并输出与所述意图表达式的提问意图相符的标准问；以及
[0011]响应于对所述标准问中目标标准问的选择操作，将所述意图表达式的标签标注为所述目标标准问。
[0012]根据本公开实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上任意一项所述的方法。
[0013]根据本公开实施例的另一个方面，还提供了一种数据标注装置，包括：
[0014]数据接收模块，用于接收意图表达式；
[0015]智能反问模块，用于在无法识别到与所述意图表达式相匹配的标准问的情况下，预测并输出与所述意图表达式的提问意图相符的标准问；以及
[0016]数据标注模块，用于响应于对所述标准问中目标标准问的选择操作，将所述意图表达式的标签标注为所述目标标准问。
[0017]根据本公开实施例的另一个方面，还提供了一种数据标注装置，包括：处理器；以及存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：
[0018]接收意图表达式；
[0019]在无法识别到与所述意图表达式相匹配的标准问的情况下，预测并输出与所述意图表达式的提问意图相符的标准问；以及
[0020]响应于对所述标准问中目标标准问的选择操作，将所述意图表达式的标签标注为所述目标标准问。
[0021]在本公开实施例中，通过接收意图表达式；在无法识别到与意图表达式相匹配的标准问的情况下，预测并输出与意图表达式的提问意图相符的标准问；以及响应于对标准问中目标标准问的选择操作，将意图表达式的标签标注为目标标准问；可以解决访客的提问方式千差万别，从而导致访客的意图表达式的标注效率较低的问题；由于可以通过智能反问的形式，为无法识别的意图表达式进行自动标注，因此，无需人工手动对无法识别的意图表达式进行标注，可以提高标注效率。
[0022]另外，标注过程后台完成，即对访客来说为无感标注，标注质量较高。
附图说明
[0023]此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
[0024]图1是用于实现根据本公开实施例1所述的方法的计算设备的硬件结构框图；
[0025]图2是根据本公开实施例1所述的标注过程的示意图；
[0026]图3是根据本公开实施例1所述的标注页面的示意图；
[0027]图4是根据本公开实施例1的第一个方面所述的数据标注方法的流程示意图；
[0028]图5是根据本公开实施例1的第一个方面所述的自动标注过程的示意图；
[0029]图6是根据本公开实施例1的第一个方面所述的模型训练过程的示意图；
[0030]图7是根据本公开实施例2的第一个方面所述的数据标注装置的示意图；以及
[0031]图8是根据本公开实施例3的第一个方面所述的数据标注装置的示意图。
具体实施方式
[0032]为了使本
的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
[0033]需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆
盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0034]首先，在对本公开实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
[0035]标准问：一类问题的标准问法，该问法可以经过预先训练的算法识别。比如：咨询信用卡激活方式的问法很多，各个问法对应的标准问为“咨询信用卡激活方式”。
[0036]意图表达式：访客输入的问题。比如“我想办卡”、“我想申请信用卡”等都属于意图表达式，意图表达式可能与标准问相同，或者也可能与标准问不同。
[0037]智能反问：当访客的意图表达式无法精确匹配到标准问时，将符合提问意图的标准问进行展示，以便访客再次选择最符合提问意图的问题。
[0038]置信率：用于衡量统计推断可靠程度的概率。其意义是指在进行统计推断时被估参数包含在某一范围内的概率，也叫可信度。
[0039]实施例1
[0040]根据本实施例，提供了一种数据标注方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据标注方法，其特征在于，包括：接收意图表达式；在无法识别到与所述意图表达式相匹配的标准问的情况下，预测并输出与所述意图表达式的提问意图相符的标准问；以及响应于对所述标准问中目标标准问的选择操作，将所述意图表达式的标签标注为所述目标标准问。2.根据权利要求1所述方法，其特征在于，所述在无法识别到与所述意图表达式相匹配的标准问的情况下，预测并输出与所述意图表达式的提问意图相符的标准问，包括：将所述意图表达式输入预先训练的所述意图识别模型，得到与所述意图表达式对应的至少一个标准问和所述至少一个标准问中每个标准问的置信率；所述意图识别模型用于识别所述意图表达式的表达式相匹配的标准问；以及在各个标准问的置信率均小于第一置信率阈值的情况下，输出置信率大于第二置信率阈值的标准问，所述第二置信率阈值小于所述第一置信率阈值。3.根据权利要求2所述方法，其特征在于，所述将所述意图表达式的标签标注为所述目标标准问之后，还包括：使用所述意图表达式和所述目标标准问对所述意图识别模型进行训练，以对所述意图识别模型进行更新，训练后的意图识别模型用于对下一次接收到的意图表达式进行识别。4.根据权利要求3所述方法，其特征在于，所述使用所述意图表达式和所述目标标准问对所述意图识别模型进行训练，包括：确定所述意图表达式和所述目标标准问之间映射关系是否正确；以及在映射关系正确的情况下，使用所述意图表达式和所述目标标准问对所述意图识别模型进行训练。5.根据权利要求4所述方法，其特征在于，所述确定所述意图表达式和所述目标标准问之间映射关系是否正确，包括：输出所述映射关系的确认提示；在接收到基于所述确认提示输入的修改操作的情况下，确定所述映射关系不正确...

【专利技术属性】
技术研发人员：谢思明，杨毅，李涛，
申请(专利权)人：北京中关村科金技术有限公司，
类型：发明
国别省市：