一种基于智能问答场景的回答标注方法技术

本申请公开了一种基于智能问答场景的回答标注方法

【技术实现步骤摘要】
一种基于智能问答场景的回答标注方法、装置及相关产品


[0001]本申请涉及数据处理
，尤其涉及一种基于智能问答场景的回答标注方法
、
装置及相关产品
。

技术介绍

[0002]随着人工智能技术的研究与进步，人工智能技术在多个领域展开研究和应用，例如常见的大语言模型
(LLM
，
Large Language Model)
，大语言模型可以处理多种自然语言任务，如智能问答等
。
为了使大语言模型能够更好地进行智能问答，在预训练好的大语言模型基础上对大语言模型进行微调，微调过程主要分为三个步骤：
1、
监督学习；
2、
训练
RM(Reward Model
，奖励模型
)
；
3、
强化学习
。
其中
RM
的训练效果对微调后的大语言模型在表现上有显著影响，而
RM
的训练效果在很大程度上依赖于人工标注对于训练数据的质量
。
[0003]因此在相关技术中
Anthropic(
人工智能
)
公司的标注方案着重于关注
RM
的训练数据的人工标注质量，
Anthropic
公司的人工标注方案为：利用步骤1中的
SFT(supervised fine tuning,
有监督微调模型
)
为一个问题生成两个回答，然后在训练
RM
阶段，标注对象分别判断这两个回答的有用性与无害性，从而确定出最佳回答
。
但是相关技术中
Anthropic
公司的人工标注方案的标注规则不够细化，导致在实际标注过程不同标注对象的理念存在较大偏差，且标注出来的回答与正确回答相比一致性较低
。
[0004]由此，如何提高标注回答与正确回答相比的一致性，已经成为当前领域亟待解决的技术问题
。

技术实现思路

[0005]本申请实施例提供了一种基于智能问答场景的回答标注方法
、
装置及相关产品，旨在提高标注回答与正确回答相比的一致性
。
[0006]本申请第一方面提供了一种基于智能问答场景的回答标注方法，包括：
[0007]获取目标问题的多个回答以及所述目标问题的正确回答；其中所述目标问题为智能问答场景中提问对象输入的问题，所述多个回答为有监督微调模型基于所述目标问题输出的回答；
[0008]利用标注规则集合中的回答内容占比规则
、
回答内容显著性规则
、
回答内容引用占比规则
、
回答内容质量规则
、
回答内容重复规则和回答内容逻辑规则，获得所述多个回答对应的标注得分；其中所述回答内容占比规则用于判断回答中正确内容的占比，所述回答内容显著性规则用于判断回答中正确内容是否具有显著性，所述回答内容引用占比规则用于判断回答中引用所述正确回答的片段占比，所述回答内容质量规则用于判断回答中是否存在编造内容，所述回答内容重复规则用于判断回答中是否存在重复内容，所述回答内容逻辑规则用于判断回答中内容逻辑是否正确；所述正确内容为所述正确回答中的内容，所述编造内容为在所述正确回答中未找到的内容；
[0009]对所述多个回答对应的标注得分进行比较，确定出所述多个回答对应的标注得分
中得分最高的标注得分；
[0010]将所述得分最高的标注得分对应的回答标注为所述目标问题的目标回答
。
[0011]本申请第二方面提供了一种基于智能问答场景的回答标注装置，包括：
[0012]问题回答获取单元，用于获取目标问题的多个回答以及所述目标问题的正确回答；其中所述目标问题为智能问答场景中提问对象输入的问题，所述多个回答为有监督微调模型基于所述目标问题输出的回答；
[0013]标注得分获得单元，用于利用标注规则集合中的回答内容占比规则
、
回答内容显著性规则
、
回答内容引用占比规则
、
回答内容质量规则
、
回答内容重复规则和回答内容逻辑规则，获得所述多个回答对应的标注得分；其中所述回答内容占比规则用于判断回答中正确内容的占比，所述回答内容显著性规则用于判断回答中正确内容是否具有显著性，所述回答内容引用占比规则用于判断回答中引用所述正确回答的片段占比，所述回答内容质量规则用于判断回答中是否存在编造内容，所述回答内容重复规则用于判断回答中是否存在重复内容，所述回答内容逻辑规则用于判断回答中内容逻辑是否正确；所述正确内容为所述正确回答中的内容，所述编造内容为在所述正确回答中未找到的内容；
[0014]标注得分比较单元，用于对所述多个回答对应的标注得分进行比较，确定出所述多个回答对应的标注得分中得分最高的标注得分；
[0015]目标回答标注单元，用于将所述得分最高的标注得分对应的回答标注为所述目标问题的目标回答
。
[0016]本申请第三方面提供了一种计算机设备，所述设备包括处理器以及存储器：
[0017]所述存储器用于存储计算机程序，并将所述计算机程序传输给所述处理器；
[0018]所述处理器用于根据所述计算机程序中的指令执行第一方面提供的基于智能问答场景的回答标注方法的步骤
。
[0019]本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被计算机设备执行时实现第一方面提供的基于智能问答场景的回答标注方法的步骤
。
[0020]本申请第五方面提供了一种计算机程序产品，包括计算机程序，该计算机程序被计算机设备执行时实现第一方面提供的基于智能问答场景的回答标注方法的步骤
。
[0021]从以上技术方案可以看出，本申请实施例具有以下优点：
[0022]本申请技术方案中首先获取目标问题的多个回答以及目标问题的正确回答；在此阶段，利用标注规则集合中的回答内容占比规则
、
回答内容显著性规则
、
回答内容引用占比规则
、
回答内容质量规则
、
回答内容重复规则和回答内容逻辑规则，来获得多个回答对应的标注得分；然后将对多个回答对应的标注得分进行比较，并从多个回答对应的标注得分中确定出得分最高的标注得分；最后将得分最高的标注得分对应的回答标注为目标问题的目标回答
。
可见，相较于相关技术中的人工标注方案，本申请想到采用更细化的标注规则来获得多个回答对应的标注得分，也即通过回答内容占比规则
、
回答内容显著性规则
、
回答内容引用占比规则
、
回答内容质量规则
、
回答内容重复规则和回答内容逻辑规则来获得多个回答对应的标注得分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于智能问答场景的回答标注方法，其特征在于，包括：获取目标问题的多个回答以及所述目标问题的正确回答；其中所述目标问题为智能问答场景中提问对象输入的问题，所述多个回答为有监督微调模型基于所述目标问题输出的回答；利用标注规则集合中的回答内容占比规则
、
回答内容显著性规则
、
回答内容引用占比规则
、
回答内容质量规则
、
回答内容重复规则和回答内容逻辑规则，获得所述多个回答对应的标注得分；其中所述回答内容占比规则用于判断回答中正确内容的占比，所述回答内容显著性规则用于判断回答中正确内容是否具有显著性，所述回答内容引用占比规则用于判断回答中引用所述正确回答的片段占比，所述回答内容质量规则用于判断回答中是否存在编造内容，所述回答内容重复规则用于判断回答中是否存在重复内容，所述回答内容逻辑规则用于判断回答中内容逻辑是否正确；所述正确内容为所述正确回答中的内容，所述编造内容为在所述正确回答中未找到的内容；对所述多个回答对应的标注得分进行比较，确定出所述多个回答对应的标注得分中得分最高的标注得分；将所述得分最高的标注得分对应的回答标注为所述目标问题的目标回答
。2.
根据权利要求1所述的方法，其特征在于，所述利用标注规则集合中的回答内容占比规则
、
回答内容显著性规则
、
回答内容引用占比规则
、
回答内容质量规则
、
回答内容重复规则和回答内容逻辑规则，获得所述多个回答对应的标注得分，包括：利用所述标注规则集合中的回答内容占比规则
、
回答内容显著性规则
、
回答内容引用占比规则
、
回答内容质量规则
、
回答内容重复规则和回答内容逻辑规则，对同一回答逐一进行打分，获得同一回答针对于所述标注规则集合中的回答内容占比规则
、
回答内容显著性规则
、
回答内容引用占比规则
、
回答内容质量规则
、
回答内容重复规则和回答内容逻辑规则分别对应的初始标注得分；对所述同一回答针对于所述标注规则集合中的回答内容占比规则
、
回答内容显著性规则
、
回答内容引用占比规则
、
回答内容质量规则
、
回答内容重复规则和回答内容逻辑规则分别对应的初始标注得分进行处理，获得所述同一回答对应的标注得分
。3.
根据权利要求2所述的方法，其特征在于，所述利用所述标注规则集合中的回答内容占比规则
、
回答内容显著性规则
、
回答内容引用占比规则
、
回答内容质量规则
、
回答内容重复规则和回答内容逻辑规则，对同一回答逐一进行打分，获得同一回答针对于所述标注规则集合中的回答内容占比规则
、
回答内容显著性规则
、
回答内容引用占比规则
、
回答内容质量规则
、
回答内容重复规则和回答内容逻辑规则分别对应的初始标注得分，包括：利用所述标注规则集合中的回答内容占比规则判断所述同一回答中正确内容的占比，并根据所述回答内容占比规则的判断结果对所述同一回答进行打分，获得所述同一回答针对于所述回答内容占比规则的初始标注得分；利用所述标注规则集合中的回答内容显著性规则判断所述同一回答中正确内容是否具有显著性，并根据所述回答内容显著性规则的判断结果对所述同一回答进行打分，获得所述同一回答针对于所述回答内容显著性规则的初始标注得分；利用所述标注规则集合中的回答内容引用占比规则判断所述同一回答中引用所述正确回答的片段占比，并根据所述回答内容引用占比规则的判断结果对所述同一回答进行打
分，获得所述同一回答针对于所述回答内容引用占比规则的初始标注得分；利用所述标注规则集合中的回答内容质量规则判断所述同一回答中是否存在编造内容，并根据所述回答内容质量规则的判断结果对所述同一回答进行打分，获得所述同一回答针对于所述回答内容质量规则的初始标注得分；利用所述标注规则集合中的回答内容重复规则判断所述同一回答中是否存在重复内容，并根据所述回答内容重复规则的判断结果对所述同一回答进行打分，获得所述同一回答针对于所述回答内容重复规则的初始标注得分；利用所述标注规则集合中的回答内容逻辑规则判断所述同一回答中内容逻辑是否正确，并根据所述回答内容逻辑规则的判断结果对所述同一回答进行打分，获得所述同一回答针对于所述回答内容逻辑规则的初始标注得分
。4.
根据权利要求3所述的方法，其特征在于，所述利用所述标注规则集合中的回答内容显著性规则判断所述同一回答中正确内容是否具有显著性...

【专利技术属性】
技术研发人员：王佩璐，邓超，魏琳，李千，刘艾婷，沈卓，梁海金，
申请(专利权)人：腾讯科技武汉有限公司，
类型：发明
国别省市：