问答评分方法、问答评分装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种问答评分方法、问答评分装置、电子设备及存储介质，属于人工智能技术领域。该方法包括：获取目标语料数据，其中，目标语料数据包括结构化数据和非结构化数据中的至少一种；基于目标语料数据构建问答对数据，其中，问答对数据包括多个问答对，每个问答对包括一个目标问题和目标问题对应的目标答案；将目标问题输入至待评分的问答模型进行答案生成，得到预测答案；基于预测答案、目标答案对问答模型进行评分处理，得到问答模型的目标评分数据，其中，目标评分数据用于表征问答模型的问答表现。本申请实施例能够在保证接近人类标注水平的前提下，较为方便地提高对问答模型的问答表现的评分效率。模型的问答表现的评分效率。模型的问答表现的评分效率。

【技术实现步骤摘要】
问答评分方法、问答评分装置、电子设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及一种问答评分方法、问答评分装置、电子设备及存储介质。

技术介绍

[0002]目前的问答模型的问答对生成常常依赖于人工构造的模板与规则或者结构化的现有知识库，这往往会造成生成的问答对具有较大的局限性，使得基于问答对无法较为全面地确定问答模型的答案预测能力。此外，在评估问答模型的答案预测能力时，常常依赖于人工评分的方式，会造成对问答模型进行评分的效率低下，而基于计算模型答案与标准答案之间相似度的机械指标(如Bleu score或者ROGUE score)尽管在效率上具有优势，但其在部分场景下如开放式自然语言问答无法全面反映问答模型的真实质量好坏，因此无法广泛应用于问答系统的测评。

技术实现思路

[0003]本申请实施例的主要目的在于提出一种问答评分方法、问答评分装置、电子设备及存储介质，旨在保证问答评分接近人类评估水平的同时，提高对问答模型进行评分的效率。
[0004]为实现上述目的，本申请实施例的第一方面提出了一种问答评分方法，所述方法包括：
[0005]获取目标语料数据，其中，所述目标语料数据包括结构化数据和非结构化数据中的至少一种；
[0006]基于所述目标语料数据构建问答对数据，其中，所述问答对数据包括多个问答对，每个所述问答对包括一个目标问题和所述目标问题对应的目标答案；
[0007]将所述目标问题输入至待评分的问答模型进行答案生成，得到预测答案；
[0008]基于所述预测答案、所述目标答案对所述问答模型进行评分处理，得到所述问答模型的目标评分数据，其中，所述目标评分数据用于表征所述问答模型的问答表现。
[0009]在一些实施例，所述获取目标语料数据，包括：
[0010]从预设的数据库中提取原始语料数据，其中，所述原始语料数据为结构化数据；
[0011]对所述原始语料数据进行数据清洗，得到所述目标语料数据。
[0012]在一些实施例，所述基于所述目标语料数据构建问答对数据，包括：
[0013]获取预设的问答模板；
[0014]基于所述问答模板和所述目标语料数据，构建所述目标问题和所述目标问题对应的目标答案；
[0015]基于所述目标问题和所述目标答案，生成所述问答对；
[0016]对所有所述问答对进行整合处理，得到所述问答对数据。
[0017]在一些实施例，所述获取目标语料数据，包括：
[0018]获取由目标对象确定的非结构化数据；
[0019]获取目标任务对应的样本数据；
[0020]基于所述样本数据和所述非结构化数据，得到所述目标语料数据。
[0021]在一些实施例，所述基于所述目标语料数据构建问答对数据，包括：
[0022]将所述目标语料数据输入至预训练的大型语言模型中；
[0023]基于所述大型语言模型对所述目标语料数据进行特征提取，得到所述目标问题和所述目标答案；
[0024]基于所述目标问题和所述目标答案，生成所述问答对；
[0025]对所有所述问答对进行整合处理，得到所述问答对数据。
[0026]在一些实施例，所述基于所述预测答案、所述目标答案对所述问答模型进行评分处理，得到所述问答模型的目标评分数据，包括：
[0027]获取所述目标评分数据中每个评分指标对应的预设公式；
[0028]基于所述预设公式、所述预测答案、所述目标答案，计算每个所述评分指标对应的初步评分数据；
[0029]基于所述初步评分数据，得到所述目标评分数据。
[0030]在一些实施例，所述基于所述预测答案、所述目标答案对所述问答模型进行评分处理，得到所述问答模型的目标评分数据，包括：
[0031]获取目标对象确定的评分案例数据；
[0032]将所述预测答案、所述评分案例数据、所述目标答案输入至预设的评分模型中，以使所述评分模型根据所述评分案例数据和所述目标答案进行上下文学习；
[0033]基于经过上下文学习的所述评分模型对所述问答模型进行评分，得到所述问答模型的目标评分数据。
[0034]为实现上述目的，本申请实施例的第二方面提出了一种问答评分装置，所述装置包括：
[0035]所述装置包括：
[0036]数据获取模块，用于获取目标语料数据，其中，所述目标语料数据包括结构化数据和非结构化数据中的至少一种；
[0037]问答对生成模块，用于基于所述目标语料数据构建问答对数据，其中，所述问答对数据包括多个问答对，每个所述问答对包括一个目标问题和所述目标问题对应的目标答案；
[0038]答案生成模块，用于将所述目标问题输入至待评分的问答模型进行答案生成，得到预测答案；
[0039]评分模块，用于基于所述预测答案、所述目标答案对所述问答模型进行评分处理，得到所述问答模型的目标评分数据，其中，所述目标评分数据用于表征所述问答模型的问答表现。
[0040]为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器、处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
[0041]为实现上述目的，本申请实施例的第四方面提出了一种计算机可读存储介质，所
述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
[0042]本申请提出的问答评分方法、问答评分装置、电子设备及存储介质，其通过获取目标语料数据，其中，目标语料数据包括结构化数据和非结构化数据中的至少一种；基于目标语料数据构建问答对数据，其中，问答对数据包括多个问答对，每个问答对包括一个目标问题和目标问题对应的目标答案，能够利用结构化数据和非结构化数据生成问答对，提高问答对的数量丰富性和类别丰富性，也能够利用目标问题和目标答案来实现对问答模型的问答能力的评分。进一步地，将目标问题输入至待评分的问答模型进行答案生成，得到预测答案；基于预测答案、目标答案对问答模型进行评分处理，得到问答模型的目标评分数据，其中，目标评分数据用于表征问答模型的问答表现，能够较为方便地根据预测答案和目标答案之间的差异情况来确定问答模型的问答能力，能在保证问答评分接近人类评估水平的同时，提高对问答模型的问答表现进行评分的效率。
附图说明
[0043]图1是本申请实施例提供的问答评分方法的流程图；
[0044]图2是图1中的步骤S101的流程图；
[0045]图3是图1中的步骤S101的另一流程图；
[0046]图4是图1中的步骤S102的流程图；
[0047]图5是图1中的步骤S102的另一流程图；
[0048]图6是图1中的步骤S104的流程图；
[0049]图7是图1中的步骤S104的另一流程图；
[0050]图8是本申请实施例提供的问答评分装置的结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种问答评分方法，其特征在于，所述方法包括：获取目标语料数据，其中，所述目标语料数据包括结构化数据和非结构化数据中的至少一种；基于所述目标语料数据构建问答对数据，其中，所述问答对数据包括多个问答对，每个所述问答对包括一个目标问题和所述目标问题对应的目标答案；将所述目标问题输入至待评分的问答模型进行答案生成，得到预测答案；基于所述预测答案、所述目标答案对所述问答模型进行评分处理，得到所述问答模型的目标评分数据，其中，所述目标评分数据用于表征所述问答模型的问答表现。2.根据权利要求1所述的问答评分方法，其特征在于，所述获取目标语料数据，包括：从预设的数据库中提取原始语料数据，其中，所述原始语料数据为结构化数据；对所述原始语料数据进行数据清洗，得到所述目标语料数据。3.根据权利要求2所述的问答评分方法，其特征在于，所述基于所述目标语料数据构建问答对数据，包括：获取预设的问答模板；基于所述问答模板和所述目标语料数据，构建所述目标问题和所述目标问题对应的目标答案；基于所述目标问题和所述目标答案，生成所述问答对；对所有所述问答对进行整合处理，得到所述问答对数据。4.根据权利要求1所述的问答评分方法，其特征在于，所述获取目标语料数据，包括：获取由目标对象确定的非结构化数据；获取目标任务对应的样本数据；基于所述样本数据和所述非结构化数据，得到所述目标语料数据。5.根据权利要求4所述的问答评分方法，其特征在于，所述基于所述目标语料数据构建问答对数据，包括：将所述目标语料数据输入至预训练的大型语言模型中；基于所述大型语言模型对所述目标语料数据进行特征提取，得到所述目标问题和所述目标答案；基于所述目标问题和所述目标答案，生成所述问答对；对所有所述问答对进行整合处理，得到所述问答对数据。6.根据权利要求1至5任一项所述的问答评分方法，其特征在于，所述基于所述预测...

【专利技术属性】
技术研发人员：李良知，项彤，陈方毅，
申请(专利权)人：厦门美柚股份有限公司，
类型：发明
国别省市：