问答对评测数据生成方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能及医疗健康技术领域，公开了一种问答对评测数据生成方法、装置、计算机设备及存储介质，该方法通过基于对抗学习的框架，利用两个互为对手的初始问答生成模型和初始问答鉴别模型相互博弈，从而提高问答对数据生成质量，通过引入元学习机制，利用少量初始标注得到的初始评测问答对数据作为元数据，对初始问答生成模型和初始问答鉴别模型进行快速适应，提升了问答对数据生成效率，避免了大规模人工标注和编译，提供的GPT类大模型评测数据集的生成方式成本更低、效率更高、能够覆盖多领域多任务、更为客观、准确、全面、具有大规模、多样和较高难度、高质量的效果。高质量的效果。高质量的效果。

【技术实现步骤摘要】
问答对评测数据生成方法、装置、计算机设备及存储介质


[0001]本专利技术涉及人工智能、自然语言处理及医疗健康
，尤其涉及一种问答对评测数据生成方法、装置、计算机设备及存储介质。

技术介绍

[0002]面向垂直领域文档理解的GPT(Generative Pre
‑
trained Transformer，GPT)类大模型，是指利用生成式预训练变换器的技术框架，针对特定领域的文档数据如医疗健康领域的文档等进行预训练和微调，从而实现对文档内容的深入理解和多样化应用的模型。GPT类大模型具有强大的自然语言生成能力，可以根据输入的文档内容生成不同形式和目的的输出，例如摘要、问答、推理、分类等。评测GPT类大模型的性能和效果是一个重要的研究课题，需要设计合适的评价指标和数据集，以便对模型进行客观和全面的测试和比较。通常，面向垂直领域文档理解的GPT类大模型的评测，需要考虑领域知识和语境信息，因此需要构建专门针对特定领域的评测数据集，包括文档内容、问题和答案等。目前，构建面向垂直领域文档理解的GPT类大模型评测数据集主要依赖于人工标注和编辑。
[0003]专利技术人意识到，上述方案的人工标注和编辑得到GPT类大模型评测数据集的方式存在成本高，效率低，难以覆盖多个领域和多种任务、质量不一，可能存在主观偏差、错误或遗漏、难以保证数据集的规模、多样性和难度，可能导致数据集过小、过简单或过拟合的问题。

技术实现思路

[0004]本专利技术提供一种问答对评测数据生成方法、装置、计算机设备及存储介质，以解决人工标注和编辑得到GPT类大模型评测数据集的方式存在成本高，效率低等的技术问题。
[0005]第一方面，提供了一种问答对评测数据生成方法，包括：获取垂直领域文档、生成式对抗网络模型和多个任务的初始评测问答对数据，所述初始评测问答对数据通过对所述垂直领域文档进行初始标注得到，所述生成式对抗网络模型包括初始问答生成模型和初始问答鉴别模型；通过每一任务的初始评测问答对数据对预设元学习模型进行元训练，得到元参数，以通过所述元参数对所述生成式对抗网络模型进行更新；将所述垂直领域文档输入更新后的初始问答生成模型，以使所述更新后的初始问答生成模型基于目标任务及所述目标任务的任务权重输出中间评测问答对数据；通过更新后的初始问答鉴别模型基于所述垂直领域文档对所述中间评测问答对数据进行评价，得到评价概率值，所述评价概率值表征所述中间评测问答对数据的合理程度；计算更新后的初始问答鉴别模型和更新后的初始问答生成模型之间的模型损失函数；通过所述模型损失函数对更新后的生成式对抗网络模型进行迭代训练，直至达到预设条件；将所述垂直领域文档输入迭代训练后的初始问答生成模型，得到最终评测问答对数据，以作为所述垂直领域文档的问答对评测数据。
[0006]第二方面，提供了一种问答对评测数据生成装置，包括：获取模块，用于获取垂直领域文档、生成式对抗网络模型和多个任务的初始评测问答对数据，所述初始评测问答对
数据通过对所述垂直领域文档进行初始标注得到，所述生成式对抗网络模型包括初始问答生成模型和初始问答鉴别模型；元训练模块，用于通过每一任务的初始评测问答对数据对预设元学习模型进行元训练，得到元参数，以通过所述元参数对所述生成式对抗网络模型进行更新；中间评测问答对数据输出模块，用于将所述垂直领域文档输入更新后的初始问答生成模型，以使更新后的初始问答生成模型基于目标任务及所述目标任务的任务权重输出中间评测问答对数据；评价模块，用于通过更新后的初始问答鉴别模型基于所述垂直领域文档对所述中间评测问答对数据进行评价，得到评价概率值，所述评价概率值表征所述中间评测问答对数据的合理程度；模型损失函数确定模块，用于计算更新后的初始问答鉴别模型和更新后的初始问答生成模型之间的模型损失函数；模型训练模块，用于通过所述模型损失函数对所述更新后的生成式对抗网络模型进行迭代训练，直至达到预设条件；问答对评测数据生成模块，用于将所述垂直领域文档输入迭代训练后的初始问答生成模型，得到最终评测问答对数据，以作为所述垂直领域文档的问答对评测数据。
[0007]第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述问答对评测数据生成方法的步骤。
[0008]第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述问答对评测数据生成方法的步骤。
[0009]上述问答对评测数据生成方法、装置、计算机设备及存储介质所实现的方案中，该方法可以通过对垂直类文档进行初步标注后得到多个任务的初始评测问答对数据，基于该多个任务的初始评测问答对数据作为元数据对预设元学习模型进行元训练，以对生成式对抗网络模型进行更新，将垂直领域文档输入更新后的初始问答生成模型得到基于某每一任务权重的中间评测问答对数据，通过更新后的初始问答鉴别模型对中间评测问答对数据进行评价，再计算更新后的两个模型的模型损失函数，对上述两个模型进行迭代训练直至达到预设条件，最后将垂直领域文档输入迭代训练后的初始问答生成模型得到该垂直领域文档的问答对评测数据，该方法通过基于对抗学习的框架，利用两个互为对手的初始问答生成模型和初始问答鉴别模型相互博弈，从而提高问答对数据生成质量，通过引入元学习机制，利用少量初始标注得到的初始评测问答对数据作为元数据，对初始问答生成模型和初始问答鉴别模型进行快速适应，提升了问答对数据生成效率，避免了大规模人工标注和编译，提供了成本更低、效率更高、能够覆盖多领域多任务、更为客观、准确、全面、具有大规模、多样和较高难度、高质量的GPT类大模型评测数据集的生成方式。
附图说明
[0010]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0011]图1是本专利技术一实施例中问答对评测数据生成方法的一应用环境示意图；
[0012]图2是本专利技术一实施例中问答对评测数据生成方法的一流程示意图；
[0013]图3是本专利技术一实施例中原参数的确定方式的一流程示意图；
[0014]图4是本专利技术一实施例中问答对评测数据生成装置的一结构示意图；
[0015]图5是本专利技术一实施例中计算机设备的一结构示意图；
[0016]图6是本专利技术一实施例中计算机设备的另一结构示意图。
具体实施方式
[0017]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0018]本申请实施例提供了一种问答对评测数据生成方法，可应用于终本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种问答对评测数据生成方法，其特征在于，包括：获取垂直领域文档、生成式对抗网络模型和多个任务的初始评测问答对数据，所述初始评测问答对数据通过对所述垂直领域文档进行初始标注得到，所述生成式对抗网络模型包括初始问答生成模型和初始问答鉴别模型；通过每一任务的初始评测问答对数据对预设元学习模型进行元训练，得到元参数，以通过所述元参数对所述生成式对抗网络模型进行更新；将所述垂直领域文档输入更新后的初始问答生成模型，以使所述更新后的初始问答生成模型基于目标任务及所述目标任务的任务权重输出中间评测问答对数据；通过更新后的初始问答鉴别模型基于所述垂直领域文档对所述中间评测问答对数据进行评价，得到评价概率值，所述评价概率值表征所述中间评测问答对数据的合理程度；计算更新后的初始问答鉴别模型和更新后的初始问答生成模型之间的模型损失函数；通过所述模型损失函数对更新后的生成式对抗网络模型进行迭代训练，直至达到预设条件；将所述垂直领域文档输入迭代训练后的初始问答生成模型，得到最终评测问答对数据，以作为所述垂直领域文档的问答对评测数据。2.如权利要求1所述的问答对评测数据生成方法，其特征在于，通过每一任务的初始评测问答对数据对预设元学习模型进行元训练，得到元参数，包括：将每一任务的初始评测问答对数据划分为所述每一任务的支持集和查询集，得到每一任务的支持集和查询集，其中，所述每一任务的初始评测问答对数据包括多个初始问答对数据，每一初始问答对数据包括初始问题和与所述初始问题匹配的初始回答；通过每一任务的支持集分别对所述初始问答生成模型和所述初始问答鉴别模型进行第一梯度更新，并计算得到适应后参数；利用每一任务的查询集计算所述适应后参数在每一任务的多个任务子损失，并确定任务总损失；以所述任务总损失对预设元学习模型的初始参数进行第二梯度更新，直至所述初始参数收敛，得到所述元参数。3.如权利要求2所述问答对评测数据生成方法，其特征在于，所述任务总损失的确定方式包括：根据每一任务的多个任务子损失确定任务子平均损失和任务子损失方差；基于所述任务子平均损失和所述任务子损失方差确定所述每一任务的难度指数，得到每一任务的难度指数；确定每一任务的难度指数占比全部任务的难度指数总和的占比度，作为所述每一任务的损失权重；根据每一任务的损失权重和任务子平均损失确定所述每一任务的任务损失，基于全部任务的任务损失得到所述任务总损失。4.如权利要求1
‑
3任一项所述的问答对评测数据生成方法，其特征在于，通过所述元参数分别对所述生成式对抗网络模型进行更新，包括：利用所述元参数对所述生成式对抗网络模型进行快速适应，得到适应后参数；基于所述适应后参数对所述生成式对抗网络模型进行更新。
5.如权利要求1
‑
3任一项所述的问答对评测数据生成方法，其特征在于，所述生成式对抗网络模型包括两个子网络模型，将一子网络模型作为初始问答生...

【专利技术属性】
技术研发人员：王俊，侯昶宇，王晓锐，谯轶轩，宋佳，巩菁菁，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：