对话生成方法及装置制造方法及图纸

本发明专利技术公开了一种对话生成方法及装置，该方法包括：接收用户输入的第一对话的问题信息；根据第一对话的问题信息检索文档知识库，得到多个第一知识文档；根据第一对话的问题信息检索第一种子数据库，得到多个第一提示样本；将第一对话的问题信息、第一知识文档和多个第一提示样本，输入大规模预训练语言模型，输出第一知识内容；根据第一对话的问题信息检索第二种子数据库，得到多个第二提示样本；将第一对话的问题信息、第一知识内容和多个第二提示样本，输入大规模预训练语言模型，输出第一对话的回复信息。本发明专利技术可以生成适用于各种对话场景的高质量对话回复信息，改善用户体验，减少样本构造，降低成本。降低成本。降低成本。

【技术实现步骤摘要】
对话生成方法及装置


[0001]本专利技术涉及人工智能
，尤其涉及一种对话生成方法及装置。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]随着深度学习技术的快速发展，对话系统在人们的日常生活的使用频率越来越高，受到了越来越多研究者、厂商和用户的关注。但是在很多真实场景中，对话系统生成的回复仍然存在很多缺陷，比如易生成一些通用的、无意义的、事实性错误的回复语句，例如“好的”、“知道了”等通用的无意义的回复，无法有效识别用户意图以及准确回答用户提出的问题，影响用户体验；
[0004]另外，在现有技术中，仍然需要大量训练数据用于训练对话系统，训练结果的好坏也严重依赖于训练数据的多样性和质量；不仅操作过程复杂、成本高，而且训练得到的对话系统缺乏通用的自然语言理解的能力，无法有效泛化到其他知识领域的对话场景中。

技术实现思路

[0005]本专利技术实施例提供一种对话生成方法，用以生成适用于各种对话场景的高质量对话回复信息，改善用户体验，减少样本构造，降低成本，方法包括：
[0006]接收用户输入的第一对话的问题信息；
[0007]根据第一对话的问题信息检索文档知识库，得到多个第一知识文档；
[0008]根据第一对话的问题信息检索第一种子数据库，得到多个第一提示样本，其中第一提示样本包括对话的问题信息，以及对话的问题信息对应的知识文档和知识内容；
[0009]将第一对话的问题信息、第一知识文档和多个第一提示样本，输入大规模预训练语言模型，输出第一知识内容，所述大规模预训练语言模型是基于模仿学习策略构建的；
[0010]根据第一对话的问题信息检索第二种子数据库，得到多个第二提示样本，其中第二提示样本包括对话的问题信息，以及对话的问题信息对应的知识内容和回复信息；
[0011]将第一对话的问题信息、第一知识内容和多个第二提示样本，输入大规模预训练语言模型，输出第一对话的回复信息。
[0012]本专利技术实施例还提供一种对话生成装置，用以生成适用于各种对话场景的高质量对话回复信息，改善用户体验，减少样本构造，降低成本，该装置包括：
[0013]问题信息接收模块，用于接收用户输入的第一对话的问题信息；
[0014]文档知识库检索模块，用于根据第一对话的问题信息检索文档知识库，得到多个第一知识文档；
[0015]第一种子数据库检索模块，用于根据第一对话的问题信息检索第一种子数据库，得到多个第一提示样本，其中第一提示样本包括对话的问题信息，以及对话的问题信息对应的知识文档和知识内容；
[0016]第一知识内容输出模块，用于将第一对话的问题信息、第一知识文档和多个第一提示样本，输入大规模预训练语言模型，输出第一知识内容，所述大规模预训练语言模型是基于模仿学习策略构建的；
[0017]第二种子数据库检索模块，用于第一对话的问题信息检索第二种子数据库，得到多个第二提示样本，其中第二提示样本包括对话的问题信息，以及对话的问题信息对应的知识内容和回复信息；
[0018]回复信息输出模块，用于将第一对话的问题信息、第一知识内容和多个第二提示样本，输入大规模预训练语言模型，输出第一对话的回复信息。
[0019]本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述对话生成方法。
[0020]本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述对话生成方法。
[0021]本专利技术实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述对话生成方法。
[0022]本专利技术实施例中，接收用户输入的第一对话的问题信息；根据第一对话的问题信息检索文档知识库，得到多个第一知识文档；根据第一对话的问题信息检索第一种子数据库，得到多个第一提示样本，其中第一提示样本包括对话的问题信息，以及对话的问题信息对应的知识文档和知识内容；将第一对话的问题信息、第一知识文档和多个第一提示样本，输入大规模预训练语言模型，输出第一知识内容，所述大规模预训练语言模型是基于模仿学习策略构建的；根据第一对话的问题信息检索第二种子数据库，得到多个第二提示样本，其中第二提示样本包括对话的问题信息，以及对话的问题信息对应的知识内容和回复信息；将第一对话的问题信息、第一知识内容和多个第二提示样本，输入大规模预训练语言模型，输出第一对话的回复信息。
[0023]通过引入知识，并将知识驱动型对话系统相关工作中的知识选择过程，转换为基于模仿学习策略的知识生成任务，基于从种子数据库中检索出的与用户输入的对话问题相似的提示样本，构造预训练语言模型的输入提示，激励模型以知识文档为基础推理并生成具体的知识内容，能提高复杂场景下知识选择的准确性；在对话的回复生成阶段采用模仿学习策略，在只构造少量示例样本数据的情况下，可以让大规模语言模型根据用户输入和知识生成阶段获得的知识内容，生成含有正确知识的高质量回复。
附图说明
[0024]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0025]图1为本专利技术实施例中对话生成方法的处理流程图；
[0026]图2为本专利技术实施例中检索第一种子数据库得到多个第一提示样本的方法流程图；
[0027]图3为本专利技术实施例中检索第二种子数据库得到多个第二提示样本的方法流程图；
[0028]图4示出了本专利技术实施例中知识内容生成阶段的一具体实例示意图；
[0029]图5示出了本专利技术实施例中回复生成阶段的一具体实例示意图；
[0030]图6示出了本专利技术实施例中对话生成方法的一整体流程示意图；
[0031]图7为本专利技术实施例中对话生成装置的结构示意图；
[0032]图8为本专利技术一实施例的计算机设备结构示意图。
具体实施方式
[0033]为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。
[0034]首先介绍本专利技术实施例中的技术名词：
[0035]前缀提示：业界也叫Prefix Prompt，是一种用于激励生成式预训练语言模型输出的字符串输入前缀；前缀提示可以通过在输入中添加人类可读的自然语言指令，来指导模型完成特定的任务；本专利技术中统一简称为提示。
[0036]模仿学习：业界也叫Demonstration Learning，添本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对话生成方法，其特征在于，包括：接收用户输入的第一对话的问题信息；根据第一对话的问题信息检索文档知识库，得到多个第一知识文档；根据第一对话的问题信息检索第一种子数据库，得到多个第一提示样本，其中第一提示样本包括对话的问题信息，以及对话的问题信息对应的知识文档和知识内容；将第一对话的问题信息、第一知识文档和多个第一提示样本，输入大规模预训练语言模型，输出第一知识内容，所述大规模预训练语言模型是基于模仿学习策略构建的；根据第一对话的问题信息检索第二种子数据库，得到多个第二提示样本，其中第二提示样本包括对话的问题信息，以及对话的问题信息对应的知识内容和回复信息；将第一对话的问题信息、第一知识内容和多个第二提示样本，输入大规模预训练语言模型，输出第一对话的回复信息。2.如权利要求1所述的方法，其特征在于，所述多个第一知识文档与第一对话的问题信息的相关度不小于第一预设阈值；所述多个第一提示样本与第一对话的问题信息的相似度不小于第二预设阈值；所述多个第二提示样本与第一对话的问题信息的相似度不小于第三预设阈值。3.如权利要求1所述的方法，其特征在于，在接收用户输入的第一对话的问题信息之前，还包括：预先建立文档知识库，所述文档知识库中包含涉及各类知识的海量知识文档。4.如权利要求1所述的方法，其特征在于，在接收用户输入的第一对话的问题信息之前，还包括：预先建立第一种子数据库，所述第一种子数据库中包含由不同对话的问题信息，以及不同对话的问题信息对应的知识文档和知识内容组成的提示样本。5.如权利要求4所述的方法，其特征在于，根据第一对话的问题信息检索第一种子数据库，得到多个第一提示样本，包括：采用预先训练好的句子编码器，获取第一种子数据库中每个提示样本对应的向量，以及第一对话的问题信息对应的向量；计算第一种子数据库中每个提示样本对应的向量，与第一对话的问题信息对应的向量之间的余弦相似度；将计算得到的余弦相似度，作为第一种子数据库中每个提示样本与第一对话的问题信息的相似度；将第一种子数据库中与第一对话的问题信息的相似度不小于第二预设阈值的提示样本，作为第一提示样本。6.如权利要求1所述的方法，其特征在于，在接收用户输入的第一对话的问题信息之前，还包括：预先建立第二种子数据库，所述第二种子数据库中包含由不同对话的问题信息，以及不同对话的问题信息对应的知识内容和回复信息组成的提示样本。7.如权利要求6所述的方法，其特征在于，根据第一对话的问题信息检索第二种子数据库，得到多个第二提示样本，包括：采用预先训练好的句子编码器，获取第二种子数据库中每个提示样本对应的向量，以
及第一对话的问题信息对应的向量；计算第二种子数据库中每个提示样本对应的向量，与第一对话的问题信息对应的向量之间的余弦相似度；将计算得到的余弦相似度，作为第二种子数据库中每个提示样本与第一对话的问题信息的相似度；将第二种子数据库中与第一对话的问题信息的相似度不小于第三预设阈值的提示样本，作为第二提示样本。8.如权利要求1所述的方法，其特征在于，所述知识内容表征根据对话的问题信息，以及与对话的问题信息相关的知识文档推理得到的新知识。9.如权利要求1所述的方法，其特征在于，所述大规模预训练语言模型包括以下模型其中之一：GPT
‑
3模型、GLM模型或ERNIE模型。10.一种对话生成装置，其特征在于，包括：问题信息接收模块，用于接收用户输入的第一对话的问题信息；文档知识库检索模块，用于根据第一对话的问题信息检索文档知识库，得到多个第一知识文档；第一种子数据库检索模块，用于根据第一对话的问题信息检索第一种子数据库，得到多个第一提示样本，其中第一提示样本包括对话的问题信息，以及对话的问题信息对应的知识文档和知识内容；第一知识内容输出...

【专利技术属性】
技术研发人员：周婉月，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：