信息生成方法、训练方法、装置、电子设备以及存储介质制造方法及图纸

本公开提供了一种信息生成方法、训练方法、装置、电子设备以及存储介质，涉及人工智能技术领域，尤其涉及自然语言处理和深度学习技术领域。具体实现方案为：对查询信息进行语义理解，得到理解信息，其中，查询信息包括历史对话信息，理解信息包括对象动作和对话状态；响应于检测到辅助请求指令，根据查询信息和理解信息，得到辅助请求信息；根据查询信息、理解信息和辅助请求信息，生成对话应答信息。生成对话应答信息。生成对话应答信息。

【技术实现步骤摘要】
信息生成方法、训练方法、装置、电子设备以及存储介质


[0001]本公开涉及人工智能
，尤其涉及自然语言处理和深度学习
具体地，涉及一种信息生成方法、训练方法、装置、电子设备以及存储介质。

技术介绍

[0002]随着人工智能技术的发展，可以利用人工智能技术实现任务型对话(Task Oriented Dialogue，TOD)。
[0003]任务型对话可以指系统需要通过有限的对话回合并访问外部数据库，以引导用户完成对话任务和实现对话目的。例如，对话任务可以包括以下至少之一：查询任务、推荐任务和预约任务。对话目的可以包括以下至少之一：查询天气、推荐景点和预约酒店等。

技术实现思路

[0004]本公开提供了一种信息生成方法、训练方法、装置、电子设备以及存储介质。
[0005]根据本公开的一方面，提供了一种信息生成方法，包括：对查询信息进行语义理解，得到理解信息，其中，上述查询信息包括历史对话信息，上述理解信息包括对象动作和对话状态；响应于检测到辅助请求指令，根据上述查询信息和上述理解信息，得到辅助请求信息；以及，根据上述查询信息、上述理解信息和上述辅助请求信息，生成对话应答信息。
[0006]根据本公开的另一方面，提供了一种预训练模型的训练方法，包括：对第一样本查询信息进行语义理解，得到第一样本理解信息，其中，上述第一样本查询信息包括第一样本历史对话信息，上述第一样本理解信息包括第一样本对象动作和第一样本对话状态；根据上述第一样本查询信息和上述第一样本理解信息，得到第一样本辅助请求信息；根据上述第一样本查询信息、上述第一样本理解信息和上述第一样本辅助请求信息，生成第一样本对话应答信息；以及，利用上述第一样本查询信息、上述第一样本理解信息和上述第一样本对话应答信息训练预训练对话生成模型，得到信息生成模型。
[0007]根据本公开的另一方面，提供了一种信息生成装置，包括：第一语义理解模块，用于对查询信息进行语义理解，得到理解信息，其中，上述查询信息包括历史对话信息，上述理解信息包括对象动作和对话状态；第一获得模块，用于响应于检测到辅助请求指令，根据上述查询信息和上述理解信息，得到辅助请求信息；以及，第一生成模块，用于根据上述查询信息、上述理解信息和上述辅助请求信息，生成对话应答信息。
[0008]根据本公开的另一方面，提供了一种预训练模型的训练装置，包括：第二语义理解模块，用于对第一样本查询信息进行语义理解，得到第一样本理解信息，其中，上述第一样本查询信息包括第一样本历史对话信息，上述第一样本理解信息包括第一样本对象动作和第一样本对话状态；第二获得模块，用于根据上述第一样本查询信息和上述第一样本理解信息，得到第一样本辅助请求信息；第二生成模块，用于根据上述第一样本查询信息、上述第一样本理解信息和上述第一样本辅助请求信息，生成第一样本对话应答信息；以及，训练模块，用于利用上述第一样本查询信息、上述第一样本理解信息和上述第一样本对话应答
信息训练预训练对话生成模型，得到信息生成模型。
[0009]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行如本公开所述的方法。
[0010]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行如本公开所述的方法。
[0011]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如本公开所述的方法。
[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0014]图1示意性示出了根据本公开实施例的可以应用信息生成方法、预训练模型的训练方法及装置的示例性系统架构；
[0015]图2示意性示出了根据本公开实施例的信息生成方法的流程图；
[0016]图3A示意性示出了根据本公开实施例的信息生成过程的示例示意图；
[0017]图3B示意性示出了根据本公开另一实施例的信息生成过程的示例示意图；
[0018]图4A示意性示出了根据本公开实施例的根据第一融合信息，生成对话应答信息的示例示意图；
[0019]图4B示意性示出了根据本公开另一实施例的根据第一融合信息，生成对话应答信息的示例示意图；
[0020]图4C示意性示出了根据本公开另一实施例的根据第一融合信息，生成对话应答信息的示例示意图；
[0021]图4D示意性示出了根据本公开另一实施例的根据第一融合信息，生成对话应答信息的示例示意图；
[0022]图5A示意性示出了根据本公开实施例的对查询信息进行语义理解，得到理解信息的示例示意图；
[0023]图5B示意性示出了根据本公开另一实施例的对查询信息进行语义理解，得到理解信息的示例示意图；
[0024]图6示意性示出了根据本公开实施例的预训练模型的训练方法的流程图；
[0025]图7A示意性示出了根据本公开实施例的真实语料集的生成方法的示例示意图；
[0026]图7B示意性示出了根据本公开实施例的模拟语料集的生成方法的示例示意图；
[0027]图8示意性示出了根据本公开实施例的信息生成装置的框图；
[0028]图9示意性示出了根据本公开实施例的预训练模型的训练装置的框图；以及
[0029]图10示意性示出了根据本公开实施例的适于实现信息生成方法和预训练模型的训练方法的电子设备的框图。
具体实施方式
[0030]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0031]为此，本公开实施例提出了一种信息生成方案。例如，对查询信息进行语义理解，得到理解信息。查询信息包括历史对话信息，理解信息包括对象动作和对话状态。响应于检测到辅助请求指令，根据查询信息和理解信息，得到辅助请求信息。根据查询信息、理解信息和辅助请求信息，生成对话应答信息。
[0032]根据本公开的实施例，由于理解信息是通过对查询信息进行语义理解得到的，由此，能够获得对话理解的理解信息。由于辅助请求信息是响应于检测到辅助请求指令，根据查询信息和理解信息得到的，因此能够有效利用外部的知识。在此基础上，通过根据查询信息、理解信息和辅助请求信息，生成对话应答信息，提高了对话应答信息的准确性。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息生成方法，包括：对查询信息进行语义理解，得到理解信息，其中，所述查询信息包括历史对话信息，所述理解信息包括对象动作和对话状态；响应于检测到辅助请求指令，根据所述查询信息和所述理解信息，得到辅助请求信息；以及根据所述查询信息、所述理解信息和所述辅助请求信息，生成对话应答信息。2.根据权利要求1所述的方法，其中，所述根据所述查询信息、所述理解信息和所述辅助请求信息，生成对话应答信息，包括：从数据源中确定与所述辅助请求信息对应的辅助应答信息；以及根据所述查询信息、所述理解信息和所述辅助应答信息，生成所述对话应答信息。3.根据权利要求2所述的方法，其中，所述根据所述查询信息、所述理解信息和所述辅助应答信息，生成所述对话应答信息，包括：将所述查询信息、所述理解信息和所述辅助应答信息进行融合，得到第一融合信息；以及根据所述第一融合信息，生成所述对话应答信息。4.根据权利要求3所述的方法，其中，所述根据所述第一融合信息，生成所述对话应答信息，包括：对所述第一融合信息进行编码，得到第一编码信息；对所述第一编码信息进行自解码，得到中间解码信息；以及根据所述第一编码信息和所述中间解码信息，生成所述对话应答信息。5.根据权利要求3所述的方法，其中，所述根据所述第一融合信息，生成所述对话应答信息，包括：对所述第一融合信息进行编码，得到第二编码信息；以及对所述第二编码信息进行解码，得到所述对话应答信息。6.根据权利要求3所述的方法，其中，所述根据所述第一融合信息，生成所述对话应答信息，包括：根据所述第一融合信息，生成至少一个第一候选对话应答信息；分别将所述至少一个第一候选对话应答信息和所述第一融合信息进行融合，得到至少一个第二融合信息；以及根据所述至少一个第二融合信息，从所述至少一个第一候选对话应答信息中确定所述对话应答信息。7.根据权利要求3所述的方法，其中，所述根据所述第一融合信息，生成所述对话应答信息，包括：分别将至少一个第一隐变量信息和所述第一融合信息进行融合，得到至少一个第三融合信息；根据所述至少一个第三融合信息，生成至少一个第二候选对话应答信息；以及根据与所述至少一个第二候选对话应答信息对应的评估值，从所述至少一个第二候选对话应答信息中确定所述对话应答信息。8.根据权利要求1～7中任一项所述的方法，其中，所述对查询信息进行语义理解，得到
理解信息，包括：分别将至少一个第二隐变量信息和所述查询信息进行融合，得到至少一个第四融合信息；根据所述至少一个第四融合信息，生成至少一个第一候选理解信息；以及根据与所述至少一个第一候选理解信息对应的评估值，从所述至少一个第一候选理解信息中确定所述理解信息。9.根据权利要求1～7中任一项所述的方法，其中，所述对查询信息进行语义理解，得到理解信息，包括：根据所述查询信息，生成至少一个第二候选理解信息；分别将所述至少一个第二候选理解信息和所述查询信息进行融合，得到至少一个第五融合信息；以及根据所述至少一个第五融合信息，从所述至少一个第二候选理解信息中确定所述理解信息。10.根据权利要求1～9中任一项所述的方法，还包括：响应于检测到非辅助请求指令，直接根据所述查询信息和所述理解信息，生成所述对话应答信息。11.根据权利要求1～10中任一项所述的方法，其中，所述查询信息还包括查询词槽。12.根据权利要求1～11中任一项所述的方法，其中，所述历史对话信息包括系统历史对话信息和对象历史对话信息，所述系统历史对话信息包括系统标识和与所述系统标识对应的历史对话信息，所述对象历史对话信息包括对象标识和与所述对象标识对应的历史对话信息；所述理解信息还包括与所述对象动作对应的动作标识和与所...

【专利技术属性】
技术研发人员：李彬，胡江鹭，孙辉丰，孙叔琦，常月，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：