对话生成方法及装置、对话预测模型的训练方法及装置制造方法及图纸

本申请涉及一种对话生成方法及装置、对话预测模型的训练方法及装置。方法包括：在第t轮对话中，接收客户端发送的第t轮用户输入信息，其中，t为正整数；采用对话预测模型根据第t轮用户输入信息及第t

【技术实现步骤摘要】
对话生成方法及装置、对话预测模型的训练方法及装置
[0001]本申请要求于2022年04月01日提交中国专利局、申请号为202210337166.7、申请名称为“对话生成方法及装置、对话预测模型的训练方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。


[0002]本申请涉及人工智能领域，特别是涉及一种对话生成方法及装置、对话预测模型的训练方法及装置。

技术介绍

[0003]随着人工智能的发展，人机对话系统正成为越来越热门的研究领域。根据目的不同，对话系统可以分为闲聊型、问答型、任务型等各个分支。其中任务型对话系统的主要作用是根据用户意图帮助用户完成某个特定的任务，如预定餐馆、查询车票等等。
[0004]任务型对话通常需要经由人机互相对话多个轮次完成，系统在每一轮中会基于当前轮次的用户输入进行对话预测，进而生成自然语言对用户进行回复。
[0005]相关任务中，大多数任务型对话系统在当前轮次预测时，均是基于之前全部轮次的对话历史进行的。由于全部轮次的对话历史序列长度较长，这种系统在进行对话预测时，存在耗时长，响应慢的问题。

技术实现思路

[0006]基于此，有必要针对上述技术问题，提供一种能够缩短耗时，提高预测效率的对话生成方法及装置、对话预测模型的训练方法及装置。
[0007]第一方面，本申请提供了一种对话生成方法，所述方法包括：
[0008]在第t轮对话中，接收客户端发送的第t轮用户输入信息，其中，t为正整数；
[0009]采用对话预测模型根据所述第t轮用户输入信息及第t
‑
1轮预测信息进行对话预测，得到第t轮系统回复信息，所述第t
‑
1轮预测信息包括第t
‑
1轮对话状态和第t
‑
1轮系统回复信息；
[0010]向所述客户端反馈所述第t轮系统回复信息。
[0011]在其中一个实施例中，所述对话预测模型包括状态预测模型、动作预测模型及系统回复预测模型，
[0012]所述采用对话预测模型根据所述第t轮用户输入信息及第t
‑
1轮预测信息进行对话预测，得到第t轮系统回复信息，还包括：
[0013]将所述第t轮用户输入信息、所述第t
‑
1轮对话状态和所述第t
‑
1轮系统回复信息输入所述状态预测模型进行预测处理，得到第t轮对话状态；
[0014]根据所述第t轮对话状态，从对话库中查询对应的第t轮数据库结果；
[0015]将所述第t轮对话状态、所述第t轮数据库结果、所述第t轮用户输入信息和所述第t
‑
1轮系统回复信息输入所述动作预测模型进行预测处理，得到第t轮系统动作；
[0016]将所述第t轮系统动作、所述第t轮对话状态、所述第t轮数据库结果、所述第t轮用户输入信息和所述第t
‑
1轮系统回复信息输入所述系统回复预测模型进行预测处理，得到第t轮系统回复信息。
[0017]在其中一个实施例中，所述方法还包括：
[0018]在存在第t+1轮对话的情况下，将所述第t轮对话状态和所述第t轮系统回复信息，存储至缓存空间；
[0019]在所述第t+1轮对话完成后，从所述缓存空间中删除所述第t轮对话状态和所述第t轮系统回复信息。
[0020]第二方面，本申请还提供了一种对话预测模型的训练方法，所述对话预测模型应用于对话系统，所述方法包括：
[0021]获取训练集，所述训练集包括多个样本组，所述样本组包括样本数据及所述样本数据的目标预测结果，所述样本数据包括第i轮用户输入信息及第i
‑
1轮预测信息，所述第i
‑
1轮预测信息包括第i
‑
1轮对话状态和第i
‑
1轮系统回复信息，其中，i为正整数；
[0022]通过初始对话预测模型对所述样本数据进行处理，得到所述样本数据对应的第i轮预测结果；
[0023]根据所述样本数据对应的第i轮预测结果及所述样本数据的目标预测结果，确定所述初始对话预测模型的预测损失；
[0024]根据所述初始对话预测模型的预测损失，训练所述初始对话预测模型，得到所述对话预测模型。
[0025]在其中一个实施例中，所述对话预测模型包括状态预测模型、动作预测模型及系统回复预测模型，
[0026]所述通过初始对话预测模型对所述样本数据进行处理，得到所述样本数据对应的第i轮预测结果，包括：
[0027]将所述第i轮用户输入信息、所述第i
‑
1轮对话状态和所述第i
‑
1轮系统回复信息输入所述状态预测模型进行预测处理，得到第i轮预测对话状态；
[0028]根据所述第i轮预测对话状态，从对话库中查询对应的第i轮预测数据库结果；
[0029]将所述第i轮预测对话状态、所述第i轮预测数据库结果、所述第i轮用户输入信息和所述第i
‑
1轮系统回复信息输入所述动作预测模型进行预测处理，得到第i轮预测系统动作；
[0030]将所述第i轮预测系统动作、所述第i轮预测对话状态、所述第i轮预测数据库结果、所述第i轮用户输入信息和所述第i
‑
1轮系统回复信息输入系统回复预测模型进行预测处理，得到第i轮预测系统回复信息。
[0031]在其中一个实施例中，所述样本数据的目标预测结果包括第i轮对话状态、第i轮数据库结果、第i轮系统动作，第i轮系统回复信息，
[0032]所述根据所述样本数据对应的第i轮预测结果及所述样本数据的目标预测结果，确定所述初始对话预测模型的预测损失，包括：
[0033]根据所述第i轮预测对话状态与所述第i轮对话状态、所述第i轮预测数据库结果与所述第i轮数据库结果、所述第i轮预测系统动作与所述第i轮系统动作、所述第i轮预测系统回复信息与所述第i轮系统回复信息的差异确定所述初始对话预测模型的预测损失。
[0034]第三方面，本申请还提供了一种对话生成装置，所述装置包括：
[0035]接收模块，用于在第t轮对话中，接收客户端发送的第t轮用户输入信息，其中，t为正整数；
[0036]预测模块，用于采用对话预测模型根据所述第t轮用户输入信息及第t
‑
1轮预测信息进行对话预测，得到第t轮系统回复信息，所述第t
‑
1轮预测信息包括第t
‑
1轮对话状态和第t
‑
1轮系统回复信息；
[0037]反馈模块，用于向所述客户端反馈所述第t轮系统回复信息。
[0038]在其中一个实施例中，所述预测模块，还用于：
[0039]将所述第t轮用户输入信息、所述第t
‑
1轮对话状态和所述第t
‑
1轮系统回复信息输入所述状态预测模型进行预测处理，得到第t轮对话状态；
[0040]根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对话生成方法，其特征在于，所述方法包括：在第t轮对话中，接收客户端发送的第t轮用户输入信息，其中，t为正整数；采用对话预测模型根据所述第t轮用户输入信息及第t
‑
1轮预测信息进行对话预测，得到第t轮系统回复信息，所述第t
‑
1轮预测信息包括第t
‑
1轮对话状态和第t
‑
1轮系统回复信息；向所述客户端反馈所述第t轮系统回复信息。2.根据权利要求1所述的方法，其特征在于，所述对话预测模型包括状态预测模型、动作预测模型及系统回复预测模型，所述采用对话预测模型根据所述第t轮用户输入信息及第t
‑
1轮预测信息进行对话预测，得到第t轮系统回复信息，包括：将所述第t轮用户输入信息、所述第t
‑
1轮对话状态和所述第t
‑
1轮系统回复信息输入所述状态预测模型进行预测处理，得到第t轮对话状态；根据所述第t轮对话状态，从对话库中查询对应的第t轮数据库结果；将所述第t轮对话状态、所述第t轮数据库结果、所述第t轮用户输入信息和所述第t
‑
1轮系统回复信息输入所述动作预测模型进行预测处理，得到第t轮系统动作；将所述第t轮系统动作、所述第t轮对话状态、所述第t轮数据库结果、所述第t轮用户输入信息和所述第t
‑
1轮系统回复信息输入所述系统回复预测模型进行预测处理，得到第t轮系统回复信息。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在存在第t+1轮对话的情况下，将所述第t轮对话状态和所述第t轮系统回复信息，存储至缓存空间；在所述第t+1轮对话完成后，从所述缓存空间中删除所述第t轮对话状态和所述第t轮系统回复信息。4.一种对话预测模型的训练方法，其特征在于，所述对话预测模型应用于对话系统，所述方法包括：获取训练集，所述训练集包括多个样本组，所述样本组包括样本数据及所述样本数据的目标预测结果，所述样本数据包括第i轮用户输入信息及第i
‑
1轮预测信息，所述第i
‑
1轮预测信息包括第i
‑
1轮对话状态和第i
‑
1轮系统回复信息，其中，i为正整数；通过初始对话预测模型对所述样本数据进行处理，得到所述样本数据对应的第i轮预测结果；根据所述样本数据对应的第i轮预测结果及所述样本数据的目标预测结果，确定所述初始对话预测模型的预测损失；根据所述初始对话预测模型的预测损失，训练所述初始对话预测模型，得到所述对话预测模型。5.根据权利要求4所述的方法，其特征在于，所述对话预测模型包括状态预测模型、动作预测模型及系统回复预测模型，所述通过初始对话预测模型对所述样本数据进行处理，得到所述样本数据对应的第i轮预测结果，包括：将所述第i轮用户输入信息、所述第i
‑
1轮对话状态和所述第i
‑
1轮系统回复信息输入
所述状态预测模型进行预测处理，得到第i...

【专利技术属性】
技术研发人员：欧智坚，刘红，
申请(专利权)人：清华大学，
类型：发明
国别省市：