一种基于动态Prompt生成闲聊答复的方法、装置、设备及介质制造方法及图纸

本申请公开了一种基于动态Prompt生成闲聊答复的方法、装置、设备及介质，用以解决现有的Prompt针对不同的query，每次Prompt提示都是相同的，无法满足对话生成任务对生成的闲聊答复语义和语法连贯、且不乏味要求的问题。方法包括：确定训练数据中的请求和上下文并通过嵌入层对请求和上下文进行嵌入式表达，获取对应的表达结果；通过动态调整Prompt层的神经网络参数得到对应的控制层；将请求对应的表达结果分别输入至GPT2层和控制层中，并将上下文对应的表达结果输入至GPT2层中；确定GPT2层生成的请求的表达结果对应的若干个待答复闲聊数据，并将若干个待答复闲聊数据和上下文输入至MMI层，确定训练数据对应的目标闲聊答复数据，符合上下文语法和语义连贯的要求。符合上下文语法和语义连贯的要求。符合上下文语法和语义连贯的要求。

【技术实现步骤摘要】
一种基于动态Prompt生成闲聊答复的方法、装置、设备及介质


[0001]本申请涉及智能机器人
，尤其涉及一种基于动态Prompt生成闲聊答复的方法、装置、设备及介质。

技术介绍

[0002]智能问答目前已经成为智能机器人的必备技能，闲聊作为智能问答中的一个重要技能，经常作为问答兜底的功能，使的用户体验更加友好。目前，闲聊常用的模型有继续搜索，例如ElasticSearch框架。这种我们需要存储大量语料到数据库中，然后通过语法信息和语义信息进行候选答案的获取，找到相似的问题，并把相应的答案进行返回。
[0003]另一种就是通过生成方式，例如自回归的神经网络模型GPT，用户通过预训练好的GPT模型，然后在目标任务上进行微调。利用Prompt技术能够解决fine
‑
tune模式下的弊端，通过为每个子任务设计一个Prompt提示，例如我们有个情感分析分类任务，判断一句话是积极还是悲观一面，我们可以这么做，“今天天气很不错啊，我的心情很[Mask]”，我的心情很[Mask]这个就是一个Prompt。Mask位置我们预测出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态Prompt生成闲聊答复的方法，其特征在于，所述方法包括：确定出训练数据中的请求和上下文，并通过嵌入层对所述请求和上下文进行嵌入式表达，以获取对应的表达结果；通过对Prompt层的神经网络参数进行动态调整，得到对应的控制层；将所述请求对应的表达结果分别输入至GPT2层和所述控制层中，并将所述上下文对应的表达结果输入至所述GPT2层中；确定出所述GPT2层生成的所述请求的表达结果对应的若干个待答复闲聊数据，并将所述若干个待答复闲聊数据和所述上下文输入至MMI层，以确定所述训练数据对应的目标闲聊答复数据。2.根据权利要求1所述的一种基于动态Prompt生成闲聊答复的方法，其特征在于，所述将所述请求对应的表达结果分别输入至GPT2层和所述控制层中，并将所述上下文对应的表达结果输入至所述GPT2层中之后，所述方法还包括：通过所述控制层，对所述请求对应的表达结果和所述上下文对应的表达结果进行预训练；预测出所述表达结果中被覆盖的词语，并预测所述请求对应的表达结果和所述上下文对应的表达结果是否相邻，以完成对所述表达结果的预训练。3.根据权利要求2所述的一种基于动态Prompt生成闲聊答复的方法，其特征在于，所述预测出所述表达结果中被覆盖的词语，并预测所述请求对应的表达结果和所述上下文对应的表达结果是否相邻，以完成对所述表达结果的预训练之后，所述方法还包括：基于动态Prompt，将所述表达结果中的所有下游任务均转换为对应的预训练任务，并基于所述对应的预训练任务，预测出所述表达结果中被覆盖的词语；针对不同的训练数据，分别生成所述训练数据对应的动态Prompt，以通过所述动态Prompt为对应的训练数据进行提示。4.根据权利要求2所述的一种基于动态Prompt生成闲聊答复的方法，其特征在于，所述通过所述控制层，对所述请求对应的表达结果和所述上下文对应的表达结果进行预训练，具体包括：通过所述控制层中的多头自注意力层，对所述请求对应的表达结果进行分词，并为分词后的所述请求的表达结果编码对应的token；通过嵌入层获取所述token的多维向量，并对所述token的多维向量和控制层进行自注意力处理，以实现对所述表达结果的预训练。5.根据权利要求1所述的一种基于动态Prompt生成闲聊答复的方法，其特征在于，所述将所述若干个待答复闲聊数据和所述上下文输入至MMI层之后，所述方法还包括：根据所述训练数据的上下文生成所述训练数据对应的待答复闲聊数据，并计...

【专利技术属性】
技术研发人员：冯落落，李沛，李晓瑜，
申请(专利权)人：山东新一代信息产业技术研究院有限公司，
类型：发明
国别省市：