一种跨模态的双边个性化人机社交对话生成方法及系统技术方案

本发明专利技术公开了一种跨模态的双边个性化人机社交对话生成方法及系统，本发明专利技术包括将对话上下文编码、机器人个性化信息编码、用户个性化信息编码、上一时刻的输出结果的编码进行加权融合得到加权融合编码，再和上一时刻的输出结果的编码一起输入双边个性化生成模型的解码器生成最佳的N条候选回复列表，并选择条件互信息丰度值最大的候选回复作为最终的输出结果。本发明专利技术通过跨模态的方式对个性化信息进行融合，同时考虑了交互双方的人物的个性化信息，在保证回复内容合理、语法通顺、逻辑连贯的前提下，充分利用了交互双方的个性化特征，能够生成富有个性、因人而异的回复。

【技术实现步骤摘要】
一种跨模态的双边个性化人机社交对话生成方法及系统
本专利技术涉及基于人机交互
，尤其涉及一种跨模态的双边个性化人机社交对话生成方法及系统。
技术介绍
随着科技的进步，人机交互逐渐朝智能化、个性化发展，人与机器人的交互愈加的接近真实世界中人与人的交互。传统的人机社交对话生成属于自然语言处理领域，主要研究机器人能够根据用户的文本输入做出自然的回复。不同于人际社交，视觉是人接受外界信息主要的感官来源，人能根据外界的信息做出自然的个性化表达。因此，为了使机器人更加的“类人”化，在人机社交中，机器人不仅需要具备一定的感知能力，还需要能听懂用户的语言，做出自然的、个性化的回复。如何融合计算机视觉与自然语言处理，研究文本、图像等不同模态信息的跨模态融合编码，使机器人根据获取的用户图像和自然语言生成“类人”的个性化表达成为人机自然交互的挑战之一。个性化人机交互，主要研究机器人如何产生与其预设个性或特征相一致的回复，即单边个性化一致的回复。近几年来，基于深度学习的人机交互的研究已经取得了重大进展，在日常生活中使用越来越广泛，例如广为人知的微软小冰、本文档来自技高网...

【技术保护点】
1.一种跨模态的双边个性化人机社交对话生成方法，其特征在于，包括：/n1）将对话上下文编码

【技术特征摘要】
1.一种跨模态的双边个性化人机社交对话生成方法，其特征在于，包括：
1）将对话上下文编码EC、机器人个性化信息编码ET、用户个性化信息编码ES、上一时刻的输出结果的编码Eprev进行加权融合得到加权融合编码Oenc；
2）将加权融合编码Oenc、上一时刻的输出结果的编码Eprev一起输入双边个性化生成模型的解码器，生成最佳的N条候选回复列表；所述双边个性化生成模型被预先训练和建立了输入的加权融合编码、上一时刻的输出结果的编码Eprev和输出的最佳的N条候选回复列表之间的映射关系；
3）计算N条候选回复列表中每一条候选回复的条件互信息丰度值；
4）选择条件互信息丰度值最大的候选回复作为最终的输出结果。


2.根据权利要求1所述的跨模态的双边个性化人机社交对话生成方法，其特征在于，步骤1）之前还包括生成对话上下文编码EC的步骤：将双方个性化属性信息、对话上下文历史合并生成个性化交互历史信息，将个性化交互历史信息与用户当前输入分别进行词嵌入编码得到嵌入向量，然后将嵌入向量进行位置编码得到位置编码向量，将嵌入向量、位置编码向量相加得到对话上下文描述的编码；将对话上下文描述的编码输入双边个性化生成模型的编码器，得到对话上下文编码EC。


3.根据权利要求1所述的跨模态的双边个性化人机社交对话生成方法，其特征在于，步骤1）之前还包括生成机器人个性化信息编码ET的步骤：将预设的机器人个性化描述进行词嵌入编码得到嵌入向量，然后将嵌入向量进行位置编码得到位置编码向量，将嵌入向量、位置编码向量相加得到机器人个性化描述的编码；将机器人个性化描述的编码输入双边个性化生成模型的编码器，得到机器人个性化信息编码ET。


4.根据权利要求1所述的跨模态的双边个性化人机社交对话生成方法，其特征在于，步骤1）之前还包括生成用户个性化信息编码ES的步骤：对用户的图片进行人脸识别提取图像模态的个性化描述信息，对用户的个性化社交对话数据集，个性化社交对话数据集包含交互双方的性别、年龄与兴趣标签的标注信息，对于每一句话都标注有说话人所涉及的双方个性化信息的标签，将个性化社交对话数据集过滤带有不合适词的文本后得到文本模态的个性化描述信息；将图像模态的个性化描述信息、文本模态的个性化描述信息组合得到用户个性化描述；针对得到的用户个性化描述进行词嵌入编码得到嵌入向量，然后将嵌入向量进行位置编码得到位置编码向量，将嵌入向量、位置编码向量相加得到用户个性化描述的编码；将用户个性化描述的编码输入双边个性化生成模型的编码器，得到用户个性化信息编码ES。


5.根据权利要求2或3或4所述的跨模态的双边个性化人机社交对话生成方法，其特征在于，所述进行位置编码的函数表达式如下式所示：



上式中，E(pos,2i)表示字符在2i位置上映射至正弦函数中的位置嵌入编码，E(pos,2i+1)表示字符在2i+1位置上映射至余弦函数中的位置嵌入编码，pos表示字符所在的位置，i表示词嵌入的维度，dmodel表示编码维度，dmodel=512，pos⊆[1,n]，n为进行词嵌入编码的内容长度。


6.根据权利要求1所述的跨模态的双边个性化人机社交对话生成方法，其特征在于，步骤1）中进行加权融合得到加权融合编码Oenc的步骤包括：
S1）将对话上下文编码EC、上一时刻的输出结果的编码Eprev通过多头注意力机制网络进行编码获得经多头自注意力编码后的对话上下文编码OC，将机器人个性化信息编码ET、上一时刻的输出结果的编码Eprev通过多头注意力机制网络进行编码获得经多头自注意力编码后的机器人个性化信息编码OT，将用户个性化信息编码ES、上一时刻的输出结果的编码Eprev通过多头注意力机制网络进行编码获得经多头自注意力编码后的用户个性化信息编码OS，将上一时刻的输出结果的编码Eprev通过带掩码的多头注意力机制网络进行编码获得经多头自注意力编码后的上...

【专利技术属性】
技术研发人员：李树涛，李宾，孙斌，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南;43