用于人机交互的方法、电子设备和计算机可读存储介质技术

本公开的实施例提供了用于人机交互的方法、电子设备和计算机可读存储介质。该方法包括：响应于检测到交互对象的输入请求，获取关于交互对象的多种类型的数据，多种类型的数据包括图像数据、语音数据、文本数据、行为数据和数值类数据中的至少两种类型的数据；提取多种类型的数据的特征；基于多种类型中的同一类型的数据的特征之间的相关性以及多种类型中的不同类型的数据的特征之间的相关性，确定注意力权重；基于注意力权重，融合多种类型的数据的特征，以确定交互对象的情感数据；以及基于输入请求和情感数据，生成针对输入请求的会话输出。本公开能够综合交互对象的多模态输入，针对交互对象在不同时段的情感特点匹配合适的会话回复。

Methods, electronic devices and computer-readable storage media for human-computer interaction

【技术实现步骤摘要】
用于人机交互的方法、电子设备和计算机可读存储介质
本公开涉及人机交互，更具体地，涉及用于人机交互的方法、电子设备和计算机可读存储介质。
技术介绍
传统的人机交互的方案例如是：交互设备响应于交互对象(例如用户)经由鼠标等输入手段所输入的请求，确定匹配会话回复，以便与交互对象进行交互。传统的人机交互的方案一般仅针对交互对象的有限维度的输入请求进行响应，例如仅仅基于交互对象的触摸输入、语音输入或者文字输入来进行响应，无法综合交互对象的多模态输入而动态地进行实时匹配响应，也无法针对交互对象在不同时段的情感特点进行匹配的响应，因此难以提高交互内容的准确性和用户体验。
技术实现思路
本公开提供一种用于人机交互的方法和装置，能够综合交互对象的多模态输入，针对交互对象在不同时段的情感特点匹配合适的会话回复。根据本公开的第一方面，提供了一种人机交互的方法。该方法包括：响应于检测到交互对象的输入请求，获取关于交互对象的多种类型的数据，多种类型的数据包括图像数据、语音数据、文本数据、行为数据和数值类数据中的至少两种类型的数据；提取多种类型的数据的特征；基于多种类型中的同一类型的数据的特征之间的相关性以及多种类型中的不同类型的数据的特征之间的相关性，确定注意力权重；基于注意力权重，融合多种类型的数据的特征，以确定交互对象的情感数据；以及基于输入请求和情感数据，生成针对输入请求的会话输出。根据本专利技术的第二方面，还提供一种用于人机交互的电子设备。该设备包括：存储器，被配置为存储一个或多个程序；处理单元，耦合至存储器并且被配置为执行一个或多个程序使系统执行根据本公开的第一方面的方法。根据本公开的第三方面，提供了一种非瞬态计算机可读存储介质。该非瞬态计算机可读存储介质上存储有机器可执行指令，机器可执行指令在被执行时使机器执行根据本公开的第一方面的方法。提供
技术实现思路
部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。
技术实现思路
部分无意标识本公开的关键特征或主要特征，也无意限制本公开的范围。附图说明通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。图1示出了根据本公开的实施例的用于人机交互的系统100的架构图；图2示出了根据本公开的实施例的用于人机交互的方法200的流程图；图3示出了根据本公开的实施例的会话模块300的示意图；图4示出了根据本公开的实施例的用于生成针对输入请求的会话输出的方法400的流程图；图5示出了根据本公开的实施例的用于确定会话引擎的方法500的流程图；图6示出了根据本公开的实施例的用于构建分类模型的TextCNN结构的示意图；图7示出了根据本公开的实施例的用于识别情感的方法700的流程图；图8示出了根据本公开的实施例的用于确定注意力权重的方法的示意图；以及图9示意性示出了适于用来实现本公开实施例的电子设备900的框图。在各个附图中，相同或对应的标号表示相同或对应的部分。具体实施方式下面将参照附图更详细地描述本公开的优选实施例。虽然附图中下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。如上文所描述的，在传统的人机交互的方案中，仅针对交互对象的有限维度的输入请求来确定用于响应的会话回复，无法综合交互对象的多模态输入进行实时动态的响应，也无法针对交互对象在不同时段的情感特点进行匹配的响应，因此难以提高用户体验。为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个，本公开的示例实施例提出了一种用于人机交互的方案。在该方案中，响应于检测到交互对象的输入请求，获取关于交互对象的多种类型的数据，多种类型的数据包括图像数据、语音数据、文本数据、行为数据和数值类数据中的至少两种类型的数据；提取多种类型的数据的特征；基于多种类型中的同一类型的数据的特征之间的相关性以及多种类型中的不同类型的数据的特征之间的相关性，确定注意力权重；基于注意力权重，融合多种类型的数据的特征，以确定交互对象的情感数据；以及基于输入请求和情感数据，生成针对输入请求的会话输出。在上述方案中，通过提取交互对象的多种类型的数据的特征，以及基于同一类型的数据特征之间的相关性以及不同类型的数据特征之间的相关性来确定注意力权重；并且基于融合多种类型的数据的特征的情感数据生成针对输入请求的会话输出，本公开能够实现综合交互对象的多模态输入数据进行实时动态的响应，以及针对交互对象在不同时段的情感特点进行匹配的响应。图1示出了根据本公开的实施例的用于识别对象的系统100的架构图。如图1所示，系统100包括人机交互设备110、业务系统130、交互对象122的用户终端120(例如是移动设备)、第三方设备140和142。人机交互设备110、业务系统130、和用户终端120、第三方设备140和142例如通过网络160、基站150进行数据交互。人机交互设备110用于与交互对象122(例如用户)进行人机交互，例如针对交互对象122的输入请求回复对应的会话输出。在一些实施例中，人机交互设备110可以通过显示器112所呈现的虚拟形象114与交互对象122直接(面对面)或者经由移动设备120来进行人机交互。人机交互设备110例如而不限于是计算机、服务器。人机交互设备110可以具有一个或多个处理单元，包括诸如GPU、FPGA和ASIC等的专用处理单元以及诸如CPU的通用处理单元。另外，在人机交互设备110上也可以运行着一个或多个虚拟机。在一些实施例中，人机交互设备110例如至少包括输入采集装置、输出装置、控制单元。在一些实施例中，人机交互设备110如果接收到交互对象122的输入请求，可以实时采集关于交互对象122的多模态数据(即多种类型的数据，例如至少包括：图像数据、语音数据、文本数据、行为数据和数值类数据)。人机交互设备110还可以针对所采集的多模态数据进行清洗，以便进行异常值处理、空缺值填充等，以及针对多模态数据进行处理，以形成不同类型的数据的特征向量。人机交互设备110还可以基于注意力权重，经由融合不同类型的数据的特征向量，生成关于交互对象122的输入请求的情感数据。人机交互设备110还可以基于交互对象122的输入请求和所生成的本文档来自技高网...

【技术保护点】
1.一种用于人机交互的方法，包括：/n响应于检测到交互对象的输入请求，获取关于所述交互对象的多种类型的数据，所述多种类型的数据包括图像数据、语音数据、文本数据、行为数据和数值类数据中的至少两种类型的数据；/n提取所述多种类型的数据的特征；/n基于所述多种类型中的同一类型的数据的特征之间的相关性以及所述多种类型中的不同类型的数据的特征之间的相关性，确定注意力权重；/n基于所述注意力权重，融合所述多种类型的数据的特征，以确定所述交互对象的情感数据；以及/n基于所述输入请求和所述情感数据，生成针对所述输入请求的会话输出。/n

【技术特征摘要】
1.一种用于人机交互的方法，包括：
响应于检测到交互对象的输入请求，获取关于所述交互对象的多种类型的数据，所述多种类型的数据包括图像数据、语音数据、文本数据、行为数据和数值类数据中的至少两种类型的数据；
提取所述多种类型的数据的特征；
基于所述多种类型中的同一类型的数据的特征之间的相关性以及所述多种类型中的不同类型的数据的特征之间的相关性，确定注意力权重；
基于所述注意力权重，融合所述多种类型的数据的特征，以确定所述交互对象的情感数据；以及
基于所述输入请求和所述情感数据，生成针对所述输入请求的会话输出。


2.根据权利要求1所述的方法，其中确定注意力权重包括：
基于所述多种类型中的同一类型的数据的特征之间的相关性，生成第一注意力权重；以及
基于所述多种类型中的不同类型的数据的所提取特征之间的相关性，生成第二注意力权重。


3.根据权利要求1所述的方法，其中生成针对所述输入请求的会话输出包括：
基于所述输入请求的数据类型，确定匹配的会话引擎；以及
基于所确定的匹配的会话引擎，生成所述会话输出。


4.根据权利要求1所述的方法，其中基于所述输入请求的数据类型确定匹配的会话引擎包括：
响应与确定所述输入请求的数据类型为文本数据，将基于表格数据的会话引擎、基于知识图谱的会话引擎、基于非结构化数据的会话引擎中的至少一个会话引擎确定为匹配的会话引擎；以及
响应与确定所述输入请求的数据类型为语音数据，将基于QA对的会话引擎和基于规则的会话引擎中的至少一个会话引擎确定为匹配的会话引擎。


5.根据权利要求1所述的方法，其中生成针对所述输入请求的会话输出包括：
获取所述交互对...

【专利技术属性】
技术研发人员：杨洋，李锋，万化，张琛，胡瑛皓，王震，
申请(专利权)人：上海浦东发展银行股份有限公司，
类型：发明
国别省市：上海;31