一种多模态融合交互系统、方法、智能机器人及存储介质技术方案

本发明专利技术公开一种多模态融合交互系统，包括：信息获取模块，用于获取多个信息感知设备采集的目标人体的信息；融合分析模块，用于对获取的多个信息进行分析融合，以获得所述目标人体的融合需求；需求发送模块，用于将所述融合需求发送至云端服务器，以使得所述云端服务器对所述融合需求进行解析，生成并返回对应的答案；交互模块，用于将所述答案通过预定的方式进行反馈。本发明专利技术提供的多模态融合交互系统，通过对获取的目标人体的信息进行融合分析，得到相应于每个目标人体的融合需求，从而可以根据不同用户的情况得到不同的答案，丰富了人机交互的方式，使得问题的反馈更多样，更符合用户的需求。

A multimodal fusion interactive system, method, intelligent robot and storage medium

【技术实现步骤摘要】
一种多模态融合交互系统、方法、智能机器人及存储介质
本专利技术涉及智能机器人领域，尤其涉及一种多模态融合交互系统、方法、智能机器人及存储介质。
技术介绍
人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。机器人是人工智能最重要的研究方向，人机交互是机器人研究的主要方向之一，是实现人和机器人进行“沟通”的前提。一般情况中，机器人主要是通过各种传感器或者信息采集设备来采集人的信息，并根据获取的信息进行反馈。例如，根据用户发出的语音、输入的文字或者图片信息来获取用户的需求，并根据需求进行反馈，这种方式存在交互和反馈的方式比较单一，不能根据不同用户的实际情况做出不同的反馈，无法给用户以多样本文档来自技高网...

【技术保护点】
1.一种多模态融合交互系统，其特征在于，包括：/n信息获取模块，用于获取多个信息感知设备采集的目标人体的多模态信息；/n融合分析模块，用于对获取的多个多模态信息进行融合，以获得所述目标人体的融合需求；/n需求发送模块，用于将所述融合需求发送至云端服务器，以使得所述云端服务器对所述融合需求进行解析，生成并返回对应的答案；/n交互模块，用于将所述答案通过预定的方式进行反馈。/n

【技术特征摘要】
1.一种多模态融合交互系统，其特征在于，包括：
信息获取模块，用于获取多个信息感知设备采集的目标人体的多模态信息；
融合分析模块，用于对获取的多个多模态信息进行融合，以获得所述目标人体的融合需求；
需求发送模块，用于将所述融合需求发送至云端服务器，以使得所述云端服务器对所述融合需求进行解析，生成并返回对应的答案；
交互模块，用于将所述答案通过预定的方式进行反馈。


2.根据权利要求1所述的多模态融合交互系统，其特征在于，所述信息感知设备至少包括以下其中之一：摄像头、拾音器、距离检测器、红外感应器；则对应的目标人体的多模态信息包括：目标人体的图像、目标人体发出的语音、与目标人体的距离、目标人体的红外信息。


3.根据权利要求1所述的多模态融合交互系统，其特征在于，所述融合分析模块具体包括：
特征提取单元，用于对获取的目标人体的多个多模态信息进行特征提取，以获取包含在多个多模态信息中的需求信息以及所述目标人体的人体特征；
融合单元，用于根据所述目标人体的人体特征以及所述需求信息进行融合，生成融合需求。


4.根据权利要求3所述的多模态融合交互系统，其特征在于，所述人体特征包括以下其中之一：目标人体的年龄、性别、当前情绪。


5.根据权利要求3所述的多模态融合交互系统，其特征在于，所述交互模块具体用于：
对所述答案进行遍历，以获取所述答案中包括的特定关键词；
获取与所述关键词对应的多种反馈方式；
根据所述目标人体的人体特征选取对应的反馈方式；
根据与所述特定关键词对应的反馈方式对所述答案或所述...

【专利技术属性】
技术研发人员：董文平，
申请(专利权)人：广州极天信息技术股份有限公司，
类型：发明
国别省市：广东;44