用于智能机器人的多模态交互方法及装置制造方法及图纸

本发明专利技术提供一种用于智能机器人的多模态交互方法和装置。其中，该方法包括以下步骤：获取用户的多模态输入信息；解析多模态输入信息中所涉及物体或话题；获取该用户对该物体或该话题产生的脑电波信息，确定多模态人机交互策略，输出对应的多模态输出数据，所述脑电波信息携带用户情绪信息。本发明专利技术通过基于脑电波确定的人机交互策略，结合该策略进行交互，可以增加交互话题，改善用户不良情绪，提高智能机器人的智能性和类人性，增强用户粘性。

【技术实现步骤摘要】
用于智能机器人的多模态交互方法及装置
本专利技术涉及智能机器人领域，具体地说，涉及一种智能机器人的多模态交互方法及装置。
技术介绍
随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素，因此，提高智能机器人的人机交互能力，提升智能机器人的智能性，成为目前亟需解决的重要问题。
技术实现思路
本专利技术的目的在于解决现有技术的上述问题，提供一种用于智能机器人的多模态交互方法。所述方法包括以下步骤：获取用户的多模态输入信息；解析多模态输入信息中所涉及物体信息或话题信息；获取该用户对该物体或该话题产生的脑电波信息，确定多模态人机交互策略，输出对应的多模态输出数据，所述脑电波信息携带用户情绪信息。根据本专利技术的用于智能机器人的多模态交互方法，优选的是，还包括通过如下步骤来预设多模态人机交互策略，预先采集用户在训练环境中的视觉信息、听觉信息和脑电波信息；对所述脑电波信息进行解析，确定用户的情绪；对视觉信息和听觉信息中涉及到的物体或话题进行基于情绪的标记，以生成关于物体或话题多模态输出的策略信息。根据本专利技术的用于智能机器人的多模态交互方法，优选的是，还包括：在输出多模态输出数据之后，采集用户对所述多模态输出数据反馈的脑电波信息，以获取该用户的反馈情绪；将用户反馈的情绪重新确定多模态人机交互策略，输出相匹配的多模态输出数据。根据本专利技术的用于智能机器人的多模态交互方法，优选的是，还包括：获取用户当前情绪状态并根据情绪状态对所述预设的多模态人机交互策略进行调整；所述情绪状态通过采集脑电波信息方式获取。根据本专利技术的用于智能机器人的多模态交互方法，优选的是，所述的脑电波信息采用EEG设备采集。根据本专利技术的另一方面，还提供了一种用于智能机器人的多模态交互装置，所述装置包括以下模块：多模态信息输入模块，其用以获取用户的多模态输入信息；多模态信息解析模块，其用以解析多模态输入信息中所涉及物体信息或话题信息；多模态信息输出模块，其用以获取该用户对该物体或该话题产生的脑电波信息，确定多模态人机交互策略，输出对应的多模态输出数据，所述脑电波信息携带用户情绪信息。根据本专利技术的用于智能机器人的多模态交互装置，优选的是，还包括策略预设模块，其预设多模态人机交互策略，该模块进一步包括如下单元：信息采集单元，其用以预先采集用户在训练环境中的视觉信息、听觉信息和脑电波信息；情绪确定单元，其用以对所述脑电波信息进行解析，确定用户的情绪；策略信息生成单元，其用以对视觉信息和听觉信息中涉及到的物体或话题进行基于情绪的标记，以生成关于物体或话题多模态输出的策略信息。根据本专利技术的用于智能机器人的多模态交互装置，优选的是，所述多模态信息输出模块，其进一步在输出多模态输出数据之后，采集用户对所述多模态输出数据反馈的脑电波信息，以获取该用户的反馈情绪；将用户反馈的情绪重新确定多模态人机交互策略，输出相匹配的多模态输出数据。根据本专利技术的用于智能机器人的多模态交互装置，优选的是，还包括：策略信息调整模块，其用以获取用户当前情绪状态并根据情绪状态对所述预设的多模态人机交互策略进行调整，所述情绪状态通过采集脑电波信息方式获取。根据本专利技术的用于智能机器人的多模态交互装置，优选的是，所述信息采集单元包括EEG设备，其采集所述脑电波信息。本专利技术所带来的有益之处在于，根据本专利技术实施例的方法，机器人在获取用户的多模态输入信息后，解析多模态输入信息中所涉及物体或话题，然后，获取该用户对该物体或该话题产生的脑电波信息，确定多模态人机交互策略，输出对应的多模态输出数据，所述脑电波信息携带用户情绪信息。本专利技术通过基于脑电波确定的人机交互策略，结合该策略进行交互，可以增加交互话题，改善用户不良情绪，提高智能机器人的智能性和类人性，增强用户粘性。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例共同用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1为涉及本专利技术第一实施例的用于智能机器人的多模态交互方法的流程示意图。图2为涉及本专利技术第一实施例的预设多模态人机交互策略的具体流程示意图。图3为涉及本专利技术第二实施例的用于智能机器人的多模态交互方法的流程示意图。图4为涉及本专利技术第三实施例的用于智能机器人的多模态交互方法的流程示意图。图5为涉及本专利技术第四实施例的用于智能机器人的多模态交互装置400的结构框图。具体实施方式以下将结合附图及实施例来详细说明本专利技术的实施方式，借此对本专利技术如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。在现有技术中，用户与机器人对话时，机器人可以通过用户发出的语言、面部表情和动作等多模态输入数据来确定当前用户的情感状况，然后根据情感状况来向用户输出较为适宜的多模态信息。但是，由于用户的语言、面部表情和动作等多模态信息具有不确定性，例如用户可以通过伪装面部表情的方式来掩饰自己的真实情绪，因此，机器人在对这些数据进行分析时，解析精度较低，情绪识别的可靠性低，从而对应输出的多模态数据也不匹配。因此，现有的机器人的智能性和拟人性较差，无法准确地分析用户真实的情感状况，降低了用户体验性。为此，就需要一种能够准确地分析用户真实的情感状况，增加交互话题，改善用户不良情绪，提高智能机器人的智能性和类人性，增强用户粘性的解决方案。本专利技术实施例的用于智能机器人的多模态交互方法能够使机器人在与用户交互过程中，准确地分析用户真实的情感状况，增加交互话题，提高机器人智能性和类人性。具体来说，智能机器人获取多模态输入信息，解析多模态输入信息所涉及物体或话题，以及用户对该物体或该话题的脑电波信息，然后基于预设的多模态人机交互策略(可简称“人机交互策略”)输出对应的多模态输出数据、即根据该用户面对该物体或该话题时产生的脑电波信息所表现出的情绪信息从人机交互策略中找到对应的多模态输出数据并进行输出。预设的多模态人机交互策略可以是针对某一用户个体定制的个性化策略，可以基于该用户面对不同的物体或主题产生的脑电波信息来生成策略信息，例如，在机器人根据物体对应的脑电波信息得到用户此时的情绪为消极情绪时，通过结合多模态人机交互策略，向用户输出一个能够使用户轻松的多模态数据，例如用户所喜欢的歌曲等，这样能够改善用户的不良情绪，增强用户使用机器人的粘性。另外，关于多模态人机交互策略的预设过程，机器人预先收集用户面对不同事物、话题场景时的本文档来自技高网...

【技术保护点】
一种用于智能机器人的多模态交互方法，其特征在于，所述方法包括以下步骤：获取用户的多模态输入信息；解析多模态输入信息中所涉及物体信息或话题信息；获取该用户对该物体或该话题产生的脑电波信息，确定多模态人机交互策略，输出对应的多模态输出数据，所述脑电波信息携带用户情绪信息。

【技术特征摘要】
1.一种用于智能机器人的多模态交互方法，其特征在于，所述方法包括以下步骤：获取用户的多模态输入信息；解析多模态输入信息中所涉及物体信息或话题信息；获取该用户对该物体或该话题产生的脑电波信息，确定多模态人机交互策略，输出对应的多模态输出数据，所述脑电波信息携带用户情绪信息。2.如权利要求1所述的用于智能机器人的多模态交互方法，其特征在于，还包括通过如下步骤来预设多模态人机交互策略，预先采集用户在训练环境中的视觉信息、听觉信息和脑电波信息；对所述脑电波信息进行解析，确定用户的情绪；对视觉信息和听觉信息中涉及到的物体或话题进行基于情绪的标记，以生成关于物体或话题多模态输出的策略信息。3.如权利要求1或2所述的用于智能机器人的多模态交互方法，其特征在于，还包括：在输出多模态输出数据之后，采集用户对所述多模态输出数据反馈的脑电波信息，以获取该用户的反馈情绪；将用户反馈的情绪重新确定多模态人机交互策略，输出相匹配的多模态输出数据。4.如权利要求3所述的用于智能机器人的多模态交互方法，其特征在于，还包括：获取用户当前情绪状态并根据情绪状态对所述预设的多模态人机交互策略进行调整；所述情绪状态通过采集脑电波信息方式获取。5.如权利要求1-4任一项所述的用于智能机器人的多模态交互方法，其特征在于，所述的脑电波信息采用EEG设备采集。6.一种用于智能机器人的多模态交互装置，其特征在于，所述装置包括以下模块：多模态信息输入模块，其用以获取用户的多模态输...

【专利技术属性】
技术研发人员：魏彬彬，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京,11