一种用于智能机器人的数据处理方法及装置制造方法及图纸

一种用于智能机器人的数据处理方法及装置，其中，该方法包括：多模态输入数据获取步骤，获取交互环境中的多模态输入数据；多模态输入数据处理步骤，对多模态输入数据中的音频信息进行声源定位，得到声源定位结果，对多模态输入数据进行解析，得到情感信息；指令生成步骤，根据声源定位结果生成视线转移指令，根据情感信息生成表情输出指令，并将视线转移指令和表情输出指令传输至下位机中的面部载体。本方法能够使得智能机器人主动将视线转移到交互场景中的敏感方向，并且根据获取到的语音信息来自动地呈现出相应的表情，这样也就使得智能机器人的行为更加类人化，从而提高了智能机器人的用户体验。

Data processing method and device for intelligent robot

Intelligent robot for data processing method and device, wherein, the method comprises: a multimodal input data acquisition step, obtaining multimodal interaction in input data; multimodal input data processing steps, sound source localization of audio information of multimodal input data, get the sound source localization results, analysis the multimodal input data, get emotional information; instruction generation steps, generating attention instruction according to the sound source localization results, according to the emotion information generation expression output instructions, and the attention and instruction expression output vector instruction is transmitted to the lower face of. This method can make the intelligent robot active the attention to sensitive direction of interaction in the scene, and according to the voice information acquisition to automatically show the corresponding expression, it also makes intelligent robot behavior more lifelike, so as to improve the user experience of intelligentmachines.

【技术实现步骤摘要】
一种用于智能机器人的数据处理方法及装置
本专利技术涉及机器人
，具体地说，涉及一种用于智能机器人的数据处理方法及装置。
技术介绍
随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。提高智能机器人的交互水平，改善用户与机器人的交互体验，成为本领域技术人员亟需解决的技术问题。
技术实现思路
为解决上述问题，本专利技术提供了一种用于智能机器人的数据处理方法，其包括：多模态输入数据获取步骤，获取交互环境中的多模态输入数据；多模态输入数据处理步骤，对所述多模态输入数据中的音频信息进行声源定位，得到声源定位结果，对所述多模态输入数据进行解析，得到情感信息；指令生成步骤，根据所述声源定位结果生成视线转移指令，根据所述情感信息生成表情输出指令，并将所述视线转移指令和表情输出指令传输至下位机中的面部载体。根据本专利技术的一个实施例，所述面部载体包括能够显示多种面部图形的显示屏，所述方法还包括：反馈信息输出步骤，根据所述视线转移指令在所述显示屏中显示注视对应方向的眼睛图形，并根据所述表情输出指令显示对应形状的面部图形。根据本专利技术的一个实施例，所述面部载体包括能够显示眼睛图形的显示屏，所述方法还包括：反馈信息输出步骤，根据所述视线转移指令在所述显示屏中显示注视对应方向的眼睛图形，并根据所述表情输出指令调整所述眼睛图形的形状。根据本专利技术的一个实施例，所述面部载体包括面部模拟部件，所述方法还包括：反馈信息输出步骤，根据所述视线转移指令调整所述面部模拟部件的朝向，并根据所述表情输出指令调整所述面部模拟部件中眼部指示灯的亮灭状态。本专利技术还提供了一种用于智能机器人的数据处理装置，其包括：多模态输入数据获取模块，其用于获取交互环境中的多模态输入数据；多模态输入数据处理模块，其用于对所述多模态输入数据中的音频信息进行声源定位，得到声源定位结果，对所述多模态输入数据进行解析，得到情感信息；指令生成模块，其用于根据所述声源定位结果生成视线转移指令，根据所述情感信息生成表情输出指令，并将所述视线转移指令和表情输出指令传输至下位机中的面部载体。根据本专利技术的一个实施例，所述面部载体包括能够显示多种面部图形的显示屏，所述装置还包括：反馈信息输出模块，其用于根据所述视线转移指令在所述显示屏中显示注视对应方向的眼睛图形，并根据所述表情输出指令显示对应形状的面部图形。根据本专利技术的一个实施例，所述面部载体包括能够显示眼睛图形的显示屏，所述装置还包括：反馈信息输出模块，其用于根据所述视线转移指令在所述显示屏中显示注视对应方向的眼睛图形，并根据所述表情输出指令调整所述眼睛图形的形状。根据本专利技术的一个实施例，所述面部载体包括面部模拟部件，所述装置还包括：反馈信息输出模块，其用于根据所述视线转移指令调整所述面部模拟部件的朝向，并根据所述表情输出指令调整所述面部模拟部件中眼部指示灯的亮灭状态。本专利技术所提供的用于智能机器人的数据处理方法能够使得智能机器人主动将视线转移到交互场景中的敏感方向，并且根据获取到的语音信息来自动地呈现出相应的表情，这样也就使得智能机器人的行为更加类人化，从而提高了智能机器人的用户体验。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：图1是根据本专利技术一个实施例的用于智能机器人的数据处理方法的实现流程示意图；图2是根据本专利技术另一个实施例的用于智能机器人的数据处理方法的实现流程示意图；图3是根据本专利技术再一个实施例的用于智能机器人的数据处理方法的实现流程示意图；图4是根据本专利技术又一个实施例的用于智能机器人的数据处理方法的实现流程示意图；图5是根据本专利技术一个实施例的用于智能机器人的数据处理装置的结构示意图。具体实施方式以下将结合附图及实施例来详细说明本专利技术的实施方式，借此对本专利技术如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本专利技术中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本专利技术实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本专利技术可以不用这里的具体细节或者所描述的特定方式来实施。另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。现有的智能机器人在与用户进行交互的过程中，通常只是简单地获取用户所输入的音频信息或是获取关于用户的图像信息，这使得智能机器人表现得较为机械、呆板。针对现有技术中所存在的上述问题，本专利技术提供了一种新的用于智能机器人的数据处理方法，该方法能够使得智能机器人主动地视线转移到交互场景中的敏感方向，并且根据获取到的语音信息来自动地呈现出相应的表情。为了更加清楚地阐述本专利技术所提供的用于智能机器人的数据处理方法的实现原理、实现流程以及优点，以下分别结合不同的实施例来对该方法作进一步地说明。实施例一：图1示出了本实施例所提供的用于智能机器人的数据处理方法的实现流程示意图。如图1所示，本实施例所提供的数据处理方法首先在步骤S101中获取交互环境中的多模态输入数据。本实施例中，该方法在步骤S101中所获取到的交互环境中的多模态输入数据包括音频信息。需要指出的是，在本专利技术的其他实施例中，根据实际交互场景，该方法在步骤S101中所获取到的多模态输入数据中还可以包含其他合理数据(例如图像数据或场景数据等)，本专利技术不限于此。在得到多模态输入数据后，该方法会在步骤S102中对上述多模态输入数据中的音频信息进行声源定位，从而得到声源定位结果。如图1所示，在得到声源定位结果后，该方法还会在步骤S103中对上述步骤S101中所获取到的多模态输入数据进行解析，从而得到情感信息。需要指出的是，本实施例中，根据步骤S101中所获取到的多模态输入数据中所包含的交互信息的具体形式的不同，该方法在步骤S103中可以采用多种不同的方式来对分别上述各种不同的交互信息进行解析，从而得到情感信息。例如，对于步骤S101中所获取到的多模态输入数据中所包含的音频信息，该方法在步骤S103中可以通过对上述音频信息进行语音识别、语义识别和/或语音情绪识别来确定情感信息。由于周围环境的光线强弱并不会对音频的监测过程产生干扰，而如果用户处于黑暗环境下时，监测用户的面部图像和/或肢体动作就需要配备专用设备(例如红外摄像头)以及特定的处理软件，因此本实施例所提供的通过音频信息确定用户的情感信息的方法更加容易实现，其实现成本也较低，同时也能够保证确定出的用户情绪的准确度。本文档来自技高网...

【技术保护点】
一种用于智能机器人的数据处理方法，其特征在于，包括：多模态输入数据获取步骤，获取交互环境中的多模态输入数据；多模态输入数据处理步骤，对所述多模态输入数据中的音频信息进行声源定位，得到声源定位结果，对所述多模态输入数据进行解析，得到情感信息；指令生成步骤，根据所述声源定位结果生成视线转移指令，根据所述情感信息生成表情输出指令，并将所述视线转移指令和表情输出指令传输至下位机中的面部载体。

【技术特征摘要】
1.一种用于智能机器人的数据处理方法，其特征在于，包括：多模态输入数据获取步骤，获取交互环境中的多模态输入数据；多模态输入数据处理步骤，对所述多模态输入数据中的音频信息进行声源定位，得到声源定位结果，对所述多模态输入数据进行解析，得到情感信息；指令生成步骤，根据所述声源定位结果生成视线转移指令，根据所述情感信息生成表情输出指令，并将所述视线转移指令和表情输出指令传输至下位机中的面部载体。2.如权利要求1所述的方法，其特征在于，所述面部载体包括能够显示多种面部图形的显示屏，所述方法还包括：反馈信息输出步骤，根据所述视线转移指令在所述显示屏中显示注视对应方向的眼睛图形，并根据所述表情输出指令显示对应形状的面部图形。3.如权利要求1所述的方法，其特征在于，所述面部载体包括能够显示眼睛图形的显示屏，所述方法还包括：反馈信息输出步骤，根据所述视线转移指令在所述显示屏中显示注视对应方向的眼睛图形，并根据所述表情输出指令调整所述眼睛图形的形状。4.如权利要求1所述的方法，其特征在于，所述面部载体包括面部模拟部件，所述方法还包括：反馈信息输出步骤，根据所述视线转移指令调整所述面部模拟部件的朝向，并根据所述表情输出指令调整所述面部模拟部件中眼部指示灯的亮灭状态。5.一种用于智能机...

【专利技术属性】
技术研发人员：张振宇，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京,11