一种面向智能机器人的人机交互方法及装置制造方法及图纸

一种面向智能机器人的人机交互方法及装置，其中，该方法包括：图像解析步骤，对获取到的预设时长内的关于目标的图像序列进行解析，得到目标的行为信息；交互决策步骤，根据目标的行为信息进行主动交互决策，并根据决策结果生成主动交互指令；交互输出步骤，根据主动交互指令生成主动交互的多模态数据并输出。与现有基于视觉的人机交互方法相比，本方法实现了对目标行为的准确预测，并根据该行为预测结果实现了智能机器人与用户之间更加有效、更加个性化的交互，从而提高了智能机器人的用户体验以及用户粘度。

【技术实现步骤摘要】

本专利技术涉及机器人
，具体地说，涉及一种面向智能机器人的人机交互方法及装置。
技术介绍
随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。现有的智能机器人在与用户进行人机交互的过程中，只能被动地对用户输入的交互信息进行应答，这也就使得整个交互过程单调、不够顺畅，从而影响了智能机器人的用户体验。
技术实现思路
为解决上述问题，本专利技术提供了一种面向智能机器人的人机交互方法，其包括：图像解析步骤，对获取到的预设时长内的关于目标的图像序列进行解析，得到所述目标的行为信息；交互决策步骤，根据所述目标的行为信息进行主动交互决策，并根据决策结果生成主动交互指令；交互输出步骤，根据所述主动交互指令生成主动交互的多模态数据并输出。根据本专利技术的一个实施例，所述图像解析步骤包括：对获取到的所述预设时长内的图像序列进行解析，得到所述图像序列的特征向量序列；利用预设神经网络对所述特征向量序列进行分析，得到所述目标的行为信
息。根据本专利技术的一个实施例，利用循环神经网络来对所述特征向量序列进行分析，以得到所述目标的行为信息。根据本专利技术的一个实施例，所述目标的行为信息包括目标的当前行为和/或目标的行为趋势。根据本专利技术的一个实施例，在所述图像解析步骤中，利用目标日常行为模式对所述目标的图像序列进行图像序列解析，得到所述目标的行为趋势，其中，所述目标日常行为模式是利用采集到的目标日常行为数据训练得到的；在所述交互决策步骤中，判断所述目标的当前行为与所述行为趋势是否匹配，如果不匹配，则生成相应的主动交互指令，以对所述目标的行为进行提示或纠正。本专利技术还提供了一种面向智能机器人的人机交互装置，其包括：图像解析模块，其用于对获取到的预设时长内的关于目标的图像序列进行解析，得到所述目标的行为信息；交互决策模块，其用于根据所述目标的行为信息进行主动交互决策，并根据决策结果生成主动交互指令；交互输出模块，其用于根据所述主动交互指令生成主动交互的多模态数据并输出。根据本专利技术的一个实施例，所述图像解析模块配置为首先对获取到的所述预设时长内的图像序列进行解析，得到所述图像序列的特征向量序列，随后利用预设神经网络对所述特征向量序列进行分析，得到所述目标的行为信息。根据本专利技术的一个实施例，所述图像解析模块配置为利用循环神经网络来对所述特征向量序列进行分析，以得到所述目标的行为信息。根据本专利技术的一个实施例，所述目标的行为信息包括目标的当前行为和/或目标的行为趋势。根据本专利技术的一个实施例，所述图像解析模块配置为利用目标日常行为模式对所述目标的图像序列进行图像序列解析，得到所述目标的行为趋势，其中，所述目标日常行为模式是利用采集到的目标日常行为数据训练得到的；所述交互决策模块配置为判断所述目标的当前行为与所述行为趋势是否匹配，如果不匹配，则生成相应的主动交互指令，以对所述目标的行为进行提示或
纠正。由于在大部分情况下，人类的行为或者其他物体的行为都是通过一系列的动作来完成的，只通过其中一个动作显然无法准确、清楚地了解人类或物体的相关行为。本专利技术所提供的方法基于捕捉到的图像序列来分析出图像中用户行为信息或者物体行为信息，并根据分析结果进行相应的主动交互。同时，该方法利用循环神经网络来对图像序列的特征向量序列进行分析来得到目标的行为信息，与现有的采用前馈神经网络的方法相比，本方法能够更加准确地对目标的行为分析和预测，这有助于后续更加合理地与用户进行主动交互，从而提高了智能机器人的用户体验以及用户粘性。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：图1是根据本专利技术一个实施例的面向智能机器人的人机交互方法的流程图；图2是根据本专利技术一个实施例的生成目标的行为信息的流程图；图3是根据本专利技术一个实施例的循环神经网络的结构示意图；图4是根据本专利技术一个实施例的基于循环神经网络的目标行为预测的结构示意图；图5是根据本专利技术另一个实施例的面向智能机器人的人机交互方法的流程图；图6是根据本专利技术一个实施例的面向智能机器人的人机交互装置的结构示意图。具体实施方式以下将结合附图及实施例来详细说明本专利技术的实施方式，借此对本专利技术如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本专利技术中的各个实施例以及各实施
例中的各个特征可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本专利技术实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本专利技术可以不用这里的具体细节或者所描述的特定方式来实施。另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。视觉机器人将视觉处理与机器人技术相结合，使得机器人具有了与周围环境相交互的能力，加强了机器人在抓取、搬运、跟踪、装配以及危险环境作业等领域的应用。随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。基于机器视觉的人机交互是一种重要的人机交互方式，现有的基于机器视觉的人机交互方式往往只应用于对用户的表情或身份的识别，这种交互方式已无法满足人们对人机交互日益提高的要求。针对现有人机交互方法所存在的问题，本专利技术提供了一种新的面向智能机器人的人机交互方法。为了更加清楚地阐述本专利技术所提供的方法的实现原理以及实现过程，以下分别结合不同的实施例来对该方法进行进一步的阐述。实施例一：图1示出了本实施例所提供的面向智能机器人的人机交互方法的流程图。如图1所示，本实施例中，该方法首先在步骤S101中获取目标的图像，从而得到图像序列。具体地，本实施例中，该方法优选地通过智能机器人所配置的摄像头来进行图像获取。当智能机器人处于开机状态时，该方法通过摄像头持续进行图像捕捉，从而得到目标的图像序列。需要指出的是，本实施例中，优选地，即使智能机器人处于开机状态但未被唤醒，本方法仍能够通过例如摄像头等图像获取设备来持续进行图像捕捉。当然，
在本专利技术的其他实施例中，该方法还可以采用其他合理的方式来获取目标的图像序列，本专利技术不限于此。同时，还需要指出的是，在本专利技术的不同实施例中，上述目标即可以指代用户，也可以指代其它移动物体本文档来自技高网...

【技术保护点】
一种面向智能机器人的人机交互方法，其特征在于，包括：图像解析步骤，对获取到的预设时长内的关于目标的图像序列进行解析，得到所述目标的行为信息；交互决策步骤，根据所述目标的行为信息进行主动交互决策，并根据决策结果生成主动交互指令；交互输出步骤，根据所述主动交互指令生成主动交互的多模态数据并输出。

【技术特征摘要】
1.一种面向智能机器人的人机交互方法，其特征在于，包括：图像解析步骤，对获取到的预设时长内的关于目标的图像序列进行解析，得到所述目标的行为信息；交互决策步骤，根据所述目标的行为信息进行主动交互决策，并根据决策结果生成主动交互指令；交互输出步骤，根据所述主动交互指令生成主动交互的多模态数据并输出。2.根据权利要求1所述的方法，其特征在于，所述图像解析步骤包括：对获取到的所述预设时长内的图像序列进行解析，得到所述图像序列的特征向量序列；利用预设神经网络对所述特征向量序列进行分析，得到所述目标的行为信息。3.根据权利要求2所述的方法，其特征在于，利用循环神经网络来对所述特征向量序列进行分析，以得到所述目标的行为信息。4.根据权利要求1～3中任一项所述的方法，其特征在于，所述目标的行为信息包括目标的当前行为和/或目标的行为趋势。5.根据权利要求1所述的方法，其特征在于，在所述图像解析步骤中，利用目标日常行为模式对所述目标的图像序列进行图像序列解析，得到所述目标的行为趋势，其中，所述目标日常行为模式是利用采集到的目标日常行为数据训练得到的；在所述交互决策步骤中，判断所述目标的当前行为与所述行为趋势是否匹配，如果不匹配，则生成相应的主动交互指令，以对所述目标的行为进行提示或纠正。6.一种面向智能机器人的人机交...

【专利技术属性】
技术研发人员：徐振敬，陆羽皓，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京;11