用于智能机器人的多模态交互方法及装置制造方法及图纸

本发明专利技术公开了一种用于智能机器人的多模态交互方法及装置。所述智能机器人安装有机器人操作系统，该方法包括：获取用户输入的简笔画图像；通过使用特定的神经网络识别所述简笔画图像所表征的物体信息，所述特定的神经网络是预先通过对边缘化的图像进行训练得到的；基于所述物体信息生成多模态数据并向用户输出。本发明专利技术提出了一种“你画我猜”的新型交互模式，增强了智能机器人的多模态交互能力，提高了智能机器人的功能的多样性，改善了用户体验。

Multimodal interactive method and device for intelligent robot

The invention discloses a multi-mode interaction method and an apparatus for an intelligent robot. The intelligent robot is equipped with a robot operating system, the method includes: Sketch image acquiring user input; through the use of the identification of the specific neural network the image representation of the sketch information of objects, the specific neural network is adopted in advance for the marginal image obtained by training the object information is generated; multi modal data and output to the user based on. The invention provides a new interactive mode of \you draw and I guess\, which enhances the multi-mode interaction ability of the intelligent robot, improves the diversity of the function of the intelligent robot and improves the user experience.

【技术实现步骤摘要】
用于智能机器人的多模态交互方法及装置
本专利技术涉及智能机器人领域，尤其涉及一种用于智能机器人的多模态交互方法及装置。
技术介绍
随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。因此，提升智能机器人的交互能力，改善机器人的类人性和智能性，是现在亟需解决的重要问题。
技术实现思路
本专利技术所要解决的技术问题之一是需要提供一种提升智能机器人的交互能力，改善机器人的类人性和智能性的解决方案。为了解决上述技术问题，本申请的实施例首先提供了一种用于智能机器人的多模态交互方法，所述智能机器人安装有机器人操作系统，该方法包括：获取用户输入的简笔画图像；通过使用特定的神经网络识别所述简笔画图像所表征的物体信息，所述特定的神经网络是预先通过对边缘化的图像进行训练得到的；基于所述物体信息生成多模态数据并向用户输出。优选地，通过使所述特定的神经网络的第一层网络使用相对于输入的简笔画图像大小的大比例的卷积核大小，以捕捉简笔画图像的细节识别出所述简笔画图像所表征的物体。优选地，该方法还包括：在向用户输出多模态数据后，接收用户的反馈信息，当接收到用户的反馈信息为识别正确的信息时，结束识别，否则重新获取用户输入的包含更多信息的简笔画图像继续识别简笔画图像所表征的物体信息。优选地，该方法还包括：向用户输出简笔画显示数据；在简笔画显示数据输出的过程中，接收并解析用户针对已输出内容所反馈的信息以获取用户反馈信息中的物体信息；判断所述物体信息与所述简笔画显示数据是否对应，若不对应，则输出完整的简笔画显示数据及其对应的物体信息。优选地，所述简笔画显示数据是基于设定物体来生成的或者从数据库中获取得到。优选地，该方法还包括：识别用户身份，根据用户之前画过的简笔画历史记录，输出用户未画过的简笔画显示数据。优选地，该方法还包括：若用户识别简笔画的准确度大于设定阈值，则将该用户的简笔画保存到数据库中。根据本专利技术的另一方面，还提供了一种用于智能机器人的多模态交互装置，所述智能机器人安装有机器人操作系统，该装置包括：简笔画图像输入模块，其获取用户输入的简笔画图像；物体识别模块，其通过使用特定的神经网络识别所述简笔画图像所表征的物体信息，所述特定的神经网络是预先通过对边缘化的图像进行训练得到的；多模态数据输出模块，其基于所述物体信息生成多模态数据并向用户输出。优选地，所述物体识别模块，其进一步通过使所述特定的神经网络的第一层网络使用相对于输入的简笔画图像大小的大比例的卷积核大小，以捕捉简笔画图像的细节识别出所述简笔画图像所表征的物体。优选地，该装置还包括：反馈信息接收模块，其在向用户输出多模态数据后，接收用户的反馈信息，当接收到用户的反馈信息为识别正确的信息时，结束识别，否则重新获取用户输入的包含更多信息的简笔画图像继续识别简笔画图像所表征的物体信息。优选地，该装置还包括：简笔画显示数据输出模块，其向用户输出简笔画显示数据；反馈信息解析模块，其在简笔画显示数据输出的过程中，接收并解析用户针对已输出内容所反馈的信息以获取用户反馈信息中的物体信息；物体信息判断模块，其判断所述物体信息与所述简笔画显示数据是否对应，若不对应，则输出完整的简笔画显示数据及其对应的物体信息。优选地，所述简笔画显示数据输出模块，其进一步基于设定物体来生成或者从数据库中获取得到所述简笔画显示数据。优选地，该装置还包括用户身份识别模块，其识别用户身份；所述简笔画显示数据输出模块，其进一步根据用户之前画过的简笔画历史记录，输出用户未画过的简笔画显示数据。优选地，该装置还包括：数据存储模块，其在用户识别简笔画的准确度大于设定阈值时，将该用户的简笔画保存到数据库中。与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：根据本专利技术实施例，提供了一种新型的人机交互方法，该方法获取用户输入的简笔画图像，通过使用特定的神经网络识别所述简笔画图像所表征的物体信息，基于所述物体信息生成多模态数据并向用户输出，从而完成“你画我猜”的新型交互模式。本专利技术实施例能增强智能机器人的多模态交互能力，提高了智能机器人的功能的多样性，改善了用户体验。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术的技术方案而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。附图说明附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。图1为根据本专利技术第一实施例的用于智能机器人的多模态交互方法的流程示意图。图2为根据本专利技术第二实施例的用于智能机器人的多模态交互方法的流程示意图。图3为根据本专利技术第三实施例的用于智能机器人的多模态交互方法的流程示意图。图4为根据本专利技术第四实施例的用于智能机器人的多模态交互装置300的结构框图。图5为根据本专利技术第五实施例的用于智能机器人的多模态交互装置400的结构框图。具体实施方式以下将结合附图及实施例来详细说明本专利技术的实施方式，借此对本专利技术如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。在现有的智能机器人领域中，大多数机器人能够与用户进行单独的语音交互，完成用户赋予的任务或者与用户进行简单的问答行为。但是，现有的这种人机交互模式较为单调，机器人的智能性较差，只能进行语音交互，大大降低了用户使用智能机器人的兴趣。本专利技术实施例提出了一种新型的人机交互模式，即“你(用户)画我(机器人)猜”和“我(机器人)画你(用户)猜”的交互方式。在机器人与用户进行“你画我猜”的多模态交互时，机器人可以通过使用特定的神经网络对用户(一般为儿童)绘制的简笔画图像进行物体识别，并将识别结果告知用户。如此，不仅提高了机器人的智能性，使机器人具备多种交互模式的功能，还可以增强用户与机器人的粘度。在本专利技术实施例中，用户绘制的简笔画图像从简笔画的表达方式来讲，最为明显的特点是它的造型手段，采用概括的线条画出形象的形态结构。在实际应用过程中，由于儿童绘制的图画与真实的物体具有很大的区别，比如，图画往往是单色的，并且具有高度的抽象和失真等情况，因此，预先通过对边缘化的图像进行训练得到特定的神经网络。在进行“你画我猜”的交互时，利用该神经网络来识别简笔画图像所代表的物体。具体地，为了识别简笔画，在该特定的神经网络的第一层使用相对于输入图像大小来说比较大的比例的卷积核大小来充分捕捉简笔画的细节，在前端使用更多的层，使网络重点集本文档来自技高网...

【技术保护点】
一种用于智能机器人的多模态交互方法，所述智能机器人安装有机器人操作系统，该方法包括：获取用户输入的简笔画图像；通过使用特定的神经网络识别所述简笔画图像所表征的物体信息，所述特定的神经网络是预先通过对边缘化的图像进行训练得到的；基于所述物体信息生成多模态数据并向用户输出。

【技术特征摘要】
1.一种用于智能机器人的多模态交互方法，所述智能机器人安装有机器人操作系统，该方法包括：获取用户输入的简笔画图像；通过使用特定的神经网络识别所述简笔画图像所表征的物体信息，所述特定的神经网络是预先通过对边缘化的图像进行训练得到的；基于所述物体信息生成多模态数据并向用户输出。2.根据权利要求1所述的多模态交互方法，其特征在于，通过使所述特定的神经网络的第一层网络使用相对于输入的简笔画图像大小的大比例的卷积核大小，以捕捉简笔画图像的细节识别出所述简笔画图像所表征的物体。3.根据权利要求1所述的多模态交互方法，其特征在于，该方法还包括：在向用户输出多模态数据后，接收用户的反馈信息，当接收到用户的反馈信息为识别正确的信息时，结束识别，否则重新获取用户输入的包含更多信息的简笔画图像继续识别简笔画图像所表征的物体信息。4.根据权利要求1～3中任一项所述的多模态交互方法，其特征在于，该方法还包括：向用户输出简笔画显示数据；在简笔画显示数据输出的过程中，接收并解析用户针对已输出内容所反馈的信息以获取用户反馈信息中的物体信息；判断所述物体信息与所述简笔画显示数据是否对应，若不对应，则输出完整的简笔画显示数据及其对应的物体信息。5.根据权利要求4所述的多模态交互方法，其特征在于，所述简笔画显示数据是基于设定物体来生成的或者从数据库中获取得到。6.根据权利要求4所述的多模态交互方法，其特征在于，该方法还包括：识别用户身份，根据用户之前画过的简笔画历史记录，输出用户未画过的简笔画显示数据。7.根据权利要求4所述的多模态交互方法，其特征在于，该方法还包括：若用户识别简笔画的准确度大于设定阈值，则将该用户的简笔画保存到数据库中。8.一种用于智能机器人的多模态交互装置，所述智能机器人安装有机器人操作系统，该装置包括：简笔画图像输入模块，其获取用户输入的简笔画图像；物体识别模...

【专利技术属性】
技术研发人员：袁洋，陆羽皓，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京,11