一种人机交互方法、机器人系统和存储介质技术方案

本发明专利技术公开了一种人机交互方法、机器人系统和存储介质，属于机器人技术领域。该方法包括：第一机器人实时获取服务对象的人脸图像，然后根据所述人脸图像获取服务对象的表情信息，并将所述表情信息作为状态信息；第一机器人根据所述状态信息确定预设行为指令。本发明专利技术提供的一种人机交互方法、机器人系统和存储介质，丰富了智能服务机器人与服务对象的交互方式，并且提高了服务对象的使用体验。

【技术实现步骤摘要】
一种人机交互方法、机器人系统和存储介质
本专利技术实施例涉及机器人领域，尤其涉及一种人机交互方法、机器人系统和存储介质。
技术介绍
发展智能服务机器人是应对人口老龄化的必要选择。中国已于1999年步入老龄化社会。老年人在步入65岁之后身体健康状况容易出现恶化，因此日常生活照料和精神抚慰是老年人面临的主要困难。当前，智能服务机器人有家用和医用服务机器人、智能陪护机器人和家用多功能智能机器人等。其中，智能服务机器人与服务对象的交互主要是通过语音实现。专利技术人在实现本专利技术的过程中，发现现有技术存在如下缺陷：智能服务机器人与服务对象的交互方式单一，且对于说话有障碍的服务对象无法进行语音交互。
技术实现思路
本专利技术提供一种人机交互方法、机器人系统和存储介质，以丰富智能服务机器人与服务对象的交互方式，提高服务对象的使用体验。第一方面，本专利技术实施例提供了一种人机交互方法，该方法包括：第一机器人实时获取服务对象的人脸图像，然后根据所述人脸图像获取服务对象的表情信息，并将所述表情信息作为状态信息；第一机器人根据所述状态信息确定预设行为指令。进一步的，所述根据所述人脸图像获取服务对象的表情信息，包括：从所述人脸图像中提取人脸特征；将所述人脸特征与预设表情模板进行匹配；根据匹配结果确定所述表情信息。进一步的，在第一机器人实时获取服务对象的人脸图像之后，还包括：从所述人脸图像中提取眼球的特征；根据所述特征的变化，确定所述眼球运动信息；将所述眼球信息作为所述状态信息。进一步的，在第一机器人根据所述状态信息确定预设行为指令之后，还包括：所述第一机器人将所述设定行为指令发送给第二机器人，由所述第二机器人响应所述设定行为指令。本专利技术实施例，通过根据服务对象人脸的表情信息确定行为指令，从而实现利用人脸表情与服务对象进行交互的方式。进而，解决智能服务机器人与服务对象的交互方式单一，且对于说话有障碍的服务对象无法进行语音交互的问题。第二方面，本专利技术实施例还提供了一种人机交互的机器人系统，其特征在于，包括：将所述第一机器人作为主机器人；所述主机器人通过无线网络获取至少一个从机器人实时采集的服务对象的人脸图像，其中所述从机器人的形态至少包括便携装置形态。进一步的，所述主机器人获取所述从机器人实时采集的包含服务对象肢体动作的动作图像，和远端包含亲人的场景图像；所述主机器人根据所述动作图像和远端包含亲人的场景图像，构建包含所述亲人的虚拟现实场景；若所述主机器人识别到与服务对象互动的所述亲人的动作，则发送相应行为指令给所述从机器人，以使所述从机器人模拟所述亲人的动作与服务对象进行互动。进一步的，所述从机器人设置在智能终端和/或智能家居中的智能设备中。本专利技术实施例，通过便携装置形态的从机器人跟随服务对象进行人脸图像的采集，实现对服务对象的随时随地的监护。从而解决当前智能服务机器人不能像真人那样轻快灵活地移动，以满足对服务对象实时陪护的问题。第三方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-4中任一所述的人机交互方法。附图说明图1为本专利技术实施例一提供的一种人机交互方法的流程图；图2是本专利技术实施例二提供的一种人机交互方法的流程图；图3是本专利技术实施例三提供的一种人机交互的机器人系统的结构示意图；图4是本专利技术实施例三提供的另一种人机交互的机器人系统的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的一种人机交互方法的流程图。本实施例可适用于机器人与服务对象进行交互的情况。该方法可以由一种具有人机交互功能的机器人和/或一种具有人机交互功能的机器人系统来执行。参见图1，本实施提供的人机交互方法包括：S110、第一机器人实时获取服务对象的人脸图像，然后根据所述人脸图像获取服务对象的表情信息，并将所述表情信息作为状态信息。其中，人脸图像为包含服务对象人脸的图像。服务对象的表情信息至少包括哭泣、生气、开心等。根据所述人脸图像获取服务对象的表情信息的方法可以是现有技术中的任一种可实现方法，可选的，可以通过模板匹配实现，也可以利用分类器实现。典型的，所述根据所述人脸图像获取服务对象的表情信息，可以包括：从所述人脸图像中提取人脸特征；将所述人脸特征与预设表情模板进行匹配；根据匹配结果确定所述表情信息。其中，预设表情模板包括哭泣模板、生气模板和开心模板等。例如，若所述人脸特征与预设表情模板中的哭泣模板匹配度最高，且匹配度大于设定匹配阈值，则将哭泣模板关联的哭泣确定为所述表情信息。S120、第一机器人根据所述状态信息确定预设行为指令。其中，预设行为指令与所述状态信息关联存储，预设行为指令可以根据需求进行设定，具体可以是拥抱服务对象、播放与所述状态信息相适应的音乐等。举例来说，若第一机器人根据服务对象的人脸图像确定的状态信息是开心，则第一机器人根据所述状态信息确定的预设行为指令可以是播放轻快明朗的音乐，以适应服务对象的心情。本专利技术实施例的技术方案，通过根据服务对象人脸的表情信息确定行为指令，从而实现利用人脸表情与服务对象进行交互的方式。进而，解决智能服务机器人与服务对象的交互方式单一的问题。为实现多个机器人服务一个服务对象的功能，在第一机器人根据所述状态信息确定预设行为指令之后，还可以包括：所述第一机器人将所述设定行为指令发送给第二机器人，由所述第二机器人响应所述设定行为指令。可选的，第二机器人可以有多个。该第二机器人的形态可以是任意形态，为方便对服务对象的随时随地的照顾，该第二机器人的形态可以设置为易于携带的便携装置形态，例如水杯、雨伞、手表和拐杖等，也可以直接嵌入像水杯、雨伞、手表和拐杖等便携装置中。为进一步准确确定服务对象的需求，在第一机器人实时获取服务对象的人脸图像之后，还可以包括：从所述人脸图像中提取眼球的特征；根据所述特征的变化，确定所述眼球运动信息；将所述眼球信息作为所述状态信息。实施例二图2是本专利技术实施例二提供的一种人机交互方法的流程图。本实施例是在上述实施例一的基础上提出的一种可选方案。参见图2，本实施例提供的人机交互方法包括：S210、从所述人脸图像中提取人脸特征和眼球的特征。需要说明的是，从所述人脸图像中提取眼球的特征的方法，可以是现有技术中的任意一种可实现的方法。本实施例对此并不限制。S220、将所述人脸特征与预设表情模板进行匹配。S230、根据匹配结果确定所述表情信息，并根据眼球的特征变化，确定所述眼球运动信息。典型的，根据眼球的特征变化，确定所述眼球运动信息的方法可以是利用发展相对成熟的眼球追踪技术实现。S240、根据所述表情信息和所述眼球运动信息，确定预设行为指令。其中，根据所述表情信息、所述眼球运动信息、预设行为指令根据需求预先关联存储。S250、所述第一机器人将所述设定行为指令发送给第二机器人，由所述第二机器人响应所述设定行为指令。本专利技术实施的技术方案，通过根据所述表情信息和所述眼球运动信息更准确的确定服务对象的需求，从而提供更精准的人机交互，进而提高用户体验。同时，所述本文档来自技高网...

【技术保护点】
一种人机交互方法，其特征在于，包括：第一机器人实时获取服务对象的人脸图像，然后根据所述人脸图像获取服务对象的表情信息，并将所述表情信息作为状态信息；第一机器人根据所述状态信息确定预设行为指令。

【技术特征摘要】
1.一种人机交互方法，其特征在于，包括：第一机器人实时获取服务对象的人脸图像，然后根据所述人脸图像获取服务对象的表情信息，并将所述表情信息作为状态信息；第一机器人根据所述状态信息确定预设行为指令。2.根据权利要求1所述的方法，其特征在于，所述根据所述人脸图像获取服务对象的表情信息，包括：从所述人脸图像中提取人脸特征；将所述人脸特征与预设表情模板进行匹配；根据匹配结果确定所述表情信息。3.根据权利要求1所述的方法，其特征在于，在第一机器人实时获取服务对象的人脸图像之后，还包括：从所述人脸图像中提取眼球的特征；根据所述特征的变化，确定所述眼球运动信息；将所述眼球信息作为所述状态信息。4.根据权利要求1所述的方法，其特征在于，在第一机器人根据所述状态信息确定预设行为指令之后，还包括：所述第一机器人将所述设定行为指令发送给第二机器人，由所述第二机器人响应所述设定行为指令。5.一种适用上述权利要...

【专利技术属性】
技术研发人员：杨云波，马睿，侯淼林，
申请(专利权)人：深圳市铂越科技有限公司，
类型：发明
国别省市：广东,44