一种机器人识别环境变化时的人机交互方法以及系统技术方案

本发明专利技术公开一种机器人识别环境变化时的人机交互方法以及系统，涉及人机交互领域。其中，所述方法包括：所述机器人接收用户输入的检查环境变化的第一命令，所述第一命令包括环境检查点的位置；所述机器人基于所述第一命令和预设的场景地图前往所述环境检查点捕获图像，并将捕获的图像与本地存储的空白环境图像进行图像处理，得到处理结果，所述空白环境图像是在所述环境检查点不存在目标对象的情况下捕获的图像；所述机器人根据所述处理结果判断所述环境检查点是否发生环境变化；若所述环境检查点发生环境变化，所述机器人将所述环境检查点的环境变化情况反馈给用户，用户向机器人提出抓取目标的第三命令，机器人随机执行第三命令将目标对象取回。

【技术实现步骤摘要】

本专利技术涉及人机交互领域，具体地，涉及一种机器人识别环境变化时的人机交互方法以及系统。
技术介绍
近年来，随着计算机技术和机器人技术的快速发展，计算机处理能力不断增强，机器人应用领域越来越广泛。人与计算机之间的交互方法决定着人机协作的效率。传统人与计算机交互方法，即机械输入往往过程繁琐，且对于使用者的计算机知识背景有较高要求，因此很难推广到大众。为此，现有人机交互方法提出了多种解决方法，比如语音识别控制、手势识别控制。语音控制即计算机通过对使用者的语音信息的识别，转换为相应指令；而手势识别则是计算机通过对使用者的手势的识别，转换为相应指令。这些人机交互方法简单易用，得到了迅速的发展与推广。然而，这些人机交互方法常常会因为较大地依赖于使用者的命令指引而交互效率较低，比如机器人抓取物体时往往需要使用者的指挥。此外，这些人机交互方式的过程往往依赖于人体的外周器官如手、嘴或肢体，对于人体功能的正常有较高要求，对于行动不便或是有语言障碍的群体造成使用困难。
技术实现思路
本专利技术的目的是提供一种机器人识别环境变化时的人机交互方法以及系统。其中，所述方法所要解决的技术问题是：如何在机器人识别环境变化时提高人机交互的效率。为了实现上述目的，本专利技术提供一种机器人识别环境变化时的人机交互方法。所述方法包括：所述机器人接收用户输入的检查环境变化的第一命令，所述第一命令包括环境检查点的位置；所述机器人基于所述第一命令和预设的场景地图前往所述环境检查点捕获图像，并将捕获的图像与本地存储的空白环境图像进行图像处理，得到处理结果，所述空白环境图像是在所述环境检查点不存在目标对象的情况下捕获的图像；所述机器人根据所述处理结果判断所述环境检查点是否发生环境变化；若所述环境检查点发生环境变化，所述机器人将所述环境检查点的环境变化情况反馈给用户。可选地，所述方法还包括：所述机器人接收用户根据所述环境变化情况发送的结束交互的第二命令，并根据所述第二命令和预设的场景地图返回至初始点。可选地，所述将捕获的图像与本地存储的空白环境图像进行图像处理，得到处理结果，包括：所述机器人采用SURF算法将捕获的图像与本地存储的空白环境图像进行配准，并将捕获的图像的像素点的灰度值与所述空白环境图像的像素点的灰度值相减，得到第三图像；所述机器人将所述第三图像中灰度值大于预设阈值的像素点的灰度值设置为255；所述机器人计算所述第三图像的预设区域中灰度值为255的像素点的横坐标平均值和纵坐标平均值，从而得到所述目标对象的坐标；所述机器人在捕获的图像上设置自身手掌大小的区域，并在该区域计算灰度值为255的像素点的个数比例，该区域包括所述目标对象。可选地，所述机器人根据所述处理结果判断所述环境检查点是否发生环境变化，包括：在所述个数比例大于预设的比例值的情况下，则所述环境检查点发生环境变化；在所述个数比例小于或等于预设的比例值的情况下，则所述环境检查点没有发生环境变化。可选地，所述方法还包括：所述机器人接收用户根据所述环境变化情况发送的抓取目标对象的第三命令，并根据所述第三命令抓取所述环境检查点中的目标对象，及根据所述环境检查点和预设的场景地图返回至用户所处位置，并放下抓取的目标对象，其中，所述第三命令包括用户所处的位置。可选地，所述根据所述第三命令抓取所述环境检查点中的目标对象，包括：所述机器人在接收到所述第三命令后，根据预设的目标对象坐标的横坐标与机器人的机械手臂转角的对应关系对自身的机械手臂进行角度调整；在对自身的机械手臂进行角度调整之后，所述机器人根据预设的机械手臂运动标准路径抓取所述环境检查点中的目标对象。可选地，所述机器人将所述环境检查点的环境变化情况反馈给用户，包括：所述机器人通过语音播报的方式或提示框将所述环境检查点的环境变化情况反馈给用户。相应地，本专利技术还提供一种机器人识别环境变化的人机交互系统。所述系统包括：人机交互装置、图像处理装置以及控制装置，所述人机交互装置与所述控制装置连接，所述控制装置与所述图像处理装置连接，其中：所述人机交互装置，用于利用基于视觉诱发稳态电位的脑机接口系统产生第一命令，并将所述第一命令发送至所述控制装置，所述第一命令包括环境检查点的位置；所述控制装置，用于基于所述第一命令和预设的场景地图控制机器人前往所述环境检查点捕获图像；所述图像处理装置，用于将捕获的图像与本地存储的空白环境图像进行图像处理，得到处理结果，所述空白环境图像是在所述环境检查点不存在目标对象的情况下捕获的图像；所述控制装置，还用于根据所述处理结果判断所述环境检查点是否发生环境变化，若所述环境检查点发生环境变化，则将所述环境检查点的环境变化情况反馈给用户。可选地，所述人机交互装置包括：刺激产生单元，用于产生正弦编码的以不同频率闪烁的闪烁矩形，以使得用户根据不同频率闪烁的闪烁矩形与命令的对应关系注视所述闪烁矩形；信号采集单元，用于采集用户头部枕区的电极的信号；信号处理单元，与所述刺激产生单元和所述信号采集单元连接，用于采用基于滤波器组的典型相关分析算法对所述信号采集单元采集的信号进行分类，得到分类结果；并根据所述分类结果和所述刺激产生单元产生的闪烁矩形的闪烁频率识别得到用户注视的闪烁矩形，并输出该闪烁矩形所对应的命令；反馈单元，与信号处理单元连接，用于标记识别得到的闪烁矩形，以提示用户所选中的闪烁矩形。可选地，所述控制装置包括：导航单元，用于根据机器人接收的命令和预设的场景地图对所述机器人进行导航；控制单元，用于根据预设的目标对象坐标的横坐标与机器人的机械手臂转角的对应关系对所述机器人的机械手臂进行角度调整；在对机器人的机械手臂进行角度调整之后，根据预设的机械手臂运动标准路径控制所述机器人抓取所述环境检查点中的目标对象；捕获单元，用于在所述机器人前往所述环境检查点后捕获所述环境检查点的图像。通过上述技术方案，所述机器人接收用户输入的检查环境变化的第一命令，然后，所述机器人基于所述第一命令和预设的场景地图前往所述环境检查点捕获图像，并将捕获的图像与本地存储的空白环境图像进行图像处理，得到处理结果，接着，所述机器人根据所述处理结果判断所述环境检查点是否发生环境变化，在判断所述环境检查点发生环境变化的情况下，所述机器人将所述环境检查点的环境变化情况反馈给用户，提高在机器人识别环境变化时的人机交互效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。图1是本专利技术一实施例提供的机器人识别环境变化时的人机交互方法的流程图；图2是本专利技术一实施例提供的机器人识别环境变化时的人机交互方法的工作流程图；图3是本专利技术一实施例提供的机器人识别环境变化时的人机交互方法的工作流程图；图4是本专利技术一实施例提供的机器人识别环境变化时的人机交互系统的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳本文档来自技高网...

【技术保护点】
一种机器人识别环境变化时的人机交互方法，其特征在于，所述方法包括：所述机器人接收用户输入的检查环境变化的第一命令，所述第一命令包括环境检查点的位置；所述机器人基于所述第一命令和预设的场景地图前往所述环境检查点捕获图像，并将捕获的图像与本地存储的空白环境图像进行图像处理，得到处理结果，所述空白环境图像是在所述环境检查点不存在目标对象的情况下捕获的图像；所述机器人根据所述处理结果判断所述环境检查点是否发生环境变化；若所述环境检查点发生环境变化，所述机器人将所述环境检查点的环境变化情况反馈给用户。

【技术特征摘要】
1.一种机器人识别环境变化时的人机交互方法，其特征在于，所述方法包括：所述机器人接收用户输入的检查环境变化的第一命令，所述第一命令包括环境检查点的位置；所述机器人基于所述第一命令和预设的场景地图前往所述环境检查点捕获图像，并将捕获的图像与本地存储的空白环境图像进行图像处理，得到处理结果，所述空白环境图像是在所述环境检查点不存在目标对象的情况下捕获的图像；所述机器人根据所述处理结果判断所述环境检查点是否发生环境变化；若所述环境检查点发生环境变化，所述机器人将所述环境检查点的环境变化情况反馈给用户。2.根据权利要求1所述的机器人识别环境变化时的人机交互方法，其特征在于，所述方法还包括：所述机器人接收用户根据所述环境变化情况发送的结束交互的第二命令，并根据所述第二命令和预设的场景地图返回至初始点。3.根据权利要求1所述的机器人识别环境变化时的人机交互方法，其特征在于，所述将捕获的图像与本地存储的空白环境图像进行图像处理，得到处理结果，包括：所述机器人采用SURF算法将捕获的图像与本地存储的空白环境图像进行配准，并将捕获的图像的像素点的灰度值与所述空白环境图像的像素点的灰度值相减，得到第三图像；所述机器人将所述第三图像中灰度值大于预设阈值的像素点的灰度值设置为255；所述机器人计算所述第三图像的预设区域中灰度值为255的像素点的横坐标平均值和纵坐标平均值，从而得到所述目标对象的坐标；所述机器人在捕获的图像上设置自身手掌大小的区域，并在该区域计算灰度值为255的像素点的个数比例，该区域包括所述目标对象。4.根据权利要求3所述的机器人识别环境变化时的人机交互方法，其特征在于，所述机器人根据所述处理结果判断所述环境检查点是否发生环境变化，包括：在所述个数比例大于预设的比例值的情况下，则所述环境检查点发生环境变化；在所述个数比例小于或等于预设的比例值的情况下，则所述环境检查点没有发生环境变化。5.根据权利要求3所述的机器人识别环境变化时的人机交互方法，其特征在于，所述方法还包括：所述机器人接收用户根据所述环境变化情况发送的抓取目标对象的第三命令，并根据所述第三命令抓取所述环境检查点中的目标对象，及根据所述环境检查点和预设的场景地图返回至用户所处位置，并放下抓取的目标对象，其中，所述第三命令包括用户所处的位置。6.根据权利要求5所述的机器人识别环境变化时的人机交互方法，其特征在于，所述根据所述第三命令抓取所述环境检查点中的目标对象，包括：所述机器人在接收到所述第三命令后，根据预设的目标对象坐标的横坐标与机器人的机械手臂转角的对...

【专利技术属性】
技术研发人员：高小榕，韩旭，林科，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11