基于激光的人机交互方法技术

本发明专利技术涉及一种基于激光的人机交互方法，其解决了现有载臂轮椅式助老助残机器人靠手柄来操作，存在的操作不方便、负担重、精度差、效率低；人机交互不够友好，用户体验差的技术问题，其包括以下步骤：获取物体的图像；识别出图像中存在的激光光斑；据激光光斑识别目标物体。本发明专利技术广泛用于人机交互技术领域。

Human computer interaction method based on laser

【技术实现步骤摘要】
基于激光的人机交互方法
本专利技术涉及助老助残机器人
，具体而言，涉及一种基于激光的人机交互方法。
技术介绍
众所周知，中国正处在老龄化社会迅速发展的阶段，社会上需要护理的老年人以及残疾人的数量日益增多，这就对助老助残机器人的刚性需求巨增。参考申请公布号为CN109048918A的中国专利技术专利申请、申请公布号为CN109262632A的中国专利技术专利申请以及申请公布号为CN107595505A的中国专利技术专利申请，载臂轮椅式助老助残机器人兼具载运和抓取、移动物体功能，这类机器人的人机交互主要靠手柄来操作，然而手柄操作方式存在操作不方便、负担重、精度差、效率低以及对熟练度要求较高的技术缺陷，无法满足用户的要求；人机交互不够友好，用户体验不理想，不符合目前物联网技术的发展需求。
技术实现思路
本专利技术就是为了解决现有载臂轮椅式助老助残机器人靠手柄来操作，存在的操作不方便、负担重、精度差、效率低；人机交互不够友好，用户体验差的技术问题，提供了一种操作更加方便、负担轻、精度高、效率高；人机交互更加友好，用户体验更好的基于激光的人机交互方法。本专利技术提供一种基于激光的人机交互方法，包括以下步骤：步骤1，获取物体的图像；步骤2，识别出图像中存在的激光光斑；步骤3，依据激光光斑识别目标物体。优选地，步骤3的过程是：计算激光光斑在图像中的位置信息；依据位置信息识别目标物体。优选地，步骤1中，图像包括深度图像和彩色图像；步骤2的过程是，识别出彩色图像中存在的激光光斑；步骤3的过程是：(1)计算激光光斑在彩色图像中的二维像素坐标(u，v)，将光斑的二维像素坐标(u，v)转换到相机坐标系下的坐标(X/Z，Y/Z)；(2)首先对深度图像进行滤波处理，其次进行距离分割处理获得每一个物体的点云，再其次计算每个物体在相机坐标系下的形心坐标(Xi，Yi，Zi)，然后将各个物体的形心坐标(Xi，Yi，Zi)与光斑坐标(X/Z，Y/Z)进行距离比较，如果某物体与光斑之间的距离小于设定阈值，则确定该物体为目标物体。优选地，通过以下公式(1-1)判断物体与光斑之间的距离小于设定阈值：公式(1-1)中，T表示阈值。优选地，步骤2识别出彩色图像中存在的激光光斑的过程是：(1)将获得的彩色图像进行图像预处理；(2)通过YOLOv3卷积神经网络函数识别出预处理后的彩色图像中的激光光斑，具体过程是：将预处理后的彩色图像输入YOLOv3卷积神经网络函数进行训练，训练的过程能够得出彩色图像的真实框；YOLOv3卷积神经网络函数对图像数据进行分析判断，在网络的最后一层，会将卷积网络处理后的图像分成等边的单元格，使用锚预测方法对每个单元格进行预测判断；针对每一个划分的小单元格，如果预测出目标边界框，YOLOv3卷积神经网络函数使用逻辑回归对预测边界框打分；根据预测框和真实框的重合程度设定置信度，该置信度作为阈值使用，当边界框得分大于置信度，则确定该边界框可能为激光光斑所在图像区域，如果最后剩余一个边界框,则该边界框区域为激光光斑,如果预置判断后还剩余多个边界框,则取得分最大的边界框区域,确定识别出激光光斑。优选地，步骤1中，图像包括彩色图像；所述步骤2的过程是：(1)将获得的彩色图像进行图像预处理；(2)通过YOLOv3卷积神经网络函数识别出预处理后的彩色图像中的激光光斑，具体过程是：将预处理后的彩色图像输入YOLOv3卷积神经网络函数进行训练，训练的过程能够得出彩色图像的真实框；YOLOv3卷积神经网络函数对图像数据进行分析判断，在网络的最后一层，会将卷积网络处理后的图像分成等边的单元格，使用锚预测方法对每个单元格进行预测判断；针对每一个划分的小单元格，如果预测出目标边界框，YOLOv3卷积神经网络函数使用逻辑回归对预测边界框打分；根据预测框和真实框的重合程度设定置信度，该置信度作为阈值使用，当边界框得分大于置信度，则确定该边界框可能为激光光斑所在图像区域，如果最后剩余一个边界框,则该边界框区域为激光光斑,如果预置判断后还剩余多个边界框,则取得分最大的边界框区域,确定识别出激光光斑。本专利技术还提供一种基于激光的人机交互方法，包括以下步骤：步骤1，获取物体的图像；步骤2，识别出图像中存在的第一次激光光斑；步骤3，计算出第一次激光光斑的位置信息；步骤4，根据第一次激光光斑识别第一目标物体；步骤5，当图像中的第一次激光光斑消失后，又识别出图像中存在的第二次激光光斑，计算从第一次激光光斑消失后到出现第二次激光光斑之间的间隔时间；步骤6，计算出第二次激光光斑识的位置信息；步骤7，根据第二次激光光斑识别第二目标物体；步骤8，当图像中的第二次激光光斑消失，将第一次激光光斑的位置信息和第二次激光光斑的位置进行比较，如果第二次激光光斑和第一次激光光斑的位置不同，则判断第一目标物体和第二目标物体是两个不同的物体。优选地，步骤3的过程是，计算第一次激光光斑在彩色图像中的二维像素坐标(u，v)，将光斑的二维像素坐标(u，v)转换到相机坐标系下的坐标(X1/Z，Y1/Z)；步骤6的过程是，计算第二次激光光斑在彩色图像中的二维像素坐标(u，v)，将第二次激光光斑的二维像素坐标(u，v)转换到相机坐标系下的坐标(X2/Z，Y2/Z)并进行存储；步骤8中将第一次激光光斑的位置信息和第二次激光光斑的位置进行比较的过程是，将第二次激光光斑的坐标(X2/Z，Y2/Z)和第一次激光光斑的坐标(X1/Z，Y1/Z)比对，计算两个坐标之间的距离L，如果距离L大于设定的阈值S，则认为第二次激光光斑和第一次激光光斑的位置不同。本专利技术还提供一种基于激光的人机交互方法，包括以下步骤：步骤1，应用载臂轮椅式助老助残机器人，所述载臂轮椅式助老助残机器人包括控制系统、电动轮椅、机械臂和RGB-D摄像头，所述机械臂与电动轮椅连接，所述RGB-D摄像头与电动轮椅连接；所述控制系统包括主控制器、GPU模块、RGB-D摄像头、激光笔、机械臂控制器和轮椅控制器，所述机械臂控制器与主控制器连接，GPU模块与主控制器连接，RGB-D摄像头与GPU模块连接；步骤2，通过RGB-D摄像头对桌子上的物体所在区域进行摄像，获取视频，并将视频信息发送给主控制器；步骤3，主控制器按照一定周期对视频信息进行采样处理，获取深度图像和彩色图像；步骤4，人坐在电动轮椅上，手握激光笔，按压激光笔的开关发射出激光照射在某一个物体上，主控制器中别出图像中存在的激光光斑；步骤5：(1)计算激光光斑在彩色图像中的二维像素坐标(u，v)，将光斑的二维像素坐标(u，v)转换到相机坐标系下的坐标(X/Z，Y/Z)；(2)首先对深度图像进行滤波处理，其次进行距离分割处理获得每一个物体的点云，再其次计算每个物体在相机坐标系下的形心坐标(Xi，Yi，Zi)，然后将各个物体的形心坐标(Xi，Yi，Zi)与光斑坐标(X/Z，Y/Z)进行距离比较，通过以下公式(1-1)判断物体与光斑之间的距离小于设定阈值：公式中，T表示阈值，如果某物体与光斑之间的距离小于设定阈值T，则确定该物体为目标物体。本专利技术的有益效果是：(1)交互方式新颖，相比通过手柄进行简单的任务动作与关节控制，用户只需考虑目标物不必关注过程控制，操作起来更方便，操作负担小，提高用户的使用易用性，用户感受好。(2本文档来自技高网...

【技术保护点】
1.一种基于激光的人机交互方法，其特征在于，包括以下步骤：步骤1，获取物体的图像；步骤2，识别出图像中存在的激光光斑；步骤3，依据激光光斑识别目标物体。

【技术特征摘要】
1.一种基于激光的人机交互方法，其特征在于，包括以下步骤：步骤1，获取物体的图像；步骤2，识别出图像中存在的激光光斑；步骤3，依据激光光斑识别目标物体。2.根据权利要求1所述的基于激光的人机交互方法，其特征在于，所述步骤3的过程是：计算激光光斑在图像中的位置信息；依据位置信息识别目标物体。3.根据权利要求2所述的基于激光的人机交互方法，其特征在于：所述步骤1中，图像包括深度图像和彩色图像；所述步骤2的过程是，识别出彩色图像中存在的激光光斑；所述步骤3的过程是：(1)计算激光光斑在彩色图像中的二维像素坐标(u，v)，将光斑的二维像素坐标(u，v)转换到相机坐标系下的坐标(X/Z，Y/Z)；(2)首先对深度图像进行滤波处理，其次进行距离分割处理获得每一个物体的点云，再其次计算每个物体在相机坐标系下的形心坐标(Xi，Yi，Zi)，然后将各个物体的形心坐标(Xi，Yi，Zi)与光斑坐标(X/Z，Y/Z)进行距离比较，如果某物体与光斑之间的距离小于设定阈值，则确定该物体为目标物体。4.根据权利要求3所述的基于激光的人机交互方法，其特征在于，通过以下公式(1-1)判断物体与光斑之间的距离小于设定阈值：公式(1-1)中，T表示阈值。5.根据权利要求4所述的基于激光的人机交互方法，其特征在于：所述步骤2识别出彩色图像中存在的激光光斑的过程是：(1)将获得的彩色图像进行图像预处理；(2)通过YOLOv3卷积神经网络函数识别出预处理后的彩色图像中的激光光斑，具体过程是：将预处理后的彩色图像输入YOLOv3卷积神经网络函数进行训练，训练的过程能够得出彩色图像的真实框；YOLOv3卷积神经网络函数对图像数据进行分析判断，在网络的最后一层，会将卷积网络处理后的图像分成等边的单元格，使用锚预测方法对每个单元格进行预测判断；针对每一个划分的小单元格，如果预测出目标边界框，YOLOv3卷积神经网络函数使用逻辑回归对预测边界框打分；根据预测框和真实框的重合程度设定置信度，该置信度作为阈值使用，当边界框得分大于置信度，则确定该边界框可能为激光光斑所在图像区域，如果最后剩余一个边界框,则该边界框区域为激光光斑,如果预置判断后还剩余多个边界框,则取得分最大的边界框区域,确定识别出激光光斑。6.根据权利要求1或2所述的基于激光的人机交互方法，其特征在于：所述步骤1中，图像包括彩色图像；所述步骤2的过程是：(1)将获得的彩色图像进行图像预处理；(2)通过YOLOv3卷积神经网络函数识别出预处理后的彩色图像中的激光光斑，具体过程是：将预处理后的彩色图像输入YOLOv3卷积神经网络函数进行训练，训练的过程能够得出彩色图像的真实框；YOLOv3卷积神经网络函数对图像数据进行分析判断，在网络的最后一层，会将卷积网络处理后的图像分成等边的单元格，使用锚预测方法对每个单元格进行预测判断；针对每一个划分的小单元格，如果预测出目标边界框，YOLOv3卷积神经网络函数使用逻辑回归对预测边界框打分；根据预测框和真实框的重合程度设定置信度，该置信度作为阈值使用，当边界框得分大于置信度，则确定该边界框可能为激光光斑所在图像区域，如果最后剩余一...

【专利技术属性】
技术研发人员：刘亚欣，钟鸣，姚玉峰，王思瑶，
申请(专利权)人：哈尔滨工业大学威海，威海市机器人与智能装备产业研究院，
类型：发明
国别省市：山东,37