一种实现机器人与人之间物品传递的人机协作方法及装置制造方法及图纸

本发明专利技术公开了一种实现机器人与人之间物品传递的人机协作方法及装置，包括操作人员手持指定容器进入视觉观测系统的观测范围，视觉观测系统根据视觉观测系统的观测范围内的视觉信息估计操作人员手持的指定容器的六自由度位姿，并将操作人员手持的指定容器的位姿发送给机械臂运动规划与控制系统等步骤，机械臂可以柔顺、灵敏地跟随操作人员手持的指定容器运动，且在跟随操作人员手持的指定容器运动的过程中，机械臂始终保持末端夹爪所持容器的杯口朝上，以避免盛装在其中的物品掉落，当操作人员手持的指定容器位置稳定且杯口朝上时，机械臂可以迅速、准确地在该位置进行物品交接。准确地在该位置进行物品交接。准确地在该位置进行物品交接。

【技术实现步骤摘要】
一种实现机器人与人之间物品传递的人机协作方法及装置


[0001]本专利技术涉及人机协作技术，具体地说，涉及一种实现机器人与人之间物品传递的人机协作方法及装置。

技术介绍

[0002]机器人技术发展迅速，在工业生产、科学研究、军事军备和社会生活等方面都有广泛的应用。在今天的现代化工厂中，已经有大量的自动化生产过程由工业机器人完成，比如上下料、搬运、焊接、喷涂、打磨等。传统的工业机器人虽然具有执行速度快、精度高的优点，但灵活适应性是其一大短板。相对的，人虽然有着很好的灵活适应性，但在速度和精度上很难达到机器人的水平。机器人和人是工业生产中的两大主要生产力，他们有着各自的优势，但出于安全性考虑，二者通常是分开独立工作的，无法实现优势互补，这不仅限制了生产效率也影响了生产线的灵活性。
[0003]而人机协作，即机器人与人在共同的工作空间下协作完成任务，很好地结合了机器人在速度、精度方面的优势和人类强大的灵活适应能力，能够满足任务多样性和环境复杂性的要求，可以用于执行与未知环境和人发生交互作用的操作任务，进一步提高生产效率和生产线的灵活性。在机器人与人协同工作的过程中很多时候都需要完成物品传递的任务，比如机器人向工人提供工具，所以人机之间的物品传递是人机协作的一项重要功能。综合应用并优化计算机视觉、操作机器人运动规划等技术，可以构建一个安全可靠的人机交接系统，实现机器人与人之间的物品传递。

技术实现思路

[0004]为了克服现有技术的不足，本专利技术的目的在于提供一种实现机器人与人之间物品传递的人机协作方法及装置，实现机器人与人之间安全可靠的物品交接。本专利技术是通过以下技术方案来实现的：
[0005]本专利技术公开了一种实现机器人与人之间物品传递的人机协作方法，包括以下步骤：
[0006]1)操作人员手持指定容器进入视觉观测系统的观测范围，视觉观测系统根据视觉观测系统的观测范围内的视觉信息估计操作人员手持的指定容器的六自由度位姿，并将操作人员手持的指定容器的位姿发送给机械臂运动规划与控制系统；
[0007]2)机械臂运动规划与控制系统根据接收到的操作人员手持的指定容器的位姿，结合机械臂末端的当前位姿以及交接策略，得到机械臂末端的目标位姿，然后根据机械臂末端的目标位姿和当前位姿生成机械臂关节速度控制指令，控制机械臂末端到达目标位姿。
[0008]作为进一步地改进，本专利技术所述的视觉观测系统的观测范围指相机视野，视觉信息包括RGB图像和深度图像；
[0009]视觉观测系统包括以下模块：图像采集模块、语义分割模块、语义分割优化模块、区域提取模块以及位姿估计模块；
[0010]图像采集模块用于采集相机视野中的RGB图像和深度图像，语义分割模块用于标注RGB图像中每个像素点所属的语义类别，语义类别有两类，一类是操作人员手持的指定容器，另一类是除操作人员手持的指定容器外的其他所有物体，语义分割优化模块用于优化语义分割模块产生的语义分割结果，区域提取模块用于根据语义分割优化模块优化之后的语义分割结果提取RGB图像中表示操作人员手持的指定容器的像素点和深度图像中表示操作人员手持的指定容器的点云，位姿估计模块用于估计操作人员手持的指定容器的位姿。
[0011]视觉观测系统中的图像采集模块用于采集相机视野中的RGB图像和深度图像，语义分割模块用于标注RGB图像中每个像素点所属的语义类别，语义类别有两类，一类是操作人员手持的指定容器，另一类是除操作人员手持的指定容器外的其他所有物体，语义分割优化模块用于优化语义分割模块产生的语义分割结果，区域提取模块用于根据语义分割优化模块优化之后的语义分割结果提取RGB图像中表示操作人员手持的指定容器的像素点和深度图像中表示操作人员手持的指定容器的点云，位姿估计模块用于估计操作人员手持的指定容器的位姿；
[0012]视觉观测系统中各模块之间的数据传递关系具体为，图像采集模块将RGB图像发送给语义分割模块，语义分割模块根据接收到的RGB图像进行语义分割，并将结果发送给语义分割优化模块，语义分割优化模块对接收到的语义分割结果进行优化，然后将优化之后的语义分割结果发送给区域提取模块，同时图像采集模块将RGB图像和深度图像发送给区域提取模块，区域提取模块根据接收到的优化后的语义分割结果、RGB图像以及深度图像提取表示操作人员手持的指定容器的像素和点云，并将表示操作人员手持的指定容器的像素和点云发送到位姿估计模块，位姿估计模块根据接收到的表示操作人员手持的指定容器的像素和点云得到操作人员手持的指定容器的位姿。
[0013]作为进一步地改进，本专利技术所述的机械臂运动规划与控制系统包括以下模块：目标位姿计算模块、人工势场建立模块以及导纳控制模块；
[0014]目标位姿计算模块用于根据操作人员手持的指定容器的位姿、机械臂末端的当前位姿以及交接策略得到机械臂末端的目标位姿，人工势场建立模块用于根据机械臂末端目标位姿建立虚拟引力势场并计算机械臂末端所受到的虚拟力和力矩，导纳控制模块用于根据机械臂末端受到的虚拟力和力矩计算机械臂关节速度指令。
[0015]机械臂运动规划与控制系统各模块之间的数据传递关系具体为，机械臂将机械臂末端的位姿发送给目标位姿计算模块，目标位姿计算模块根据接收到的机械臂末端的位姿、预先设计好的交接策略以及从视觉观测系统传输过来的操作人员手持的指定容器的位姿计算出机械臂末端的目标位姿，并将机械臂末端的目标位姿发送给人工势场建立模块，人工势场建立模块根据接收到的机械臂末端的目标位姿得到机械臂末端受到的虚拟力和力矩，并将机械臂末端受到的虚拟力和力矩发送给导纳控制模块，导纳控制模块根据接收到的机械臂末端受到的虚拟力和力矩计算机械臂关节速度指令，并将机械臂关节速度指令发送给机械臂执行。
[0016]作为进一步地改进，本专利技术所述的语义分割模块使用的算法包括但不限于Fast
‑
SCNN；位姿估计模块使用的算法包括但不限于REDE。
[0017]作为进一步地改进，本专利技术所述的语义分割结果的初始值由视觉观测系统中语义分割模块得到，该结果会将RGB图像边缘的一些像素点误分类为操作人员手持的指定容器，
视觉观测系统中语义分割优化模块通过分析该结果中被标记为操作人员手持的指定容器的连通区域，当有多个这样的连通区域时，去除在边缘且像素点数量较少的连通区域，从而优化语义分割结果。
[0018]作为进一步地改进，本专利技术所述的交接策略以及机械臂末端的目标位姿的确定方法具体为：若机械臂末端与操作人员手持的指定容器的位置偏差较小，且操作人员手持的指定容器的姿态是杯口朝上，则使机械臂末端跟随操作人员手持的指定容器，同时进行倾倒，即设定机械臂末端的目标位置为操作人员手持的指定容器的位置的偏高处，目标姿态为使机械臂末端夹爪所持容器杯口斜向下朝向操作人员手持的指定容器的杯口；否则，使机械臂末端跟随操作人员手持的指定容器，同时保持机械臂末端夹爪所持容器杯口朝上，即设定机械臂末端的目标位置为操作人员手持的指定容器的位置的偏高处，目标姿态为使机械臂末端本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实现机器人与人之间物品传递的人机协作方法，其特征在于，包括以下步骤：1)操作人员手持指定容器进入视觉观测系统的观测范围，视觉观测系统根据视觉观测系统的观测范围内的视觉信息估计操作人员手持的指定容器的六自由度位姿，并将操作人员手持的指定容器的位姿发送给机械臂运动规划与控制系统；2)机械臂运动规划与控制系统根据接收到的操作人员手持的指定容器的位姿，结合机械臂末端的当前位姿以及交接策略，得到机械臂末端的目标位姿，然后根据机械臂末端的目标位姿和当前位姿生成机械臂关节速度控制指令，控制机械臂末端到达目标位姿。2.根据权利要求1所述的实现机器人与人之间物品传递的人机协作方法，其特征在于，所述的视觉观测系统的观测范围指相机视野，所述的视觉信息包括RGB图像和深度图像；所述的视觉观测系统包括以下模块：图像采集模块、语义分割模块、语义分割优化模块、区域提取模块以及位姿估计模块；所述的图像采集模块用于采集相机视野中的RGB图像和深度图像，语义分割模块用于标注RGB图像中每个像素点所属的语义类别，所述的语义类别包括两类，一类是操作人员手持的指定容器，另一类是除操作人员手持的指定容器外的其他所有物体，语义分割优化模块用于优化语义分割模块产生的语义分割结果，区域提取模块用于根据语义分割优化模块优化之后的语义分割结果提取RGB图像中表示操作人员手持的指定容器的像素点和深度图像中表示操作人员手持的指定容器的点云，位姿估计模块用于估计操作人员手持的指定容器的位姿。3.根据权利要求1所述的实现机器人与人之间物品传递的人机协作方法，其特征在于，所述的机械臂运动规划与控制系统包括以下模块：目标位姿计算模块、人工势场建立模块以及导纳控制模块；所述的目标位姿计算模块用于根据操作人员手持的指定容器的位姿、机械臂末端的当前位姿以及交接策略得到机械臂末端的目标位姿，人工势场建立模块用于根据机械臂末端目标位姿建立虚拟引力势场并计算机械臂末端所受到的虚拟力和力矩，导纳控制模块用于根据机械臂末端受到的虚拟力和力矩计算机械臂关节速度指令。4.如权利要求2所述的实现机器人与人之间物品传递的人机协作方法，其特征在于，所述的语义分割模块使用的算法包括但不限于Fast
‑
SCNN；所述的位姿估计模块使用的算法包括但不限于REDE。5.如权利要求2所述的实现机器人与人之间物品传递的人机协作方法，其特征在于，所述的语义分割结果的初始值由视觉观测系统中语义分割模块得到，该结果会将RGB图像边缘的一些像素点误分类为操作人员手持的指定容器，视觉观测系统中语义分割优化模块通过分析该结果中被标记为操作人员手持的指定容器的连通区域，当有多个这样的连通区域时，去除在边缘且像素点数量较少的连通区域，从而优化语义分割结果。6.如权利要求1或2中所述的实现机器人与人之间物品传递的人机协作方法，其特征在于，所述的交接策略以及机械臂末端的目标位姿的确定方法具体为：若机械臂末端与操作人员手持的指定容器的位置偏差较小，且操作人员手持的指定容器的姿态是杯口朝上，则使机械臂末端跟随操作人员手持的指定容器，同时进行倾倒，否则，使机械臂末端跟随操作人员手持的指定容器，同时保持机械臂末端夹爪所持容器杯口朝上。7.如权利要求3中所述的实现机器人与人之间物品传递的人机协作方法，其特征在于，
所述的虚拟引力势场的建立具体为，根据下式建立以机械臂末端的目标位姿为中心的虚拟引力势场：其中，x为待评估处的位姿，x
t
为机械臂末端的目标位姿，K
a
为系数，d
a
为距离阈值，U
att
(x)为x处的虚拟势能；机械臂末端所受到的虚拟力和力矩的计算具体为，根据下式计算机械臂末端在虚拟引力势场中受到的...

【专利技术属性】
技术研发人员：杨逸飞，林隆中，章一凡，熊蓉，周忠祥，王越，
申请(专利权)人：浙江大学，
类型：发明
国别省市：