本发明专利技术提供了一种基于物体平面特征的复合机器人3D抓取方法及系统，其中方法步骤包括：S1标定机械臂与相机之间的手眼关系；S2设定标准拍照位姿，采集场景点云，分出目标物体点云制作第一模板；S3 AGV保持不动再次获取场景点云，以与第一模板匹配，获取场景中目标物体相对于第一模板的第一变换矩阵；S4令AGV和目标物体保持不动，示教机械臂，获取可抓取目标物体的第一位姿以结合第一变换矩阵，计算标准抓取位姿变换矩阵；S5机械臂保持标准拍照位姿，移动AGV到新的位置后获取场景点云，以与第一模板进行匹配，获取场景中目标物体相对于第一模板的第二变换矩阵；S6根据第二变换矩阵与标准抓取位姿变换矩阵，从而无需借助额外标志物解得机械臂抓取位姿。物解得机械臂抓取位姿。物解得机械臂抓取位姿。
【技术实现步骤摘要】
一种基于物体平面特征的复合机器人3D抓取方法及系统
[0001]本专利技术涉及机器视觉技术，尤其涉及基于物体平面特征的复合机器人3D抓取方法及系统。
技术介绍
[0002]目前现有固定式机械臂无法满足人们对于低成本多工位柔性化分析的需求，因此将机械臂与AGV（Automated Guided Vehicle自动引导车）相结合的移动式复合机器人在工业领域有着越来越重要的应用价值。由于移动式复合机器人定位精度低，目前一些物料的抓取、摆放等工作主要依赖AGV导航定位和机器视觉补偿技术相结合的方式。
[0003]中国专利公布号为CN113084808A的专利技术专利公布了一种基于单目视觉的移动机械臂2D平面抓取方法。该方法主要使用基于形状的模板匹配方法识别标志物，计算AGV移动后机械臂的新抓取位姿。但是通过标志物来间接定位抓取物，要求工件与标志物相对位姿固定，一旦放置有偏差，则容易造成后期抓取失败。另外该技术在抓取过程中，需多次移动机械臂拍摄图片以供计算抓取位姿，这样会导致整体抓取节拍过于缓慢。
[0004]在3D视觉定位方面，Bsel和Mckay提出了迭代最近点(Iterative Closest Point ,ICP)算法，它重复进行“确定对应点关系点集——计算最优刚体变换”的过程，直到两片点云对应点的均方误差最小。但是对于传统的ICP配准算法及其改进形式，它们对于点云的初始位姿要求极高，容易陷入局部最优；算法在搜索对应点的过程中，计算代价很大，对于实际测量的海量数据，无法直接使用。
[0005]另一方面，Rusu提出的基于点特征直方图(Point Feature Histograms ,PFH)的三维点云配准算法，其通过参数化查询点与邻域点之间的空间差异，并形成一个多维直方图对点的k邻域集合属性进行描述，他是基于点与其 k邻域之间的关系以及它们的估计法线，考虑估计法线方向之间所有的相互作用，试图捕获最好的样本表面变化情况，以描述样本的几何特征，通过寻找最为相似的点特征直方图实现了点云的配准。
[0006]此外，在PFH的基础上，2009年Rusu提出了基于快速点特征直方图(Fast Point Feature Histograms ,FPFH)三维点云配准算法，降低了算法的计算复杂度，保留了 PFH大部分的识别特性，提高了点云配准的效率。基于特征的点云配准算法本质上是将二维图像的特征推广到三维，如：Sift
‑
3D、 Harris
‑
3D、ISS关键点的提取，还有PFH、FPFH特征直方图的计算。
[0007]然而对于识别工业场景中平面特征较为丰富的目标物体的点云，当局部特征较为相似时，容易导致点云匹配效果较差。
技术实现思路
[0008]为此本专利技术的主要目的在于提供一种基于物体平面特征的复合机器人3D抓取方法及系统，以实现无需借助额外标志物，即可识别工业场景中平面特征较为丰富的目标物体，并准确解得机械臂的抓取位姿。
[0009]为了实现上述目的，根据本专利技术的一个方面，提供了一种基于物体平面特征的复合机器人3D抓取方法，其步骤包括：S1标定机械臂与相机之间的手眼关系；S2设定标准拍照位姿，并采集场景点云，以分离出目标物体点云来制作第一模板；S3 AGV在保持不动的条件下获取场景点云，以供与第一模板进行模板匹配，进而获取场景中目标物体相对于第一模板的第一变换矩阵；S4 在AGV和目标物体保持不动的条件下，示教机械臂，直至获取可抓取目标物体的第一位姿以结合步骤S3的第一变换矩阵，计算出标准抓取位姿变换矩阵；S5机械臂保持标准拍照位姿，移动AGV到新的位置后获取场景点云，以供与第一模板进行模板匹配，进而获取场景中目标物体相对于第一模板的第二变换矩阵；S6根据第二变换矩阵与步骤S4标准抓取位姿变换矩阵，解得机械臂抓取位姿。
[0010]在可能的优选实施方式中，其中该步骤S2中制作第一模板的步骤包括：S21在目标物体点云的平面特征区域创建ROI，将ROI内点云拟合平面后；S22建立旋转矩阵R来转换ROI内点云，以旋转ROI内点云使其所在平面法向与Z轴平行；S23计算旋转后ROI内点云的中心，移动ROI内点云使其中心与参考坐标系原点重合后，将该ROI内点云定为第一模板。
[0011]在可能的优选实施方式中，其中该步骤S3中模板匹配步骤包括：S31对场景点云使用区域增长算法分割出各初始曲面点集；S32使用随机抽样一致性算法在各初始曲面点集中提取其所包含的平面模型及其对应的平面点云；S33将第一模板以及步骤S32中获得的各平面点云分别在参考坐标系内映射成相同分辨率的2D栅格图；S34将平面点云的2D栅格图与第一模板的2D栅格图进行重合匹配，若匹配成功，记录平面点云在参考坐标系内的旋转角度及偏移量，籍以建立目标物体到相机的第一变换矩阵。
[0012]在可能的优选实施方式中，其中该步骤S33中平面点云的2D栅格图建立步骤包括：S331建立旋转矩阵R1来转换平面点云，以旋转平面点云使其平面法向与Z轴平行；将旋转矩阵R1转换为齐次变换矩阵；S332 为根据步骤S331转换后的平面点云建立包围盒；S333根据预设尺寸等距栅格化该包围盒，并将存在点云的栅格进行填充标记，以转换为平面点云的2D栅格图，并记录对应二值变换矩阵为。
[0013]在可能的优选实施方式中，其中该步骤S33中第一模板的2D栅格图建立步骤包括：S334 建立第一模板点云包围盒；S335根据预设尺寸等距栅格化第一模板点云包围盒，并将存在点云的栅格进行填充标记，以转换为第一模板的2D栅格图。
[0014]在可能的优选实施方式中，其中该步骤S34中所述重合匹配步骤包括，粗匹配步骤：
S341以预设步长对平面点云的2D栅格图进行旋转、偏移操作，直至与第一模板的2D栅格图匹配后，记录匹配旋转角度及偏移量；S342 根据匹配旋转角度反算第一模板的2D栅格图的相对旋转角度，以建立变换矩阵。
[0015]在可能的优选实施方式中，其中该步骤S34中所述重合匹配步骤还包括，精匹配步骤：S343 将第一模板的点云根据步骤S342获得的变换矩阵进行转换，得到第二模板点云；以建立第二模板点云包围盒；S344 根据预设尺寸等距栅格化第二模板点云包围盒，并将存在点云的栅格进行填充标记，以转换为第二模板的2D栅格图；并建立对应的二值变换矩阵为；S345以预设步长对平面点云的2D栅格图进行旋转、偏移操作，直至与第二模板的2D栅格图匹配后，记录匹配旋转角度及偏移量；S346根据匹配旋转角度及偏移量反算第二模板的2D栅格图的相对旋转角度及偏移量，以建立3D空间变换矩阵，进而反算出目标物体在3D空间内的姿态得出第一变换矩阵。
[0016]在可能的优选实施方式中，其中该步骤S4中所述标准抓取位姿变换矩阵计算步骤包括：将示教机械臂后获得的第一位姿记为Pose，其中将示教机械臂后获得的第一位姿记为Pose，其中其中是预设的目标物体到机械臂基座的变换矩阵；为第一变换矩阵；是预设的相机到机械臂末端的变换矩本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于物体平面特征的复合机器人3D抓取方法，其特征在于步骤包括：S1标定机械臂与相机之间的手眼关系；S2设定标准拍照位姿，并采集场景点云，以分离出目标物体点云来制作第一模板；S3 AGV在保持不动的条件下获取场景点云，以供与第一模板进行模板匹配，进而获取场景中目标物体相对于第一模板的第一变换矩阵；S4在AGV和目标物体保持不动的条件下，示教机械臂，直至获取可抓取目标物体的第一位姿以结合步骤S3的第一变换矩阵，计算出标准抓取位姿变换矩阵；S5机械臂保持标准拍照位姿，移动AGV到新的位置后获取场景点云，以供与第一模板进行模板匹配，进而获取场景中目标物体相对于第一模板的第二变换矩阵；S6根据第二变换矩阵与步骤S4标准抓取位姿变换矩阵，解得机械臂抓取位姿。2.根据权利要求1所述的基于物体平面特征的复合机器人3D抓取方法，其特征在于步骤S2中制作第一模板的步骤包括：S21在目标物体点云的平面特征区域创建ROI，将ROI内点云拟合平面后；S22建立旋转矩阵R来转换ROI内点云，以旋转ROI内点云使其所在平面法向与Z轴平行；S23计算旋转后ROI内点云的中心，移动ROI内点云使其中心与参考坐标系原点重合后，将该ROI内点云定为第一模板。3.根据权利要求1所述的基于物体平面特征的复合机器人3D抓取方法，其特征在于步骤S3中模板匹配步骤包括：S31对场景点云使用区域增长算法分割出各初始曲面点集；S32使用随机抽样一致性算法在各初始曲面点集中提取其所包含的平面模型及其对应的平面点云；S33将第一模板以及步骤S32中获得的各平面点云分别在参考坐标系内映射成相同分辨率的2D栅格图；S34将平面点云的2D栅格图与第一模板的2D栅格图进行重合匹配，若匹配成功，记录平面点云在参考坐标系内的旋转角度及偏移量，籍以建立目标物体到相机的第一变换矩阵。4.根据权利要求3所述的基于物体平面特征的复合机器人3D抓取方法，其特征在于步骤S33中平面点云的2D栅格图建立步骤包括：S331建立旋转矩阵R1来转换平面点云，以旋转平面点云使其平面法向与Z轴平行；将旋转矩阵R1转换为齐次变换矩阵；S332 为根据步骤S331转换后的平面点云建立包围盒；S333根据预设尺寸等距栅格化该包围盒，并将存在点云的栅格进行填充标记，以转换为平面点云的2D栅格图，并记录对应二值变换矩阵为。5.根据权利要求3所述的基于物体平面特征的复合机器人3D抓取方法，其特征在于步骤S33中第一模板的2D栅格图建立步骤包括：S334 建立第一模板点云包围盒；S335根据预设尺寸等距栅格化第一模板点云包围盒，并将存在点云的栅格进行填充标记，以转换为第一模板的2D栅格图。6.根据权利要求3所述的基于物体平面特征的复合机器人3D抓取方法，其特征在于步
骤S34中所述重合匹配步骤包括，粗匹配步骤：S341以预设...
【专利技术属性】
技术研发人员：沈锴，邓辉，李华伟，陈丁，陈忠伟，石岩，王益亮，赵越，
申请(专利权)人：上海仙工智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。