一种基于3D视觉的机械臂修坯方法技术

本发明专利技术公开了一种基于3D视觉的机械臂修坯方法，包括：点云数据采集、目标点云提取、点云配准、表面重建、机械臂轨迹规划。点云数据采集使用融合式深度相机采集包含目标工件的多角度场景点云数据，然后对场景点云进行目标提取。在此基础上，对多视角目标点云进行点云配准，建立全视角的点云模型，然后对该模型进行表面重建，重建出较为完整且接近于实物的重建模型。机械臂轨迹规划步骤是根据重建模型上的作业点坐标和相应的目标函数规划出轨迹点，并在仿真环境中进行验证与执行，仿真执行完成后，将轨迹数据发送至机械臂控制器进行修坯作业处理。本发明专利技术提高了系统作业自动化程度的同时，提高了稳定性和可靠性。

【技术实现步骤摘要】
一种基于3D视觉的机械臂修坯方法
本专利技术涉及机器视觉和工业机械臂
，尤其是一种基于3D视觉的机械臂修坯方法。
技术介绍
随着制造产业的转型升级和机器人控制与感知技术的进步发展，越来越多的机器人装备被应用到了工业制造中，因此能够极大地提高工业制造业原有的工作效率，同时还能代替人类完成危险环境中的工作。其中工业机械臂是被应用到工业生产线的主要机器人设备之一，机械臂是基于电子、机械、控制等多方面技术的具有多自由度的机器人装置。机械臂在分拣、码垛、搬运、喷漆和焊接等工作领域中都有广泛的应用。机器视觉是运用到工业领域的最为重要的感知技术之一。早期的基于单目视觉的感知技术被应用于简单的识别跟踪。目前，基于双目立体成像、红外结构光、TOF(TimeOfFlight)技术的深度相机如雨后春笋一般进入了各大领域，并将机器人视觉感知提高到另一个层次。传统的陶瓷卫浴工业生产线在没有应用机器人自动化技术之前，需要工人根据严格的测量数据，手持抛磨工具对素坯进行打磨与抛光，工作难度大且效率低下，针对不同批次的陶瓷素坯加工方法有很大差异，从而加大了本文档来自技高网...

【技术保护点】
1.一种基于3D视觉的机械臂修坯方法，其具体步骤如下：/n步骤1：采集含有多角度目标素坯工件的场景点云数据；具体包括：/n利用融合式双目深度相机采集点云数据，该融合式双目深度相机基于双目立体成像原理以及红外结构光测距原理，获得深度书数据；将待扫描的目标工件放置于可控制旋转角度的旋转平台上，融合式双目深度相机与旋转平台之间构成固定的相对位置，工件以一定的初始位置放置于旋转平台之上，并以固定角度为增量进行步进式旋转，以获得目标素坯的多角度信息，深度相机对场景中的每一个角度进行扫描和记录后回传至电脑，并将点云数据按照时间顺序以PCD文件的形式保存，命名为View1、View2、View3，...Vi...

【技术特征摘要】
1.一种基于3D视觉的机械臂修坯方法，其具体步骤如下：
步骤1：采集含有多角度目标素坯工件的场景点云数据；具体包括：
利用融合式双目深度相机采集点云数据，该融合式双目深度相机基于双目立体成像原理以及红外结构光测距原理，获得深度书数据；将待扫描的目标工件放置于可控制旋转角度的旋转平台上，融合式双目深度相机与旋转平台之间构成固定的相对位置，工件以一定的初始位置放置于旋转平台之上，并以固定角度为增量进行步进式旋转，以获得目标素坯的多角度信息，深度相机对场景中的每一个角度进行扫描和记录后回传至电脑，并将点云数据按照时间顺序以PCD文件的形式保存，命名为View1、View2、View3，...ViewN等N个视角场景点云文件；
步骤2：目标点云提取；将步骤1采集得到多视角的场景点云View1、View2、View3，...ViewN中将无关的数据点剔除并提取出目标工件数据；其具体步骤如下：
步骤2-1：根据步骤1中的深度相机和旋转平台的相对位置设置ROI参数，对复杂场景点云View1、View2、View3，...ViewN中的空间点进行ROI区域分割筛选，即选取出每一个点的三维空间坐标x，y，z位于ROI区域内的三维点；初步分割出只包含地面、旋转平台、工件三部分的小场景点云；
步骤2-2：将步骤2-1中获得的小场景点云中的点云数据集合表示为:
A{a1,a2,a3,...an}；
使用随机采样一致性(RANSAC)算法在点云集合A中进行平面拟合，RANSAC算法拟合出小场景中的平面及其平面参数，将A集合内的点分为平面上的点，与不属于平面的点两类；并记录下属于平面内的数据点的下标，以及不属于平面内的数据点下标，根据下标进行去平面处理，剔除属于平面的点；RANSAC算法获得平面参数后，可以确定平面在小场景点云中的位置，通过测量获得旋转平台高度为H，可以将距离平面上方H高度的所有点剔除，从而剔除旋转平台部分的数据，得到初步的目标工件数据；
步骤2-3：步骤2-2中得到的初步目标工件数据会有算法上效率不足所产生的离群点，以及3D视觉传感器采集数据时留下的表面毛刺噪声和边缘噪声，使得后续步骤产生差错；因此使用统计分析滤波器(StatisticalOutlierRemovel)，将上述结果作为输入进行滤波，去除离群点和表面离群点噪声；最终从View1、View2、View3，...ViewN中提取出多视角目标工件点云数据Obj1，Obj2，Obj3，...ObjN；
步骤3：多视角目标点云配准，这一过程是将步骤2-3中得到的Obj1，Obj2，Obj3，...ObjN进行两两配准，进行全局拼接，得到完整模型；
步骤3-1：为相邻的两个视角的点云建立高斯混合模型；从Obj1，Obj2，Obj3，...ObjN中选择需要配准的相邻两视角点云，设目标点云Scene，以及待配准点云Model；已知高斯连续概率密度分布函数为：



其中，μ为均值向量，∑为协方差矩阵，d为数据的维度；
根据以下准则建立高斯混合模型：
1)高斯混和模型中的高斯分量数量等于每一个点云数据集中的点云数量；
2)对于每一个高斯混合模型中的高斯分量，其平均值向量根据点的空间位置设置；
3)高斯混合模型中的所有高斯分量共享同一个协方差矩阵；
最终将如上所述的所有高斯分量以相同的权重相加，可得：

【专利技术属性】
技术研发人员：禹鑫燚，张毅凯，仇翔，欧林林，程兆赢，许成军，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33