机器人用于局部不连续区域打磨的视觉定位方法及系统技术方案

本发明专利技术属于机器视觉、机器人应用领域，具体说是机器人用于局部不连续区域打磨的视觉定位方法，包括以下步骤：对工件进行线阵相机扫描，获取工件表面点云；获取工件的包围盒尺寸信息，沿包围盒的边长最大值及最小值划分成多个平面立方体；对每个平面立方体拟合出拟合平面；计算每个平面立方体中各个点云到拟合平面的距离，所有距离的平均值为粗糙度；统计所有平面立方体的粗糙度，并划分为不同等级；选出所有需要打磨的平面立方体，设置打磨阈值，并将打磨阈值、平面立方体中点云质心坐标及拟合出的表面法向量传送给机器人控制器，使机器人进行打磨作业；本发明专利技术由二维图像数据拓展到三维的点云数据，数据量提高，得到的粗糙度精度得到了提高。度得到了提高。度得到了提高。

【技术实现步骤摘要】
机器人用于局部不连续区域打磨的视觉定位方法及系统


[0001]本专利技术属于机器视觉、机器人应用领域，具体说是机器人用于局部不连续区域打磨的视觉定位方法及系统。

技术介绍

[0002]目前，对于表面具有复杂纹理的工件表面精打磨加工技术，现己发展为自动化加工的前沿研究领域。当今国内的打磨加工制造业已经初步使用机械臂来代替人工进行自动化生产，但仍有一些工件打磨加工生产流水线还采用着人工检测的方式。人工检测对于工件打磨加工来说，不仅效率低，并且质量无法统一。目前该技术的研究还在向着达到速度快、精度高、系统操作简单、维护成本低、融合性好、受外界影响小的方向努力。
[0003]孙瑞等人利用表面粗糙度对于光的相位影响程度的不同，根据检测光波的反射情况构建三维外形模型，显示出不同位置的粗糙度(孙瑞,薛少龙.一种材料表面质量检测方法、系统及存储设备[P].广东省：CN113970551A,2022
‑
01
‑
25.)。李顺才等人从铣削噪声和三向铣削振动加速度的时域信号中提取出声压级均方根和降维振动加速度均方根作为特征值，利用Tamura纹理特征获得工件表面纹理特征值(李顺才,李松原,刘志,胡雨婷,邵明辉,宋国璐.一种基于声振及纹理特征预测表面粗糙度的方法[P].江苏省：CN113704922A,2021
‑
11
‑
26.)。田建艳等人通过对图像进行图像预处理、灰度化、滤波等，后基于灰度共生矩阵提取图像的纹理特征计算粗糙度(田建艳,董良振,魏万珍,高云松,郭恒宽,杨胜强.基于图像的零件表面粗糙度支持向量机检测方法及系统[P].山西省：CN113989233A,2022
‑
01
‑
28.)。王梦徽设计了包含矩阵非零点个数、对比度、同质性、信息熵和能量五个矩阵指标的彩色分布统计矩阵来表示粗糙度(王梦徽.基于彩色分布统计矩阵和变量预测模型的粗糙度识别研究[D].湖南大学,2016.)。郭便以计算机显微视觉为检测手段,采用明暗恢复形状算法实现对加工表面微观形貌的三维重建与粗糙度检测(郭便.加工表面显微视觉图像三维重建与粗糙度检测[D].西安理工大学,2010.)。
[0004]目前按照取样方式的差异，粗糙度的测量方法大致可以分为两种：接触式和非接触式。接触式测量精度、速度及区域等受限于自身设备，且易损坏样本。非接触式的粗糙度测量方法包括光学测量法、声发射检测法和视觉检测法等。其中光学检测和声发射易受环境影响，且成本代价较高。而目前的视觉检测法通常采用二维图像法，但二维图像的特征提取依赖于测量物体的对比度(边缘数据)，需要一定的光照条件，且后续需要配合一定的定位方法才能确定粗糙度超过阈值的区域。

技术实现思路

[0005]本专利技术目的是提供一种机器人用于局部不连续区域打磨的视觉定位方法及系统，以克服现有视觉检测法易受光线、颜色等其他场景因素的干扰难以取得理想的效果的缺陷。
[0006]本专利技术为实现上述目的所采用的技术方案是：机器人用于局部不连续区域打磨的
视觉定位方法，包括以下步骤：
[0007]1)对需要进行打磨的工件进行线阵相机扫描，获取工件表面点云；
[0008]2)利用PCA法获取工件的包围盒尺寸信息，沿包围盒的边长最大值及最小值划分成多个平面立方体；
[0009]3)对每个平面立方体利用最小二乘拟合出轮廓线，并通过离散度拟合拟合平面；
[0010]4)计算每个平面立方体中、线阵相机采集到的各个点云到拟合平面的距离，并获取所有距离的平均值为粗糙度R
a
；
[0011]5)统计所有平面立方体的R
a
数值，按照打磨工艺要求将R
a
划分为不同等级；
[0012]6)选出所有需要打磨的平面立方体，根据划分的不同等级设置打磨阈值t，并将打磨阈值t、平面立方体中点云质心坐标及拟合出的表面法向量传送给机器人控制器，使机器人进行打磨作业；当完成一次打磨后，判断整个工件表面的粗糙度Ra与打磨阈值t的大小关系，若Ra≤t，则打磨完成；反之，重复步骤1)～6)。
[0013]所述平面立方体边长根据机器人打磨工艺和需求确定。
[0014]所述步骤3)，具体为：
[0015]由于点云为无数个点组成，通过离散度拟合平面，即找到一个平面，即该平面到各个点的距离和最近，即：
[0016]ax+by+cz+d＝0
[0017]其中，a，b，c，d分别为平面方程系数，x，y，z分别为平面方程变量；
[0018]利用最小二乘法的矩阵形式，获取a，b，c的值，并代入至平面公式，即获取拟合平面。
[0019]所述步骤4)，具体为：
[0020]计算每个平面立方体中每个点到拟合平面的距离，即将拟合平面公式拟合至二维数据R
a
的表达式中，即获取每点距离的平均值为粗糙度R
a
为：
[0021][0022]其中，a，b，c，d分别为平面方程系数，x
i
，y
i
，z
i
分别为平面方程变量，n为取样点个数。
[0023]所述拟合出的表面法向量为：
[0024]机器人用于局部不连续区域打磨的视觉定位系统，包括：
[0025]点云获取模块，用于对需要进行打磨的工件进行线阵相机扫描，获取工件表面点云；
[0026]平面拟合模块，用于利用PCA法获取工件的包围盒尺寸信息，沿包围盒的边长最大值及最小值划分成多个平面立方体；对每个平面立方体利用最小二乘拟合出轮廓线，并通过离散度拟合拟合平面；
[0027]粗糙度构建模块，用于计算每个平面立方体中、线阵相机采集到的各个点云到拟合平面的距离，并获取所有距离的平均值为粗糙度R
a
；统计所有平面立方体的R
a
数值，按照打磨工艺要求将R
a
划分为不同等级；
[0028]打磨控制模块，用于选出所有需要打磨的平面立方体，根据划分的不同等级设置
打磨阈值t，并将打磨阈值t、平面立方体中点云质心坐标及拟合出的表面法向量传送给机器人控制器，使机器人进行打磨作业。
[0029]本专利技术具有以下有益效果及优点：
[0030]1.本专利技术所采用线阵相机扫描范围大，同时对照明变化或环境光的干扰不敏感，与传统的RGB识别算法相比，提高了算法对环境的适应性，增强了鲁棒性；
[0031]2.本专利技术中线阵相机可以实时高效地采集序列数据，因此可以对实时数据进行实时处理，与传统的先扫描后处理的步骤相比可以更高效地实时处理焊缝数据减少工艺节拍；
[0032]3.本专利技术由二维图像数据拓展到三维的点云数据，数据量提高，但进而得到算法精度也得到提高；
[0033]4.本专利技术的点云数据可将根据粗糙度不同分类的三维外形数据发送给显示端，能够更加快速的捕捉到缺陷的具体形状及位置。
...

【技术保护点】

【技术特征摘要】
1.机器人用于局部不连续区域打磨的视觉定位方法，其特征在于，包括以下步骤：1)对需要进行打磨的工件进行线阵相机扫描，获取工件表面点云；2)利用PCA法获取工件的包围盒尺寸信息，沿包围盒的边长最大值及最小值划分成多个平面立方体；3)对每个平面立方体利用最小二乘拟合出轮廓线，并通过离散度拟合拟合平面；4)计算每个平面立方体中、线阵相机采集到的各个点云到拟合平面的距离，并获取所有距离的平均值为粗糙度R
a
；5)统计所有平面立方体的R
a
数值，按照打磨工艺要求将R
a
划分为不同等级；6)选出所有需要打磨的平面立方体，根据划分的不同等级设置打磨阈值t，并将打磨阈值t、平面立方体中点云质心坐标及拟合出的表面法向量传送给机器人控制器，使机器人进行打磨作业；当完成一次打磨后，判断整个工件表面的粗糙度Ra与打磨阈值t的大小关系，若Ra≤t，则打磨完成；反之，重复步骤1)～6)。2.根据权利要求1所述的机器人用于局部不连续区域打磨的视觉定位方法，其特征在于，所述平面立方体边长根据机器人打磨工艺和需求确定。3.根据权利要求1所述的机器人用于局部不连续区域打磨的视觉定位方法，其特征在于，所述步骤3)，具体为：由于点云为无数个点组成，通过离散度拟合平面，即找到一个到各个点的距离最近的平面，即：ax+by+cz+d＝0其中，a，b，c，d分别为平面方程系数，x，y，z分别为平面方程变量；利用最小二乘法的矩阵形式，获取a，b，c的值，并代入至平面公式，即获取拟合平面。4.根据权利要...

【专利技术属性】
技术研发人员：李朋超，徐方，王金涛，郭海冰，朱维金，苏萌，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：