【技术实现步骤摘要】
本申请涉及视觉定位领域，尤其涉及一种基于像素点逆投影的车身漆面缺陷定位方法。
技术介绍
1、高质量的车身漆膜有着延长车身使用寿命、提升车身整体美观性的重要作用。但在车身漆膜涂装工艺中，很容易随机产生漆膜表面缺陷。目前在车身制造过程中，涂装工艺参数的缺陷修复仍然是一个繁琐的人工过程，带来人工去除缺陷劳动强度大、工作环境恶劣等问题。同时，由于车身面积巨大，且操作人员主观意识的存在，严重影响了加工效率的提升和产品质量的保证。近年来，机器人视觉技术逐渐成为复杂零部件自动化、数字化、智能化高效高品质制造的新趋势。然而，车身漆面缺陷的修复对漆面缺陷的精准定位提出了严格的要求。现有技术存在的主要问题为：(1)在缺陷定位时，目前大多数方法仅限于提取二维图像上缺陷的轮廓信息；(2)针对目标的空间定位方法，未与目标所处模型进行联系，难以提供机器人修复此缺陷所需的法向量信息。
技术实现思路
1、本申请提供一种基于像素点逆投影的车身漆面缺陷定位方法，根据单目相机与车身之间的空间转换关系、相机成像原理以及三维模型stl文件的格式特点，将车身表面stl模型中三角网格投影至像素坐标系；基于已知的二维漆面缺陷点像素坐标确定缺陷点所处三角网格；根据法向量垂直于三角网格的定理构建方程式，将二维缺陷像素点逆投影至车身stl模型实现车身漆面缺陷空间定位。
2、本申请的技术方案是：
3、一种基于像素点逆投影的车身漆面缺陷定位方法，包括以下步骤：
4、a1，通过相机标定、手眼标定以及工件标
5、a2，根据相机成像原理筛选位于相机成像视野范围内的车身stl模型三角网格；
6、a3，根据已知的漆面缺陷像素点坐标筛选位于缺陷点周围的三角网格；
7、a4，通过面积比较法确定缺陷点所处的三角网格，并得到所述三角网格在三维空间内的顶点和法向量；
8、a5，根据法向量垂直于三角网格的定理构建方程式，将缺陷像素点逆投影至车身stl模型三角网格上。
9、作为本申请的一种技术方案，在步骤a1中，建立相机坐标系和像素坐标系、机器人基坐标系和相机坐标系、工件坐标系和机器人基坐标系之间的转换关系的具体步骤如下：
10、a11，通过相机标定建立如下的相机坐标系与像素坐标系之间转换关系：
11、
12、式中：(u，v)为像素坐标系下的坐标，(u0，v0)为图像中心在像素坐标系中的位置，fx为相机在水平方向上的焦距，fy为相机在垂直方向上的焦距，m为相机的内参数矩阵，(xc，yc，zc)为相机坐标下的坐标；
13、a12，通过手眼标定建立如下的机器人基坐标系与相机坐标系之间转换关系：
14、
15、式中：(xc，yc，zc)为相机坐标下的坐标，r1为机器人基坐标系相对于相机坐标系的旋转矩阵，(x，y，z)为机器人基坐标系的坐标，t1为机器人基坐标系相对于相机坐标系的平移矩阵；
16、a13，通过工件标定建立如下的工件坐标系与机器人基坐标系之间转换关系：
17、
18、式中：(x，y，z)为机器人基坐标系的坐标，r2为工件坐标系相对于机器人基坐标系的旋转矩阵，(xw，yw，zw)为工件坐标下的坐标，t2为工件坐标系相对于机器人基坐标系的平移矩阵。
19、作为本申请的一种技术方案，在步骤a2中，筛选位于相机成像视野范围内的三角网格具体步骤如下：
20、a21，对车身stl模型中离散的三角网格曲面模型的拓扑关系进行重构，建立顶点、边以及三角面片之间的拓扑关系；三角网格集合s表示为：
21、
22、式中：ts为三角网格的集合，ps为三角网格顶点的集合，为三角网格法向量的集合；对于其中之一的三角形可定义为三个顶点与法矢量的集合：
23、
24、式中：且为集合s中第i个三角网格的三个顶点，为集合s中第i个三角网格的法向量；
25、a22，根据下式将法向量与相机光轴正方向向量乘积小于0的三角网格置于集合s1中，且公式如下：
26、式中：为机器人基坐标系下相机光轴的正方向向量，为集合s中第i个三角网格的法向量；
27、a23，根据步骤a1中建立的坐标系转换关系依次将集合s1中的三角网格顶点投影至像素坐标系中，根据下式进一步筛选位于相机成像视野内的三角网格置于集合s2中，且公式如下：
28、
29、式中：为集合s1中第i个三角网格的三个顶点投影至像素坐标系下的像素坐标，(umax，vmax)为相机采集图像的最大像素坐标。
30、作为本申请的一种技术方案，在步骤a3中，采用基于深度学习或图像处理的目标检测方法检测漆面缺陷，并将缺陷检测结果框的中心点像素坐标作为漆面缺陷点像素坐标。
31、作为本申请的一种技术方案，在步骤a3中，筛选位于缺陷点周围的三角网格方法为：
32、将集合s2中各三角网格顶点投影tis2至像素坐标系下，根据缺陷点像素坐标(u，v)来求距离(u，v)最近的三角网格顶点投影点像素坐标(ud，vd)，将集合s2中三角网格顶点投影点为(ud，vd)的所有三角网格置于集合s3中。
33、作为本申请的一种技术方案，在步骤a4中，确定缺陷点所处的三角网格方法为：
34、将集合s3中各三角网格顶点tis3投影至像素坐标系下，通过面积比较法确定缺陷点(u，v)所处的三角网格，各顶点满足下式的三角网格即为所求，且距缺陷点(u，v)最近的三角网格顶点投影点像素坐标(ud，vd)在机器人基坐标下对应的坐标d＝(xd，yd，zd)，缺陷点(u，v)所处的三角形网格在机器人基坐标下对应的法向量公式如下：
35、
36、式中：为集合s3中第i个三角网格的三个顶点投影至像素坐标系下的像素坐标。
37、作为本申请的一种技术方案，在步骤s5中，将缺陷像素点逆投影至车身stl模型三角网格的方法为：
38、根据已知的缺陷点像素坐标(u，v)，通过步骤a11至步骤a13可构建缺陷点像素坐标(u，v)与所在机器人基坐标下的坐标q＝(x，y，z)的转换关系，通过步骤a5可确定(x，y，z)所处的三角网格，并确定所述三角网格的某一顶点d＝(xd，yd，zd)和法向量点d与点q之间的向量与法向量垂直，则构建下式可求得缺陷点在车身stl模型上的逆投影点坐标，其公式如下：
39、
40、式中：zc为缺陷点在相机坐标系中的z轴坐标值，(u，v)为缺陷点像素坐标，m为相机内参数矩阵，r1为机器人基坐标系相对于相机坐标系的旋转矩阵，(x，y，z)为机器人基坐标系的坐标，t1为机器人基坐标系相对于相机坐标系的平移矩阵。
41、本申请的有益效果：
42、本申请提供本文档来自技高网...
【技术保护点】
1.一种基于像素点逆投影的车身漆面缺陷定位方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于像素点逆投影的车身漆面缺陷定位方法，其特征在于，在步骤A1中，建立相机坐标系和像素坐标系、机器人基坐标系和相机坐标系、工件坐标系和机器人基坐标系之间的转换关系的具体步骤如下：
3.根据权利要求1所述的基于像素点逆投影的车身漆面缺陷定位方法，其特征在于，在步骤A2中，筛选位于相机成像视野范围内的三角网格具体步骤如下：
4.根据权利要求1所述的基于像素点逆投影的车身漆面缺陷定位方法，其特征在于，在步骤A3中，采用基于深度学习或图像处理的目标检测方法检测漆面缺陷，并将缺陷检测结果框的中心点像素坐标作为漆面缺陷点像素坐标。
5.根据权利要求3所述的基于像素点逆投影的车身漆面缺陷定位方法，其特征在于，在步骤A3中，筛选位于缺陷点周围的三角网格方法为：
6.根据权利要求5所述的基于像素点逆投影的车身漆面缺陷定位方法，其特征在于，在步骤A4中，确定缺陷点所处的三角网格方法为：
7.根据权利要求2所述的基于像素点逆投影的车
...【技术特征摘要】
1.一种基于像素点逆投影的车身漆面缺陷定位方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于像素点逆投影的车身漆面缺陷定位方法，其特征在于，在步骤a1中，建立相机坐标系和像素坐标系、机器人基坐标系和相机坐标系、工件坐标系和机器人基坐标系之间的转换关系的具体步骤如下：
3.根据权利要求1所述的基于像素点逆投影的车身漆面缺陷定位方法，其特征在于，在步骤a2中，筛选位于相机成像视野范围内的三角网格具体步骤如下：
4.根据权利要求1所述的基于像素点逆投影的车身漆面缺陷定位方法，其特征在于，在步骤a3中...
【专利技术属性】
技术研发人员：朱大虎，王升哲，徐子嫣，谭子尧，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。