基于单目视觉的立方体视差校正设备的视差校正算法制造技术

本发明专利技术涉及机器视觉相关领域，尤其涉及基于单目视觉的立方体视差校正设备的视差校正算法，所述基于单目视觉的立方体视差校正设备包括：料台、支架、补光灯、相机；本发明专利技术针对不同尺寸、不同厚度的立方体料件，仅选用单个普通工业相机、支架和料台作为设备结构即可进行操作，标定工序简单、操作实施方便(无需双目视觉及线激光、无需额外的运动部件)，成本低、精度高且可用于复杂的立方体场景识别，不受环境限制(灯光、日照等苛刻条件)，对于不同立方体的厚度和位置偏差均能进行有效补偿。厚度和位置偏差均能进行有效补偿。厚度和位置偏差均能进行有效补偿。

【技术实现步骤摘要】
基于单目视觉的立方体视差校正设备的视差校正算法


[0001]本专利技术涉及机器视觉相关领域，尤其涉及基于单目视觉的立方体视差校正设备的视差校正算法。

技术介绍

[0002]随着工业4.0的到来，工业机器人也在快速发展，传统的位置控制型机器人通过示教与再现已无法满足生产的不确定性，由于实际作业中的工件误差与环境变动，示教再现往往难以完成任务，甚至发生碰撞，此时，基于视觉识别驱动机器人运动显得至关重要；现有三种市面上主流产品分别为：基于双目视觉识别的零件抓取、基于模板的单目视觉识别零件抓取、基于线激光等激光类的视觉识别零件抓取，他们分别有各自的缺点，第一种产品抓取精度不高、标定工序复杂；第二种产品不适用于尺寸差异大且零件种类多的立方体零件抓取；第三种产品又成本极高，总结来说上述三种主流产品不能同时满足精度高、成本低、标定工序简单，检测立方体零件这些优点。

技术实现思路

[0003]因此，本专利技术正是鉴于以上问题而做出的，本专利技术的目的在于通过单目视觉的立方体视差校正设备，以解决精度低、成本高、标定工序复杂，不能检测立方体零件的问题，本专利技术是通过以下技术方案实现上述目的：
[0004]基于单目视觉的立方体视差校正设备的视差校正算法，其特征在于：所述基于单目视觉的立方体视差校正设备包括：料台、支架、补光灯、相机、料件、相机图像边框、取料台边框、中心线、钢板一、钢板二、相机标定板、图像坐标系、相机取景框、相机中心点、钢板一轮廓最小外接矩形、钢板二轮廓最小外接矩形；所述支架位于料台上面，所述补光灯位于支架下方；所述相机位于补光灯下方，所述料件位于料台上面；
[0005]视差校正方法如下：
[0006]S1：先将相机安装在料台的正确位置处：
[0007]在相机消除畸变后，相机固定于支架上，使得相机的相机图像边框与取料台边框保持平行，当料台在相机成像中，a＝b，c＝d时，则判定相机安装角度与料台平行；
[0008]S2：进行相机手眼标定：
[0009]所述中心线为上方相机所拍摄的视野中心线，所述钢板一位于相机下方，并且中心线落在钢板一轮廓范围内，所述钢板二位于钢板一右方，中心线没有落在钢板二轮廓范围内，所述相机标定板位于料台上；
[0010]建立映射矩阵时是以相机标定板上表面为参照基准，且相机标定板厚度t相对于料件的厚度T不可忽略，计算中要排除相机标定板厚度影响；
[0011]H：相机镜头到聊天的高度
[0012]T：料件厚度
[0013]t：相机标定板厚度
[0014]L：相机中心落在料件轮廓内，轮廓关键点到相机图像中心的距离
[0015]D：相机中心不在料件轮廓内，轮廓邻近边(靠近相机中心的边)关键点到图像中心的距离
[0016]S3：依据料件所在位置分情况计算视差：
[0017]第一种情况，中心线落在钢板一轮廓内；
[0018]a、b、c、d分别为钢板一轮廓最小外接矩形的四个顶点；
[0019]五个关键点位图像坐标为已知量：
[0020]o(xo,yo)，a(xa,ya)，b(xb,yb)，c(xc,yc)，d(xd,yd)
[0021]通过之前的手眼标定操作，可得图像坐标到机器人坐标系之间的映射矩阵：
[0022][0023]重新计算o在机器人坐标下的坐标or：
[0024][0025]同理，计算a、b、c、d在机器人坐标系下的坐标为：
[0026][0027]计算oa在机器人坐标系下的长度：
[0028][0029]对于安装好的硬件，以及当前正在计算的钢板一，H(相机镜头高度)，T(钢板一厚度)，t(相机标定板厚度)全部为已知量。
[0030]则a点的视差为：
[0031][0032]修正视差，重新计算a点的实际位置：
[0033]①
通过a和o两点计算两点所在直线L1 y＝kx+b：
[0034][0035]②
求L1上一点，到a点的距离为err的点坐标：
[0036]θ＝tan
‑1k/π*180
[0037]此状况下会有两个解，分别记为ar1和ar2
[0038][0039][0040]③
判断ar1和ar2哪一点在矩形abcd内，理论上落在矩形内的点有且只有一点。
[0041]判断原理：连接点待判断点与矩形的四个顶点a、b、c、d，形成四个三角形，如果四个小三角形面积之和等于矩形面积，即说明该点在矩形内部。
[0042]三角形面积计算公式：
[0043][0044]将ar1和a、b、c、d依次代入以上公式计算四个小三角形的面积得：
[0045]Saab，Sabc，Sacd，Sada
[0046]判断：
[0047]Srect＝Saab+Sabc+Sacd+Sada
[0048]重复上述过程，再依次计算b、c、d三点的实际位置；
[0049]第二种情况，中心线落在钢板二轮廓外：
[0050]a、b、c、d分别为钢板二轮廓最小外接矩形的四个顶点；
[0051]e、f、g、h分别为矩形四边的中点；
[0052]ab、ad：轮廓邻近边
[0053]cd、cb：轮廓远离边
[0054]邻近边和远离边的判断依据：连接矩形边中点和相机中心点O，若该线段与矩形的其他边有交点，则该矩形边为远离边，反之为邻近边；
[0055]五个关键点位图像坐标换算到机器人坐标的算法和情况一一致；
[0056]邻近边和远离边端点到o点的距离N和F算法和情况一一致；
[0057]则，邻近边视差：
[0058][0059]远离边视差：
[0060][0061]计算端点实际位置的算法和情况一一致；
[0062]但判断两解有效点的方式不同：
[0063]①
分别计算两解到o点的距离dis1和dis2；
[0064]②
比较dis1和dis2的大小；
[0065]③
邻近边：距离较小的点为实际点，远离边距离较大的点为实际点；
[0066]重复上述过程，依次计算所有邻近边和远离边端点的实际位置，利用方程法重新计算实际邻近边和远离边所在直线的交点；
[0067]方程法计算交点公式如下：
[0068][0069]其中：
[0070][0071](x0,y0)和(x1,y1)分别是直线上的两点；
[0072]同理可计算：a1,b1,c1
[0073]若D＝0，则两条直线平行，没有交点；
[0074]以上两种情况全部计算完成时，依据钢板二轮廓最小外接矩形实际的顶点位置，即可精确定位钢板二的位置，计算钢板二的精确尺寸。
[0075]优选的，所述支架与料台固定连接。
[0076]优选的，所述补光灯安装在支架上。
[0077]优选的，所述相机与补光灯安装一体。...

【技术保护点】

【技术特征摘要】
1.基于单目视觉的立方体视差校正设备的视差校正算法，其特征在于：所述基于单目视觉的立方体视差校正设备包括：料台(1)、支架(2)、补光灯(3)、相机(4)、料件(5)、相机图像边框(6)、取料台边框(7)、中心线(8)、钢板一(9)、钢板二(10)、相机标定板(11)、图像坐标系(12)、相机取景框(13)、相机中心点(14)、钢板一轮廓最小外接矩形(15)、钢板二轮廓最小外接矩形(16)；所述支架(2)位于料台(1)上面，所述补光灯(3)位于支架(2)下方；所述相机(4)位于补光灯(3)下方，所述料件(5)位于料台(1)上面；视差校正方法如下：S1：先将相机(4)安装在料台(1)的正确位置处：在相机(4)消除畸变后，相机(4)固定于支架(2)上，使得相机(4)的相机图像边框(6)与取料台边框(7)保持平行，当料台(1)在相机成像中，a＝b，c＝d时，则判定相机(4)安装角度与料台(1)平行；S2：进行相机(4)手眼标定：所述中心线(8)为上方相机(4)所拍摄的视野中心线，所述钢板一(9)位于相机(4)下方，并且中心线(8)落在钢板一(9)轮廓范围内，所述钢板二(10)位于钢板一(9)右方，中心线(8)没有落在钢板二(10)轮廓范围内，所述相机标定板(11)位于料台(1)上；建立映射矩阵时是以相机标定板(11)上表面为参照基准，且相机标定板(11)厚度t相对于料件(5)的厚度T不可忽略，计算中要排除相机标定板(11)厚度影响；H：相机(4)镜头到聊天的高度T：料件(5)厚度t：相机标定板(11)厚度L：相机(4)中心落在料件(5)轮廓内，轮廓关键点到相机(4)图像中心的距离D：相机(4)中心不在料件(5)轮廓内，轮廓邻近边(靠近相机(4)中心的边)关键点到图像中心的距离S3：依据料件(5)所在位置分情况计算视差：第一种情况，中心线(8)落在钢板一(9)轮廓内；a、b、c、d分别为钢板一轮廓最小外接矩形(15)的四个顶点；五个关键点位图像坐标为已知量：o(xo,yo)，a(xa,ya)，b(xb,yb)，c(xc,yc)，d(xd,yd)通过之前的手眼标定操作，可得图像坐标到机器人坐标系之间的映射矩阵：重新计算o在机器人坐标下的坐标or：同理，计算a、b、c、d在机器人坐标系下的坐标为：计算oa在机器人坐标系下的长度：
对于安装好的硬件，以及当前正在计算的钢板一(9)，H(相机(4)镜头高度)，T(钢板一(9)厚度)，t(相机标定板(11)厚度)全部为已知量。则a点的视差为：修正视差，重新计算a点的实际位置：
①
通过a和o两点计算两点所在...

【专利技术属性】
技术研发人员：王伟昌，郭家友，王继文，潘铭洪，伍沅祥，
申请(专利权)人：安徽工布智造工业科技有限公司，
类型：发明
国别省市：