一种基于角点约束的裁片眼刀检测方法技术

本发明专利技术设计了一种基于角点约束的裁片眼刀检测方法，该方法包括：采集现实中的裁片图像；对裁片图像进行畸变校正；将裁片图像和其对应的CAD进行匹配；通过仿射变换将图像和CAD重叠显示；通过角点检测算法提取CAD上的所有角点；从CAD上的角点中提取眼刀；在CAD上眼刀区域的邻域范围内提取裁片上眼刀；计算CAD上眼刀和裁片上眼刀之间的偏差。结果表明，本发明专利技术能够检测出裁片上的眼刀，且鲁棒性好。

A Method of Inspection for Cutting Eye Cutter Based on Corner Constraints

【技术实现步骤摘要】
一种基于角点约束的裁片眼刀检测方法
本专利技术涉及到一种基于角点约束的裁片眼刀检测方法，对裁片运用图像处理相关技术进行眼刀特征的检测，在检测准确率和效率方面相比现有技术有很大的提升。
技术介绍
近年来，基于机器视觉的测量技术，由于具有非接触、测量精度高、速度快、适应性好等优点，发展迅速。裁片的品质控制是企业进行生产的重要依据，企业在进行生产时，要对裁片进行品质控制，主要从裁片的整体尺寸偏差、眼刀偏差以及内部特征偏差等方面来进行检验。目前，传统的检测方法主要是：人工从顶层和最底层抽出相同的裁片，将两裁片重叠，检查尺寸是否一样，同时检查上下层“牙剪”定位是否一致或者将裁剪机裁剪出来的裁片与打印出来的CAD图纸进行人工对照，然后借助直尺等测量工具测量检测对象与CAD的偏差。人工测量方式不仅存在主观性、易疲劳、速度慢、强度大等缺点，而且测量精度和效率也难以保证。为了克服人工测量的种种弊端，测量臂、影像测量仪、三坐标测量仪等测量仪器得到了广泛使用，但仍存在许多问题，例如：测量臂和三坐标测量仪的测量精度与使用者的操作水平有关，存在主观性；影像测量仪单次测量范围较小，效率低。综上所述，目前迫切的需要提出一种准确度高、检测效率高、操作简单的裁片整体尺寸、特征、眼刀等信息的检测方法。
技术实现思路
有鉴于此，本专利技术提出了一种基于角点约束的裁片眼刀检测方法，该方法可以准确地检测出裁片上眼刀和CAD上眼刀的实际偏差，且鲁棒性和实用性较强。为达到上述目的，按照本专利技术的第一个方面，提供了基于角点约束的裁片眼刀检测方法，具体技术方案，包括下列步骤：步骤1：采集现实中放置于背光板上的裁片图像；步骤2：通过相机标定得到的参数和位姿对裁片图像进行畸变校正；步骤3：将裁片图像和其对应的CAD进行形状匹配；步骤4：通过仿射变换将图像和CAD在同一个二维坐标系中重叠显示；步骤5：通过角点检测算法提取CAD上的所有角点；步骤6：通过形状约束和交集面积约束的方式，对CAD上的角点进行分类，剔除不属于眼刀区域的无关角点，得到CAD上的所有眼刀；步骤7：在CAD上眼刀区域的邻域范围内提取所有角点，然后通过形状约束和交集面积约束的方式剔除无关角点得到裁片上的眼刀；步骤8：计算CAD上眼刀和裁片上眼刀之间的偏差。与现有技术相比，本专利技术的有益效果是：本专利技术针对裁片眼刀特征检测困难的问题，考虑到裁片是柔性材料裁剪而成，存在边缘粗糙、毛刺多、易发生形变等问题，采用了基于角点约束的眼刀提取方法。首先，采用改进的Harris角点检测算法得到CAD上的所有角点，在此基础上采用形状约束和交集面积约束的方式对角点进行分类得到不同形状的眼刀；然后通过仿射变换将裁片与其对应的CAD在同一个二维坐标系中重叠显示，在CAD上眼刀的邻域内可以得到裁片上的大致眼刀区域；最后，采用改进的Harris角点检测算法提取出裁片上眼刀区域的所有角点，采用采用形状约束和交集面积约束的方式剔除该区域内的无关角点得到眼刀。在700mm×500mm的视野范围内，测量了1000个裁片，实验结果表明CAD上的眼刀提取准确率保持在100％，裁片上的眼刀提取准确率保持在99.5％左右，眼刀的位置偏差检测误差控制在0.5mm以内，深度误差控制在1mm以内。附图说明图1基于角点约束的裁片眼刀检测方法的流程图；图2裁片和CAD匹配的流程图；图3裁片图像；图4最终提取的裁片上的U形眼刀；图5最终提取的裁片上的矩形眼刀；图6最终提取的裁片上的三角形眼刀。具体实施方式下面结合具体实施方式对本专利技术作进一步详细地描述。图1给出了按照本专利技术的基于角点约束的裁片眼刀检测方法的流程图。采集现实中的裁片图像；对相机进行标定得到相机的参数和位姿，通过相机的内参矩阵和外参矩阵对裁片图像进行畸变校正；对裁片图像和其对应的CAD模板进行形状匹配；通过仿射变换矩阵将裁片和CAD在同一个坐标系中重叠显示；采用Harris角点检测算法获得CAD上的所有角点，通过形状约束和交集面积约束的方式剔除不属于眼刀区域的无关角点，得到CAD上的眼刀特征；在CAD上眼刀区域的邻域范围内得到裁片上的眼刀特征；计算裁片上的眼刀和CAD上的眼刀之间的偏差。下面结合具体实施方式对本专利技术技术方案的具体实施过程加以说明。1.实验对象本专利技术针对裁片的规格大小，设计了700mm×500mm的LED背光板，在背光板上了采集了包括牛皮、织物、人造革等材料的1000张裁片图像。2.裁片和CAD的匹配在对裁片图像和CAD进行匹配时，考虑到裁片形变等问题，不能直接采用传统的匹配方法。本专利技术采用基于边缘轮廓的匹配方式，用CAD创建带有旋转和缩放的匹配模板，用裁片整体边缘或裁片形状特征比较明显的部分边缘与模板进行匹配。每次匹配，都可以得到匹配到目标的模板中心坐标(R，C)，匹配到目标的旋转角度Angle，匹配到目标的缩放系数Scale以及匹配得分Score。匹配流程图如图2所示，匹配成功之后，根据仿射变换将裁片和CAD在同一个坐标系中重叠显示，计算裁片和CAD的重合度Degree。最终，综合考虑Degree和Score可以得到最佳匹配方式，裁片如图3所示。3.CAD眼刀提取提取CAD上的眼刀时，先将CAD转换成一副具有相同灰度其和裁片图像同高同宽的灰度图，使用改进的Harris角点检测算法提取出裁片上的所有角点。根据眼刀的形状特征，需要将CAD上的角点分为四类：不属于眼刀区域的无关角点，三角形眼刀区域的角点，矩形眼刀区域的角点，U形眼刀区域的角点。其中每种形状的眼刀又包括凸眼刀和凹眼刀，本专利技术采用形状约束和交集面积约束的方式对角点进行分类并提取眼刀。提取步骤为：(1)剔除不属于眼刀区域的无关角点。CAD上所有角点的坐标为((x1，y1)，(x2，y2)，L(xi，yi)L)，遍历CAD上的所有角点，计算出角点之间的最小距离d。以CAD上的任一角点(xi，yi)为圆心，以d为半径，画圆。由圆的方程可知，位于圆外的点满足不等式：(x-xi)2+(y-yi)2＞d2，当以远离眼刀区域的角点做为圆心画圆时，CAD上的其他角点均位于圆外，以此剔除不属于眼刀区域的无关角点。(2)任选一个角点(xa，ya)，距离该角点最近的两个角点分别为(xa+1，yb+1)和(xa-1，yb-1)，以这三个角点组成一个矩形区域，若这个矩形区域内的角点个数是4个，那么这个眼刀就是矩形眼刀，计算矩形区域与CAD区域的交集，假设交集的面积为S1，矩形区域的面积为S2，若该眼刀即是凹矩形眼刀，否则是凸矩形眼刀。若这个矩形区域内的角点个数是3个，那么这个眼刀就是三角形眼刀，计算三角形区域与CAD区域的交集，假设交集的面积为S3，三角形区域的面积为S4，若该眼刀是凹三角形眼刀，否则是凸三角形眼刀。(3)从剩余的角点中任取一个角点(xm，yn)，找出距离该点一定距离p的所有角点，拟合为一条曲线，若这条曲线可以拟合成椭圆，就是U形眼刀，计算U形区域与CAD的交集，假设交集的面为S5，U形区域的面积为S6，若则该眼刀是凹U形眼刀，否则是凸U形眼刀。4.裁片眼刀提取裁片的材质和裁剪工艺会导致眼刀存在一定程度的形变，因此裁片上的眼刀不如CAD上的眼刀标准。如果直接提取裁片上的角点，会发现非眼刀区域的角点过多，不易剔除干扰角点，且本文档来自技高网...

【技术保护点】
1.一种基于角点约束的裁片眼刀检测方法，包括下列步骤：步骤1：采集裁片图像；步骤2：对裁片图像进行畸变校正；步骤3：将裁片图像和其对应的CAD进行匹配；步骤4：通过仿射变换将图像和CAD显示到同一个二维坐标系中；步骤5：通过角点检测算法提取CAD上的所有角点；步骤6：通过形状约束和交集面积约束的方式得到CAD上的所有眼刀；步骤7：在CAD上眼刀区域的邻域范围内提取裁片上的眼刀；步骤8：计算CAD上的眼刀和裁片上的眼刀之间的偏差。

【技术特征摘要】
1.一种基于角点约束的裁片眼刀检测方法，包括下列步骤：步骤1：采集裁片图像；步骤2：对裁片图像进行畸变校正；步骤3：将裁片图像和其对应的CAD进行匹配；步骤4：通过仿射变换将图像和CAD显示到同一个二维坐标系中；步骤5：通过角点检测算法提取CAD上的所有角点；步骤6：通过形状约束和交集面积约束的方式得到CAD上的所有眼刀；步骤7：在CAD上眼刀区域的邻域范围内提取裁片上的眼刀；步骤8：计算CAD上的眼刀和裁片上的眼刀之间的偏差。2.根据权利要求1所述的基于角点约束的裁片眼刀检测方法，其特征在于，步骤3中，柔性材料裁剪而成的裁片会发生不同程度的形变，而传统的匹配方法要求目标物体在方向或缩放上不能有太大的变化，为了寻找发生旋转或者缩放的目标物体，就必须创建多个方向、多个缩放比例的模板，同时，目标物体在图像中被遮挡的情况也应该被考虑到，采用基于图像边缘轮廓的匹配方法，就可以解决上述问题，使用目标物体的整体边缘或者特征比较明显的部分边缘与模板进行匹配，匹配之后得到匹配到目标的模板中心坐标(R，C)，匹配到目标的旋转角度Angle，匹配到目标的缩放系数Scale，进而得到将裁片和CAD重叠显示的仿射变...

【专利技术属性】
技术研发人员：肖志涛，魏全生，耿磊，张芳，吴骏，刘彦北，王雯，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：天津,12