一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法技术

本发明专利技术公开了一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，属于机器视觉与视频图像处理技术领域。本发明专利技术包含图像采集、图像预处理、模板区域提取、缺陷检测、结果显示等步骤；图像采集包括待测标签和模板标签从三个角度拍摄的不同图像；预处理过程实现了标签区域的分割和曲面转化为平面的图像处理操作；模板区域提取实现了待测标签三个不同角度图像与模板全景图某一区域的一一对应，使得图像采集中瓶体旋转角度不受限制，降低系统实现难度；缺陷检测模块基于模板匹配与相似度计算相结合的方法，通过耗时较短的模板匹配锁定可能的缺陷区域，再利用精确的相似度计算判定缺陷是否存在，在保证检测效果的基础上有效提高了检测效率。

【技术实现步骤摘要】
一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法
本专利技术涉及机器视觉与视频图像处理
，更具体地说，涉及一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法。
技术介绍
在食品、饮料以及药品等包装领域，在PET塑料、玻璃等材质的容器外往往需要附有标签。标签不仅对产品有非常重要的美观作用，而且标明大量的产品信息。标签存在缺陷对于产品而言是较为严重的质量问题，不能够上市销售。传统瓶体标贴破损缺陷检测多在灌装产品生产线后端以人工检测的方法完成检测工作，通常存在效率低、成本高、稳定性差以及可靠性差等问题，不能满足大规模工业化的生产需要。随着生产速度的日益加快、对产品品质要求的逐渐提高以及人力成本的快速升高，人工检测标签缺陷的方式越来越难以为继。基于机器视觉的图像检测算法能够自动进行标贴缺陷检测，无论是在提高效率、降低成本，还是在提高稳定性与可靠性方面都有很大的提升，具有很好的发展前景。就目前国内外研究现状来说，常用于标贴缺陷检测的算法有基于图像滤波的方法、基于边缘提取的方法、基于深度学习的方法等。但这些方法通常对图像拍摄条件较为苛刻，操作环境也较为复杂，在投入到实际工业应用中时往往受到限制。而经检索已经公开的相关方案中，也存在着应用上的缺陷或局限，如中国专利号ZL201310703385.3，授权公告日为2015年12月30日，专利技术创造名称为：一种扁平酒瓶标签粘贴缺陷自动检测方法；该申请案利用照明取像系统采集已贴标签的酒瓶图像；依次通过：图像对比度拉伸变换、图像降噪处理、图像阈值处理、图像填充处理对所获得的酒瓶图像进行预处理；再定位酒瓶瓶身和设定点在酒瓶图像中的位置，并将标签正确粘贴时特殊点与标签的位姿关系、和需要检测的图像中特殊点与标签的位姿关系进行对比，以此来判断标签是否有粘贴缺陷。该申请案基于图像中点之间的位置关系，克服了传统检测方法不便于检测扁平酒瓶的标签粘贴缺陷的问题，但该申请案用于扁平状瓶体表面标贴检测，对圆柱状瓶体不适用，且方案本身很大程度上依赖于三个预设点，且对瓶体摆放角度有一定要求，必须在有标贴面一侧采集图像，在实际应用中有一定的局限性。中国专利号ZL201410610077.0，专利技术创造名称为：标签缺陷检测方法；该申请案对打印好的标签进行图像获取；逐一的将标准字符与标签上的其中一待比对字符进行叠加并计算相似度值；若存在求和结果最大的相似度值大于或等于第一阈值，则将求和结果最大的相似度值所对应的标准字符作为待比对字符，记录待比对字符的当前坐标并进一步判断所述待比对字符的相似度值是否小于预设的第二阈值，若是，则将对应的标准字符与待比对字符进行叠加并计算二者乘积为0的次数，并将乘积为0的位置连接起来形成缺陷区域；若所述次数超过预设的第三阈值，且所述缺陷区域的面积超过预设的第四阈值，则将所述缺陷区域进行颜色标记。该申请案能够识别出标签中出现的字符缺陷，比对效率高。但该申请案的应用对象主要是平面字符标贴，不适用于有形变的曲面标贴，且该申请案针对的是包含字符、条形码的简单标签，并不适用于包含图形、文字等各种复杂内容的标签。中国专利号ZL201310160165.0，授权公告日为2015年8月19日，专利技术创造名称为：基于3D建模的近柱面瓶体标签的检测方法；该申请案包括瓶体标签位置的精确定位和标签掩码提取、瓶体标签的3D建模、瓶体标签图像的反柱面展开、瓶体标签图像的检测四个步骤，该申请案可以实现实时不间断检测，检测出标签劣标、大小标、高低标等缺陷，但该申请案的缺陷检测是利用分类器对图像各分块的特征矢量进行分类以判断当前块有无缺陷，处理过程复杂、计算量大，因此效率较低，且特征矢量鲁棒性不够强，可能受光照不均等因素干扰，影响检测结果。
技术实现思路
1.专利技术要解决的技术问题本专利技术的目的在于克服现有技术中不足，提供了一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，本专利技术包含了图像采集、图像预处理、模板区域提取、缺陷检测、结果显示等多个处理步骤，图像采集包括待测标签和模板标签从三个角度拍摄的不同图像；预处理过程实现了标签区域的分割和曲面转化为平面的图像处理操作；模板区域提取步骤实现了待测标签三个不同角度图像与模板全景图某一区域的一一对应，使得图像采集中瓶体旋转角度不受限制，降低系统实现难度；缺陷检测基于模板匹配与相似度计算相结合的方法，通过耗时较短的模板匹配锁定可能的缺陷区域，再利用精确的相似度计算判定缺陷是否存在，在保证检测效果的基础上有效提高了检测效率。2.技术方案为达到上述目的，本专利技术提供的技术方案为：本专利技术的一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，包括以下步骤：步骤一、图像采集：在低亮度环境中利用一组光源和三个相机采集圆柱状瓶体的表面标签图像；采集到的无损模板初始图像组记为(Mo1,Mo2,Mo3)，待测初始图像组记为(Fo1,Fo2,Fo3)；步骤二、图像分割与拉伸：对步骤一获得的图像分别进行分割操作，获得分割后的标签区域图像组，并利用相机标定法对其分别进行拉伸，获得曲面标签区域的平面图像，模板标签平面图像组记为(MS1,MS2,MS3)，待测标签平面图像组记为(F1,F2,F3)；步骤三、图像拼接：利用特征点匹配法对步骤二中获得的模板标签平面图像组(MS1,MS2,MS3)进行拼接，获得模板全景图像M；步骤四、图像定位：对步骤二中获得的待测标签平面图像组(F1,F2,F3)分别在模板全景图像M中实现定位，并分割出定位区域，记为映射模板图像组(M1,M2,M3)；步骤五、破损缺陷检测：将模板匹配法和特征相似度FSIM计算有机结合，对每一个待测-模板图像组(Fi,Mi)进行相似度计算，相似度低于设定阈值的认定为破损缺陷区域；步骤六、结果显示：显示步骤五所得的破损缺陷检测结果。更进一步地，步骤一在低亮度环境中利用CCD相机采集瓶体标签图像，三个相机分别处于以瓶体为中心的等边三角形顶点位置，并在每个相机的正下方放置一个光源，保证每个相机摄像头的中轴线方向保持水平并穿过瓶体放置区域中心。更进一步地，步骤二对无损模板初始图像组(Mo1,Mo2,Mo3)和待测初始图像组(Fo1,Fo2,Fo3)进行预处理操作，通过预设比标签区域稍大的ROI区域并在此基础上利用canny算子进行边缘检测，以此准确分割标签区域；然后采用张正友平面标定方法获取相机内外参数，进而将曲面图像转为平面图像。更进一步地，步骤三中模板标签平面图像组(MS1,MS2,MS3)中图像内容有两两重叠，通过SURF特征提取和特征点匹配，实现三幅图像的拼接，获得模板全景图像M。更进一步地，步骤四进行图像定位的具体过程为：利用模板匹配法，分别找出待测标签平面图像组(F1,F2,F3)中每张图像在模板全景图像M中的对应区域，并将对应区域分别分割出来，获得与(F1,F2,F3)相对应的映射模板图像组(M1,M2,M3)。更进一步地，步骤五中将待测标签平面图像组(F1,F2,F3)与映射模板图像组(M1,M2,M3)中的图像一一对应，分为三组待测-模板图像组(Fi,Mi)分别进行破损缺陷检测处理；通过计算待测图像Fi与模板图像Mi之间的相似度，若相似度低于设定阈值，则认为待测图像与模板图像间存在较大差异，有破损缺陷存在本文档来自技高网...

【技术保护点】
一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，包括以下步骤：步骤一、图像采集：在低亮度环境中利用一组光源和三个相机采集圆柱状瓶体的表面标签图像；采集到的无损模板初始图像组记为(M

【技术特征摘要】
1.一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，包括以下步骤：步骤一、图像采集：在低亮度环境中利用一组光源和三个相机采集圆柱状瓶体的表面标签图像；采集到的无损模板初始图像组记为(Mo1,Mo2,Mo3)，待测初始图像组记为(Fo1,Fo2,Fo3)；步骤二、图像分割与拉伸：对步骤一获得的图像分别进行分割操作，获得分割后的标签区域图像组，并利用相机标定法对其分别进行拉伸，获得曲面标签区域的平面图像，模板标签平面图像组记为(MS1,MS2,MS3)，待测标签平面图像组记为(F1,F2,F3)；步骤三、图像拼接：利用特征点匹配法对步骤二中获得的模板标签平面图像组(MS1,MS2,MS3)进行拼接，获得模板全景图像M；步骤四、图像定位：对步骤二中获得的待测标签平面图像组(F1,F2,F3)分别在模板全景图像M中实现定位，并分割出定位区域，记为映射模板图像组(M1,M2,M3)；步骤五、破损缺陷检测：将模板匹配法和特征相似度FSIM计算有机结合，对每一个待测-模板图像组(Fi,Mi)进行相似度计算，相似度低于设定阈值的认定为破损缺陷区域；步骤六、结果显示：显示步骤五所得的破损缺陷检测结果。2.根据权利要求1所述的一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，其特征在于：步骤一在低亮度环境中利用CCD相机采集瓶体标签图像，三个相机分别处于以瓶体为中心的等边三角形顶点位置，并在每个相机的正下方放置一个光源，保证每个相机摄像头的中轴线方向保持水平并穿过瓶体放置区域中心。3.根据权利要求1所述的一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，其特征在于：步骤二对无损模板初始图像组(Mo1,Mo2,Mo3)和待测初始图像组(Fo1,Fo2,Fo3)进行一定预处理操作；通过预设比标签区域稍大的ROI区域并在此基础上利用canny算子进行边缘检测，以此准确分割标签区域；然后采用张正友平面标定方法获取相机内外参数，进而将曲面图像转为平面图像。4.根据权利要求1所述的一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，其特征在于：步骤四进行图像定位的具体过程为：利用模板匹配法，分别找出待测标签平面图像组(F1,F2,F3)中每张图像在模板全景图像M中的对应区域，并将对应区域分别分割出来，获得与(F1,F2,F3)相对应的映射模板图像组(M1,M2,M3)。5.根据权利要求1所述的一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，其特征在于：步骤五中将待测标签平面图像组(F1,F2,F3)与映射模板图像组(M1,M2,M3)中的图像一一对应，分为三组待测-模板图像组(Fi,Mi)分别进行破损缺陷检测处理；通过计算待测图像Fi与模板图像Mi之间的相似度，若相似度低于设定阈值，则认为待测图像与模板图像间存在较大差异，有破损缺陷存在；相似度计算方法采用模板匹配法和特征相似度FSIM计算有机结合的方式，判断有无破损缺陷存在，及实现破损缺陷区域的定位。6.根据权利要求5所述的一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法，其特征在于：步骤五计算待测图像Fi与模板图像Mi之间相似度的具体处理过程为：(1)设定宽度w、高度h、列方向步长col_step、行方向步长row_step的滑动窗口，同步遍历待测图像Fi与模板图像Mi，记遍历一张图像可获得分块图像数目为m；(2)设定模板匹配相似度数值阈值t1与t2，t1<t2；FSIM相似度数值阈值s1；(3)待测图像Fi与模板图像Mi当前窗口内的分块图像记为fk、mk，1≤k≤m，计算其模板匹配相似度；模板匹配采用归一化平方差匹配方式，得相似度数值为t，若t<t1，待测图fk与模板图mk相似度较小，可判定待测图中有破损缺陷存在；若t>t2，待测图fk与模板图mk相似度...

【专利技术属性】
技术研发人员：朱赛男，袁宵，曹济英，高吉，董蓉，李勃，梁振华，查俊，黄璜，周子卿，史春阳，史德飞，陈和国，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32