基于工业机器视觉的AOI字符缺陷检测方法和装置制造方法及图纸

本发明专利技术公开一种可基于工业机器视觉实现的AOI字符缺陷检测方法，包括：获取待检测图像；对待检测图像进行预处理，得到位置已校正的、含字符的感兴趣区域图像；对待检测图像的感兴趣区域图像进行分离，得到字符区域图像；将待检测图像的字符区域图像与预先创建的基准图像模板进行模板匹配，得到模板匹配结果；根据模板匹配结果判断待检测图像是否存在字符缺陷；输出字符缺陷判断结果。本发明专利技术利用模板匹配可实现在低像素灰度图情况下ROI区域缺陷的检测，提高了检测效率和准确率，降低检测人工成本。

【技术实现步骤摘要】
基于工业机器视觉的AOI字符缺陷检测方法和装置
本专利技术涉及图像处理及机器视觉
，特别是一种基于工业机器视觉的AOI字符缺陷检测方法和装置。
技术介绍
机器视觉是用机器代替人眼来做测量和判断，具有易于信息集成的特点，是实现计算机集成制造的基础技术。机器视觉系统最基本的特点就是提高生产的灵活性和自动化程度。在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉。同时，在大批量重复性工业生产过程中，用机器视觉检测方法可以大大提高生产的效率和自动化程度。AOI(AutomatedOpticalInspection，自动光学检测)，是基于光学原理来对焊接生产中遇到的常见缺陷进行的检测。现如今，在工业生产中，产品上一般需要印刷上一定的字符信息，而在机器操作的环境下印刷时可能会出现缺陷，会降低产品在质检时的合格率，影响生产的进度。传统技术采用人工检查产品上印刷的字符信息，速度较慢、劳动强度较大，耗时也很长。采用机器视觉的检测方法又受限于对所拍摄的照片质量要求，而往往识别精度较低。
技术实现思路
本专利技术的目的是，提供一种基于工业机器视觉的AOI字符缺陷检测方法和装置，通过将图像处理与机器视觉相结合，利用AOI字符缺陷检测技术识别产品外观上的字符缺陷，降低对相机镜头的精度要求，提高识别结果准确度和效率皆较高。本专利技术采取的技术方案如下。一方面，本专利技术提供一种AOI字符缺陷检测方法，包括：获取待检测图像；对待检测图像进行预处理，得到位置已校正的、含字符的感兴趣区域图像；对待检测图像的感兴趣区域图像进行分离，得到字符区域图像；将待检测图像的字符区域图像与预先创建的基准图像模板进行模板匹配，得到模板匹配结果；根据模板匹配结果判断待检测图像是否存在字符缺陷；输出字符缺陷判断结果。本专利技术方法中，所述预先创建的基准图像模板利用多个含待检测字符的字符图像样本训练得到，基准图像的图像模板创建及训练过程可采用现有技术。模板匹配可得到的参数包括表征是否可以在待检测图像中找到匹配模型字符的参数值以及字符缺陷个数，根据字符缺陷个数即可判断是否存在字符缺陷。可选的，模板匹配包括：计算匹配分数Score，若Score＝0，则待检测图像中不存在基准图像中的字符，若Score≠0，则待检测图像中能够找到基准图像中的字符；响应于Score≠0，比较待检测图像的字符区域与基准图像的字符区域，得到字符缺陷个数NumError并输出；根据模板匹配结果判断待检测图像是否存在字符缺陷为：若NumErro>0，则待检测图像存在字符缺陷。反之可预判为待检测图像不存在字符缺陷。匹配分数Score是一个0到1之间的数，是模板在搜索图像中可见比例的近似测量。可选的，方法还包括：响应于模板匹配结果中NumErro＝0，计算待检测图像的字符区域图像中心坐标，将其与基准图像模板对应的基准图像中字符区域的中心坐标进行比较，计算待检测图像的偏移量；将计算得到的偏移量与设定阈值进行比较，响应于偏移量大于设定阈值，则输出存在字符缺陷的相应结果信息，否则输出匹配成功的相应结果信息。也即，对于通过模板匹配但存在偏移较大的待检测图像，可进一步判断为存在字符缺陷。可选的，偏移量的阈值设置为多个不同取值，每个阈值分别对应一个字符缺陷程度值，字符缺陷结果信息包括偏移程度标志位，标志位的值即为字符缺陷程度值；最终输出的偏移程度标志位的取值为，比偏移量小且与偏移量临近的阈值对应的字符缺陷程度值。可选的，对待检测图像的感兴趣区域图像采用Blob分析算法进行前景与背景的分离，得到字符区域图像。可选的，方法还包括，对于待检测图像的感兴趣区域图像，利用Halcon算法中的根据特征值选择区域算子去除图像边框，然后利用缩减图像特定区域算子截取只含有字符的区域，进而对区域进行膨胀处理。Halcon算法为现有算法，膨胀处理可以确保字符完全包含在区域内。可选的，基准图像模板的创建包括：确定与待检测图像对应的基准图像以及已知字符缺陷的多个训练样本图像；对基准图像确定mark位置点和标定点，并确定字符区域图像；基于基准图像的字符区域图像创建图像模板；对各训练样本图像按照待检测图像进行预处理和图像分离，得到字符区域图像；利用训练样本的字符区域图像对图像模板进行匹配训练，以调整模板的匹配过程参数，使得参数调整后的模板匹配的结果，符合相应训练样本图像的字符缺陷。mark位置点和标定点的确定用于对训练样本图像和待检测图像进行位置校正。本专利技术的模板训练采用监视模板算法来调整匹配过程参数，使得图像模板在实际的模板匹配中能够得到更准确的匹配结果。模板匹配算法可参考现有技术，算法输入主要有：Image，ModelID,AngleStart,AngleExtent,ScaleMin,ScaleMax,MinScore,NumMatches,MaxOverlap,SubPixel,NumLevels,Greediness。其中，参数Image为基准图像，ModelID为模型名称。参数AngleStart和AngleExtent决定了要搜索模型的旋转范围。参数ScaleMin和ScaleMax确定要搜索模型的范围。参数MinScore决定了一个潜在的匹配至少必须被视为图像中模型的一个实例。参数SubPixel亚像素决定是否以亚像素精度提取实例。在搜索过程中使用的金字塔层次的数量是由数字层次NumLevel决定的。参数Greediness决定搜索应该如何“贪婪地”执行。算法的输出主要为：Row,Column,Angle,Scale,Score。其中，模型的发现实例的位置、旋转和比例按行、列、角度和比例返回。坐标的行和列与形状模型在搜索图像中的原点位置有关。每个找到的实例的分数在score中返回。分数是一个介于0和1之间的数字，这是一个关于模型在图像中可见程度的近似度量。例如，如果模型的一半被遮挡，则得分不能超过0.5。可选的，方法还包括，将基准图像和待检测图像分别存储于不同的文件夹中；对待检测图像进行预处理时，位置校正包括：获取已存储的基准图像的mark位置点和标定点；获取已存储的待检测图像的mark位置点和标定点；通过仿射变换使得待检测图像与基准图像的mark位置点重合。可选的，定义基准图像的mark位置点为M1(x1，y1)、M2(x2，y2)，标定点为P(x，y)，待检测图像的位置点为M′1(x′1，y′1)、M′2(x′2，y′2)，标定点为P′(x′，y′)；所述仿射变换为：以M1点为基准，建立坐标系x0y0；以M′1点为基准，建立坐标系x0y0的平移坐标系xTyT和旋转坐标系xRyR；则在坐标系x0y0中，P点的相对坐标为P(xr，yr)，P’点的相对坐标为P’(x′ry′r)，其中xr＝x-x1，yr＝y-y1，x′r＝x′-x′1，y′本文档来自技高网...

【技术保护点】
1.一种AOI字符缺陷检测方法，其特征是，包括：/n获取待检测图像；/n对待检测图像进行预处理，得到位置已校正的、含字符的感兴趣区域图像；/n对待检测图像的感兴趣区域图像进行分离，得到字符区域图像；/n将待检测图像的字符区域图像与预先创建的基准图像模板进行模板匹配，得到模板匹配结果；/n根据模板匹配结果判断待检测图像是否存在字符缺陷；/n输出字符缺陷判断结果。/n

【技术特征摘要】
1.一种AOI字符缺陷检测方法，其特征是，包括：
获取待检测图像；
对待检测图像进行预处理，得到位置已校正的、含字符的感兴趣区域图像；
对待检测图像的感兴趣区域图像进行分离，得到字符区域图像；
将待检测图像的字符区域图像与预先创建的基准图像模板进行模板匹配，得到模板匹配结果；
根据模板匹配结果判断待检测图像是否存在字符缺陷；
输出字符缺陷判断结果。


2.根据权利要求1所述的方法，其特征是，模板匹配包括：计算匹配分数Score，若Score＝0，则待检测图像中不存在基准图像中的字符，若Score≠0，则待检测图像中能够找到基准图像中的字符；
响应于Score≠0，比较待检测图像的字符区域与基准图像的字符区域，得到字符缺陷个数NumError并输出；
根据模板匹配结果判断待检测图像是否存在字符缺陷为：若NumErro>0，则待检测图像存在字符缺陷。


3.根据权利要求2所述的方法，其特征是，方法还包括：
响应于模板匹配结果中NumErro＝0，计算待检测图像的字符区域图像中心坐标，将其与基准图像模板对应的基准图像中字符区域的中心坐标进行比较，计算待检测图像的偏移量；
将计算得到的偏移量与设定阈值进行比较，响应于偏移量大于设定阈值，则输出存在字符缺陷的相应结果信息，否则输出匹配成功的相应结果信息。


4.根据权利要求3所述的方法，其特征是，偏移量的阈值设置为多个不同取值，每个阈值分别对应一个字符缺陷程度值，字符缺陷结果信息包括偏移程度标志位，标志位的值即为字符缺陷程度值；最终输出的偏移程度标志位的取值为，比偏移量小且与偏移量临近的阈值对应的字符缺陷程度值。


5.根据权利要求1所述的方法，其特征是，对待检测图像的感兴趣区域图像采用Blob分析算法进行前景与背景的分离，得到字符区域图像；
方法还包括，对于待检测图像的感兴趣区域图像，利用Halcon算法中的根据特征值选择区域算子去除图像边框，然后利用缩减图像特定区域算子截取只含有字符的区域，进而对区域进行膨胀处理，得到最终字符区域图像。


6.根据权利要求1所述的方法，其特征是，基准图像模板的创建包括：
确定与待检测图像对应的基准图像以及已知字符缺陷的多个训练样本图像；
对基准图像确定mark位置点和标定点，并确定字符区域图像；
基于基准图像的字符区域图像创建图像模板；
对各训练样本图像按照待检测图像进行预处理和图像分离，得到字符区域图像；
利用训练样本的字符区域图像对图像模板进行匹配训练，以调整模板的匹配过程参数，使得参数调整后的模板匹配的结果，符合相应训练样本图像的字符缺陷。mark位置点和标定点的确定...

【专利技术属性】
技术研发人员：徐宁，朱怡，刘小峰，肖茹，姚潇，蒋爱民，
申请(专利权)人：河海大学常州校区，
类型：发明
国别省市：江苏;32