一种基于视觉的TR元件定位和缺陷检测方法技术

一种基于视觉的TR元件定位和缺陷检测方法，本发明专利技术涉及TR元件视觉定位和视觉检测方法。本发明专利技术解决现有技术中有人为误差、精度低、实时性差以及计算结果对光照敏感的问题。本发明专利技术是通过二值化区域图像，提取外边界点集，寻找有效边界点集，寻找最小外接矩形，有效边界点集分类，二值图像仿射变换，TR元件类型检查，有效边界点集再次分类并编号，拟合引脚直线，拟合引脚足部直线，确定TR元件细节信息，检查TR元件引脚的缺陷等步骤实现的，并且包含多项技术，其中也包括灰度值滤波，4领域快速轮廓跟踪，双轴旋转法寻找最小外接矩形等创新技术。本发明专利技术主要应用于贴片机视觉系统中元件定位与检测领域。

【技术实现步骤摘要】

本专利技术涉及视觉定位及缺陷检测的识别方法，特别涉及一种基于视觉的TR元件 定位和缺陷检测方法。
技术介绍
随着电子产业的发展，市场对电子产品的要求越来越苛刻，不仅要达到小型化、轻 量化、薄型化，更是要在组装生产过程中达到自动化。因此表面组装技术（SMT)应运而生并 迅猛发展，而其中最为核心的设备就是贴片机。衡量一台贴片机好坏最重要的有三个指标： 可贴元器件的范围，贴装速度以及贴装精度。而介于此，图像识别算法和流程被公认为是贴 片机视觉系统的关键，元件识别算法的有效范围直接影响着贴片机可贴元器件的范围，其 的精度和速度也直接制约着贴装速度以及贴装精度。 现如今我国的贴片机才刚刚起步，与国外水平相距甚远，片式元件的视觉识别算 法方面的专利又是少之又少，对于TR元件，目前更是没有一个完整的视觉定位与检测算法 发表，这对于我国电子产业的发展十分不利。现在对于贴片元件的视觉研宄主要集中在视觉定位和符号识别当中，对于贴片元 件的缺陷检测主要还是通过手工精密仪器测量，这不仅浪费了实践，浪费了人力，也引入了 更多的人为误差，精度很低。 在现如今贴片元件的视觉定位的研宄中也有很多问题，大多数算法都存在精度 低，实时性差，计算结果对光照敏感等问题。
技术实现思路
本专利技术的目的是为了解决现在对于贴片元件的视觉研宄中有人为误差、精度低、 实时性差以及计算结果对光照敏感问题，而提出的一种基于视觉的TR元件定位和缺陷检 测方法。 上述的专利技术目的是通过以下技术方案实现的： 步骤一、检查所选择区域图像亮度；若图像出现太亮或太暗则停止检查并返回相 应错误码；若亮点数与总点数的比值在区间则转至步骤二；其中，所选择区域 图像中像素值为255的像素点认为是亮点，所选区域图像所有像素点个数记为总点数；当 亮点数与总点数的比值小于0. 01认为区域图像太暗，当亮点数与总点数的比值大于0. 90 则认为区域图像太亮； 步骤二、对所选区域图像中亮点数与总点数的比值在的图像进行二 值化，得到二值化图像；其中，二值化图像包括手动输入固定阈值二值化方法得到的二值化 图像和采用类间方差最大的方法得到的二值化图像； 步骤三、对步骤二中采用类间方差最大的方法得到的二值化图像进行外边界提取 的操作，得到二值化图像的外边界点集，存放在二维点容器1中；其中，外边界提取的操作 采用的提取算子是一种4领域快速轮廓跟踪算子，其中，4领域快速轮廓跟踪算子算子的描 述如下： P为待判定的像素点，其4领域的位置分别为P1、P2、P3和P4 ;当P1、P2、P3和P4 中有一个为背景像素点时，判定P为边界像素点，用4领域快速轮廓跟踪算子遍历采用类间 方差最大的方法得到的二值化图像就得到准确的单像素宽度的边界点集图像即二值化图 像的外边界点集。 步骤四、对步骤三得到的二维点容器1中的外边界点集进行灰度值检查得到筛选 后的边界点集，并将筛选后的边界点集压入一个二维点容器2中，记为有效边界点集； 其中，所述的步骤三中外边界点集进行灰度值检查得到筛选后的边界点集的具体 过程为： (1)取步骤三得到的任意一个外边界点集，若外边界点集包含的点数大于10,则 进行步骤（2); (2)若步骤⑴中的外边界点集有内含或者有嵌套的外边界点集，则将内含或者 嵌套的外边界点集之间的连通区域所有像素点像素值定为255;若步骤（1)中的外边界点 集没有内含或者嵌套的外边界点集则将此外边界点集所包含内部所有像素点像素值定为 255 ； (3)将像素值为255的像素点画在一个空的灰度图像中，记为这一个外边界点集 的二值图像； (4)计算步骤（3)中像素值为255的像素点的个数，记为si;将步骤二中手动输入 固定阈值二值化方法得到的二值化图像与步骤（2)中得到的这一个外边界点集的二值图 像进行按位与运算，得到一个新的二值图像，计算新的二值图像中像素值为255的像素点 个数，记为s2 ; (5)计算sl/s2的值并将sl/s2值小于0. 5所对应的边界点集删除；重复⑴~ (5)直到取遍步骤三中得到所有外边界点集，并将所有的留下来的外边界点集压入一个二 维点容器中，即得到有效的边界点集； 步骤五、寻找全体有效边界点集的最小外接矩形，将全体有效边界点集的最小外 接矩形作为元件的粗略最小外接矩形，并将全体有效边界点集的最小外接矩形的旋转角度 作为TR元件的粗略旋转角度a，全体有效边界点集的最小外接矩形的中心坐标作为TR元 件的粗略中心坐标（x^y。）； 所述的寻找全体有效边界点集的最小外接矩形所采用的方法是一种优化后的旋 转目标法，这里称之为双轴旋转法具体步骤为： (1)寻找全体有效边界点集的水平主轴：依次扫描全体有效边界点集的每一列i， 寻找每一列有效边界点集的起点坐标（Xn,yn)和终点坐标（xi2,yi2)，从而计算第i列内目 标的中心坐标（x'i，太）： 将全体有效边界点集的各列的中心坐标作为一组数据（x'以'利用最小 二乘法进行直线拟合，得到表示全体有效边界点集的水平主轴初始位置的直线方程y= klX+b1;其中，i= 1，2,…，N;k$斜率，bA截距；(2)寻找全体有效边界点集的垂直主轴：依次扫描全体有效边界点集的每一行j， 寻找每一行边界点集的起点坐标（Xji,yji)和终点坐标（xj2,yj2)，从而计算第j行内目标的 中心坐标（x'』，y'： 将此边界点集的各行的中心坐标作为一组数据（x'j，y'」），利用最小二乘法进 行直线拟合，得到表示全体有效边界点集的垂直主轴初始位置的直线方程x=k2y+b2; 其中，j= 1，2,…，M;k2为斜率，b2为截距； (3)求取全体有效边界点集的初始最小外接矩形，简称为初始最小外接矩形：保 持全体有效边界点集的水平主轴方向不变，找到与直线方程y =klX+bi平行，且与有效边界 点集相切的两条直线y=kiX+biJPy=k3+1312 取与有效边界点集的水平主轴垂直即k'f-l/h且过（X(l，yci)的垂线y= fiX+y^k'iXd，找到垂线与有效边界点集相切的两条直线y=k'p+b' ^和又二 kr !X+br12； 根据四条直线y=kiX+bn、y=kj+bu、y=k'iX+b' n和y=k'iX+b' 12的 交点就得到初始最小外接矩形的四个顶点； 其中，y=kiX+bn为初始最小外接矩形的上边界；y=k0+1312为初始最小外接矩 形的下边界，y=k'p+b'n为初始最小外接矩形的左边界；y=k'p+b' 12为初始最 小外接矩形的右边界； (4)求全体有效边界点集最小外接矩形：绕全体有效边界点集的水平主轴与全体 有效边界点集的垂直主轴的交点旋转，旋转角度区间取为：从全体有效边界点集的水平主 轴初始位置开始，逐渐到与有效边界点集垂直主轴初始位置重合所旋转锐角Y，在旋转角 度区间内以a0 =r为每一次旋转间隔，按照步骤（3)中的方法求取每一次旋转后的全 体有效边界点集的最小外接矩形；并计算旋转第t次的全体有效边界点集的最小外接矩形 面积Mt，绘制出Mt折线图观察；t= 1，2,…，;为y的整数部分； (5)若步骤⑷得到的面积Mt大于面积Mi，M2,L，Mh中最小值的L1倍，或者有 效边界点集水平主轴的旋转到的位置斜率大于或等于有本文档来自技高网...

【技术保护点】
一种基于视觉的TR元件定位和缺陷检测方法，其特征在于一种基于视觉的TR元件定位和缺陷检测方法具体是按照以下步骤进行的：步骤一、检查所选择区域图像亮度；若图像出现太亮或太暗则停止检查并返回相应错误码；若亮点数与总点数的比值在区间[0.01,0.90]则转至步骤二；其中，所选择区域图像中像素值为255的像素点认为是亮点，所选区域图像所有像素点个数记为总点数；当亮点数与总点数的比值小于0.01认为区域图像太暗，当亮点数与总点数的比值大于0.90则认为区域图像太亮；步骤二、对所选区域图像中亮点数与总点数的比值在[0.01,0.90]的图像进行二值化，得到二值化图像；其中，二值化图像包括手动输入固定阈值二值化方法得到的二值化图像和采用类间方差最大的方法得到的二值化图像；步骤三、对步骤二中采用类间方差最大的方法得到的二值化图像进行外边界提取的操作，得到二值化图像的外边界点集，存放在二维点容器1中；其中，外边界提取的操作采用的提取算子是一种4领域快速轮廓跟踪算子，其中，4领域快速轮廓跟踪算子算子的描述如下：P为待判定的像素点，其4领域的位置分别为P1、P2、P3和P4；当P1、P2、P3和P4中有一个为背景像素点时，判定P为边界像素点，用4领域快速轮廓跟踪算子遍历采用类间方差最大的方法得到的二值化图像就得到准确的单像素宽度的边界点集图像即二值化图像的外边界点集；步骤四、对步骤三得到的二维点容器1中的外边界点集进行灰度值检查得到筛选后的边界点集，并将筛选后的边界点集压入一个二维点容器2中，记为有效边界点集；其中，所述的步骤三中外边界点集进行灰度值检查得到筛选后的边界点集的具体过程为：(1)取步骤三得到的任意一个外边界点集，若外边界点集包含的点数大于10，则进行步骤(2)；(2)若步骤(1)中的外边界点集有内含或者有嵌套的外边界点集，则将内含或者嵌套的外边界点集之间的连通区域所有像素点像素值定为255；若步骤(1)中的外边界点集没有内含或者嵌套的外边界点集则将此外边界点集所包含内部所有像素点像素值定为255；(3)将像素值为255的像素点画在一个空的灰度图像中，记为这一个外边界点集的二值图像；(4)计算步骤(3)中像素值为255的像素点的个数，记为s1；将步骤二中手动输入固定阈值二值化方法得到的二值化图像与步骤(2)中得到的这一个外边界点集的二值图像进行按位与运算，得到一个新的二值图像，计算新的二值图像中像素值为255的像素点个数，记为s2；(5)计算s1/s2的值并将s1/s2值小于0.5所对应的边界点集删除；重复(1)～(5)直到取遍步骤三中得到所有外边界点集，并将所有的留下来的外边界点集压入一个二维点容器中，即得到有效的边界点集；步骤五、寻找全体有效边界点集的最小外接矩形，将全体有效边界点集的最小外接矩形作为元件的粗略最小外接矩形，并将全体有效边界点集的最小外接矩形的旋转角度作为TR元件的粗略旋转角度α，全体有效边界点集的最小外接矩形的中心坐标作为TR元件的粗略中心坐标(x0,y0)；所述的寻找全体有效边界点集的最小外接矩形所采用的方法是一种优化后的旋转目标法，这里称之为双轴旋转法具体步骤为：(1)寻找全体有效边界点集的水平主轴：依次扫描全体有效边界点集的每一列i，寻找每一列有效边界点集的起点坐标(xi1,yi1)和终点坐标(xi2,yi2)，从而计算第i列内目标的中心坐标(x′i,y′i)：xi′=xi1+xi22,yi′=yi1+yi22,]]>将全体有效边界点集的各列的中心坐标作为一组数据(x′i,y′i)，利用最小二乘法进行直线拟合，得到表示全体有效边界点集的水平主轴初始位置的直线方程y＝k1x+b1；其中，i＝1,2,…,N；k1为斜率，b1为截距；(2)寻找全体有效边界点集的垂直主轴：依次扫描全体有效边界点集的每一行j，寻找每一行边界点集的起点坐标(xj1,yj1)和终点坐标(xj2,yj2)，从而计算第j行内目标的中心坐标(x′j,y′j)：xj=xj1+xj22,yj′=yj1+yj22]]>将此边界点集的各行的中心坐标作为一组数据(x′j,y′j)，利用最小二乘法进行直线拟合，得到表示全体有效边界点集的垂直主轴初始位置的直线方程x＝k2y+b2；其中，j＝1,2,…,M；k2为斜率，b2为截距；(3)求取全体有效边界点集的初始最小外接矩形，简称为初始最小外接矩形：保持全体有效边界点集的水平主轴方向不变，找到与直线方程y＝k1x+b1平行，且与有效边界点集相切的两条直线y＝k1x+b11和y＝k1x+b12取与有效边界点集的水平主轴垂直即k′1＝‑1/k1且过(x0,y0)的垂线y＝k′1x+y0‑k′1x0，找到垂线与有效边界点集相切的两条直线y＝k′1x+b′11和y＝k′1x+b′...

【技术特征摘要】

【专利技术属性】
技术研发人员：高会军，王毅，白立飞，孙昊，杨宪强，周纪强，张天琦，张延琪，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江;23