一种用于PCB板在线检测的结构光辅助双目测量方法技术

本发明专利技术涉及一种用于PCB板在线检测的结构光辅助双目测量方法。在图像分析的基础上应用摄影测量双目交会的方法通过由双面阵相机系统而不依靠其他三维拍摄设备对电路板表面结构进行高精度测量。完成PCB针对性区域投影、采图、双目摄像机立体标定，特征点、线、面的提取以及最小二乘匹配，最终建立双目交会方程得到一系列特征的位置，这些特征构成了电路板的表面结构。将重建出的这些结构与标准结构对比从而发现缺陷、检验成品的质量。本发明专利技术采用传统摄像测量的交会方法对电路板表面结构进行在线实时测量，设备简单，解算结果的精度较高，可以代替人眼检测。

【技术实现步骤摘要】
一种用于PCB板在线检测的结构光辅助双目测量方法
本专利技术涉及PCB在线自动质量检测技术中的视觉测试法领域，具体涉及一种用于PCB板在线检测的结构光辅助双目测量方法。
技术介绍
印刷PCB作为电子产品的基础部件，是各种电器元器件的信息载体，在现代电子设备中占重要的地位。随着时代变迁，电子设备的日益普及，国内外的PCB行业都在应势发展，从生产加工到产品检修，提升每个环节的质量更是各商家的共识。PCB结构复杂，质量直接影响产品的性能。为保证质量必须保证其线宽、线距、焊盘等都满足设计要求。而PCB的生产工序繁多、在生产过程中存在很多不确定的因素，无法保证每个成品都完整无缺。在生产加工过程中必须对PCB进行缺陷检测，尽早识别缺陷提高产物合格率。PCB的常见的缺陷主要有短路、断路，目前的检测系统从技术上看可以分为电器测试法（ElectricalTest）和视觉测试法(Vision-inspection)。两者原理不同，各有优缺点。视觉测试是经由过程视觉查抄电子元件的特性以及印刷路线的特性找出缺陷。按其操作方式又可细分为人工法和主动视觉检测法。视觉检测通常应用在生产过程的初期阶段，可以更轻易侦测到导体间不准确但是只能检测用视觉可以看出的妨碍，对付短路或断路之类的瑕疵只能用电器测试法来加以办理。PCB主动视觉检测(AOI)基于光学原理，综合图像、计算机和自动控制等多种技能，是自动化的检测设备，其检测的服从度，可靠性都高很多。对生产中碰到的缺陷进行检测和处理，是较新的确认制造缺陷的方式。针对视觉检测技术，人眼这种原始的视觉检测手腕相对于AOI，不但繁琐，劳动强度大，而且检测精度低，速度慢，最关键还无法消除主观的测量误差，已无法全满足现代制造业快速发现的要求，近年来国内外学者对PCB的基于视觉缺陷检测提出了不少算法，大都基于两个常识。一是利用待测PCB的全部信息，最直接的将两张图像进行异或运算，将待测PCB的图像与标准图进行逐像素对比，差异则被视为缺陷，具有算法简单、速度快并且易于用硬件实现的优点，但是它对光照和定位的要求高，另外这种方法存在数据量大，缺陷分类难等难题；另外一种通过预先定义的法则，如线宽、线距、焊点半径等特征值要求在设计的范围内，不符合设计准则的地方则视为存在缺陷。这种检测思路无需标准PCB图，因此降低了存储空间，但是其边缘、特征点提取与测量算法相对复杂，并且只能检测那些违反设计规则的缺陷，对于丢失孔、线条等缺陷无法检测。国外研究基于这两种判断的多种组合手段，组成的PCB质量检测系统已经基本能完成常见缺陷的检测，但其价格昂贵，操作方式也不符合国人的习惯导致无法充分发挥其功能，发生资源浪费。国内这方面研究相对较晚。目前的算法复杂不能满足实时要求，自适性不够，系统扩展能力差，经常出现漏检误判等问题，检测精度和效率不能满足当前电子信息产业飞速发展的需求。因此国内的大部分中小企业还是由人工目测完成PCB的质量检测，虽然人眼检测方法快速有效，适合小批量的生产但容易发生误检和漏检，因此PCB工业迫切需要研制出自主知识产权的高效高精度低成本，适用于中小企业生产流水线上的PCB缺陷检测设备，这对我国的电子信息产业发展有深远的意义。摄像测量有着悠久的历史，是一种非接触、被动、实时、高精度的测量方法。在三维测量的应用中有着一套完整的理论，算法成熟。
技术实现思路
本专利技术应用双目相机对PCB进行观测时克服了单张图像的局限性，且不需要使用三维相机，避免了三维摄像机存在图像分辨率和成像质量较差的难题，实现三维表面缺陷检测。因此这种基于双面阵相机的交会测量方法可以在简单的实验设备下对PCB进行在线观测，具有设备的简单性、测量精度高的优点。一种用于PCB板在线检测的结构光辅助双目测量方法，在结构光辅助下，由两台摄像机构成双目摄像测量系统，在线标定摄像机，并由自适应投影结构光纹理来完善PCB板表面纹理稀疏的区域，结合立体视觉，得到待检测电路板表面的三维结构，并最终用于实时缺陷检测。本专利技术突出在于在线检测生产线两端布设标志控制点可以实时标定拍摄设备的外参数，并在结构光的辅助下根据PCB表面的分布结构，构建自适应结构光纹理，以确保在纹理稀疏的部位也能够准确的重建，最终达到PCB实时缺陷检测的目的。该在线检测系统包括图像采集、图像预处理、特征点匹配、三维测量解算环节，本专利技术重点是以下几个问题做了研究。（1）实验平台的总体设计包括硬件和软件系统。硬件系统是支撑软件系统所能实现的基础，包括图像采集硬件即双相机、投影光、控制点、计算机。1）在生产线测量平台上根据PCB表面纹理分布，提供自适应投影结构光，结构光的形式为对应PCB板无纹理区域不满单像素间隔的国际象棋棋盘格，使得生产线上的PCB在表面缺少或没有纹理的区域依然可以匹配，如图1。2）PCB生产线路的两侧安装标志点用于相机标定，计算机连接两个相机和投影仪，进行采图、图像处理、交会计算、投影图案生成等设备结构设计如图2。3）软件系统是按缺陷检测系统的工作要求编写特定程序来实现它的功能，是整个系统最关键的部分，各模块所需要的算法具体包括图像预处理、相机标定、特征点匹配、三维测量等方面。（2）双面阵相机的在线标定立体标定是三维重建待检测的PCB的基础环节。本专利技术采用计算机视觉中成熟的立体标定算法。事先标定双相机内参数，再利用生产线两侧固定的位置摆设的控制点与拍摄PCB同时拍摄控制点，可以完成在线实时标定外参数，即两个像机之间的姿态参数R和T，完成相对定向。（3）本专利技术中采用最小二乘匹配算法配准PCB左右影像图像匹配是实现PCB表面不规则形貌全面测量的必要工作。从PCB表面特征分布来看，其影像可以看作是一系列点、线、面的集合，适合用特征匹配的方法提取特征。一般区域利用其本身纹理特征进行匹配，对于PCB上存在纹理缺乏的区域，本专利技术安装投影结构光，根据PCB纹理分布情况，在其没有电路纹理的光滑区域投影结构光，使得这块区域形成规则的特殊纹理，有效克服图像缺乏特征点的区域匹配问题。由于辐射畸变和几何畸变使得左右影像不可避免的存在灰度分布差异，匹配前对图像进行预处理。为了提高匹配的可靠性，生产线测量台的设计方案要保证双面阵相机拍摄的左右像对间旋转很小，且经过了立体标定后确定左右相机间的位置关系。本专利技术采用最小二乘影像匹配算法，引入相应的变形参数，以相关系数最大作为匹配测度，解求变形参数的改正值，计算变形参数，获得最佳匹配的点位。（4）本专利技术基于双目交会的摄像测量方法对PCB三维测量双目交会测量方法是最简单的交会测量方法。本专利技术从摄影测量最基本的共线方程出发，利用共线方程所描述的摄像机成像的中心透视投影关系，实现待检测PCB表面特征点的三维测量。原理是，即所有需要检测的PCB表面特征点的成像光线都通过光心、物点、像点、即三点共线。如图3所示即摄影时的光线，本专利技术基于双面阵相机的双目交会即可计算出该特征点的空间坐标。设在摄像机坐标系中的坐标为,则可以用旋转矩阵和平移向量描述与点在世界坐标系中的关系：摄像机对待测点的成像可以用投影矩阵来表示，投影矩阵为：中摄像机的主点为，等效焦距为，旋转矩阵为，平移向量为。设待测点在图像坐标系中的坐标为，图像坐标系中的像点与世界坐标系中的目标点的成像关系：摄像机中修正像差后本文档来自技高网...

【技术保护点】
一种用于PCB板在线检测的结构光辅助双目测量方法，在结构光辅助下，由两台摄像机构成双目摄像测量系统，其特征在于，在线标定摄像机，并由自适应投影结构光纹理来完善PCB板表面纹理稀疏的区域，结合立体视觉，得到待检测电路板表面的三维结构，并最终用于实时缺陷检测，步骤如下：（1）PCB图像分析以及自适应投影结构光已知当前批次型号PCB板理想图案，则事先设置投影结构光图案；事先未知，则对第一张板采图后，计算灰度方差，方差小的区域表示纹理少，确定其纹理不丰富区域位置，再根据图像分析结果对相应位置投影棋盘格图案的结构光；（2）PCB缺陷检测系统的双面阵相机在线标定用两个摄像机来模拟人眼的立体成像能力，立体标定是把各个测量数据统一到统一的坐标系中，也就是确定两个摄像机之间的旋转矩阵和平移向量，标定原理如下：对任意一个控制点P在左右影像上像点Pl、Pr， 满足：建立摄像机畸变模型，联立多个控制点的方程，利用反投影法进一步优化求精，标定后可以得到左右摄像机的外参数：旋转Rl、Rr和平移参数Tl、Tr；左右摄像机之间的关联可以通过Pl=RT(Pr‑T)关联：摄像机坐标系以左摄像机的投影中心为原点，其中R和T分别表示了右摄像机相对于左摄像机的旋转矩阵和平移向量，现场调整内参数，则需要先同时先左右摄像机各自标定获取各自内参数外参数，再按上面步骤完成立体标定；(3)PCB左右影像的密集匹配完成立体标定后，得到左右两个摄像机的姿态和位置，分析PCB的实时二维图像，选用直方图均衡和3*3均值滤波，密集匹配前，先根据PCB原始纹理和PCB基本固定不变位置关系进行稀疏匹配，再对纹理稀缺位置投影棋盘格纹理形式的结构光进行加密匹配；(4)PCB表面特征点的三维测量利用摄像机内参数、旋转矩阵R和平移向量T求解投影矩阵M，将匹配得到的左右像片同名特征点代入共线方程中即交会求解PCB上这些特征点的三维空间坐标，重建出的无数个PCB表面的特征点即恢复了对应区域的三维结构，将这样三维信息重建图用做PCB生产线路上缺陷检测的参考。...

【技术特征摘要】
1.一种用于PCB板在线检测的结构光辅助双目测量方法，在结构光辅助下，由两台摄像机构成双目摄像测量系统，其特征在于，在线标定摄像机，并由自适应投影结构光纹理来完善PCB板表面纹理稀疏的区域，结合立体视觉，得到待检测电路板表面的三维结构，并最终用于实时缺陷检测，步骤如下：(1)PCB图像分析以及自适应投影结构光已知当前批次型号PCB板理想图案，则事先设置投影结构光图案；事先未知，则对第一张板采图后，计算灰度方差，方差小的区域表示纹理少，确定其纹理不丰富区域位置，再根据图像分析结果对相应位置投影棋盘格图案的结构光；(2)PCB缺陷检测系统的双面阵相机在线标定用两个摄像机来模拟人眼的立体成像能力，立体标定是把各个测量数据统一到统一的坐标系中，也就是确定两个摄像机之间的旋转矩阵和平移向量，标定原理如下：对任意一个控制点P在左右影像上像点Pl、Pr，满足：建立摄像机畸变模型，联立多个控制点的方程，利用反投影法进一步优化求精，标定后可以得到左右摄像机的外参数：旋转Rl、Rr和平移参数Tl、Tr；左右摄像机之间的关联可以通过Pl＝RT(Pr-T)关联：R＝Rr(Rl)TT＝Tr-RTl摄像机坐标系以左摄像机的投影中心为原点，其中R和T分别表示了右摄像机相对于左摄像机的旋转矩阵和平移向量，现场调整内参数，则需要先同时先左右摄像机各自标定获取各自内参数外参数，再按上面步骤完成立体标定；(3)PCB左右影像的密集匹配完成立体标定后，得到左右两个摄像机的姿态和位置，分析PCB的实时二维图像，选用直方图均衡和3*3均值滤波，密集匹配前，先根据PCB原始纹理和PCB基本固定不变位置关系进行稀疏匹配，再对纹理稀缺位置投影棋盘格纹理形式的结构光进行加密匹配；(4)PCB表面特征点的三维测量利用摄像机内参数、旋转矩阵R和平移向量T求解投影矩阵M，将匹配得到的左右像片同名特征点代入共线方程中即交会求解PCB上这些特征点的三维空间坐标，重建出的无数个PCB表面的特征点即恢复...

【专利技术属性】
技术研发人员：尚洋，李晓雪，张宏桥，刘建男，张红良，
申请(专利权)人：中国人民解放军国防科学技术大学，
类型：发明
国别省市：湖南;43