检测平板物体的通孔的方法、装置和计算机可读存储介质制造方法及图纸

本公开的实施例涉及检测平板物体的通孔的方法、装置和计算机可读存储介质。该方法包括获取平板物体的第一图像；确定第一透视变换；通过第一透视变换确定多个第一通孔的第一位置；基于第一位置确定第一通孔的第二位置；确定第二透视变换；通过第二透视变换确定多个第二通孔的第三位置；以及基于第三位置确定第四位置。本公开的方案通过使用透视变换和神经网络的深度学习并且仅进行一次图像拍摄，可以更快、更准确地完成对象的检测。

【技术实现步骤摘要】
检测平板物体的通孔的方法、装置和计算机可读存储介质
本公开一般涉及对象检测领域，特别地，涉及检测平板物体的通孔的方法、装置和计算机可读存储介质。
技术介绍
自动光学检查(AOI)广泛在诸如工厂的组装生产线上用于在平板物体上的通孔检测，例如在电路板组装生产线上自动安装螺钉的螺钉孔检测。在自动螺钉驱动过程中，使用摄像机基于传统的计算机视觉方法检测由电路板的定位销坐标表示的精确位置，然后计算螺钉孔的坐标，其中螺钉孔的坐标与定位销坐标具有预先设置的偏移量。在多次拍摄获得所有定位销的准确坐标后，基于预先设置的偏移量计算螺钉孔的坐标，然后机械臂移动到螺钉孔的坐标处安装螺钉孔。但是，如果定位销不存在、存在缺陷或变形、摄像机过度曝光或环境光照的变化而导致无法检测定位销，则不能获取定位销的准确位置。如果电路板的螺钉孔与定位销的预定偏移量不是恒定或准确的，这例如可能由于每个电路板存在螺钉孔误差造成，则无法通过定位销与螺钉孔的偏移量获得螺钉孔的准确位置。在对定位销和螺钉孔的多次拍摄过程中，不能保证恒定的光照环境和背景也将影响对定位销和螺钉孔的识别。另外，对定位销和螺本文档来自技高网...

【技术保护点】
1.一种用于检测平板物体的通孔的方法，所述平板物体的表面具有多个通孔，所述方法包括：/n获取所述平板物体的第一图像；/n确定用于将所述平板物体的参考图像变换为所述第一图像的第一透视变换，其中，所述参考图像包括多个参考通孔；/n通过所述第一透视变换确定所述第一图像中的与所述多个参考通孔中的多个第一参考通孔对应的所述多个通孔中的多个第一通孔的第一位置；/n基于所述第一位置确定所述第一通孔的第二位置；/n基于所述第一通孔的第二位置以及与所述第一通孔对应的所述第一参考通孔的参考位置确定用于将所述参考图像变换为所述第一图像的第二透视变换；/n通过所述第二透视变换确定所述第一图像中的与所述第二参考通孔对应...

【技术特征摘要】
1.一种用于检测平板物体的通孔的方法，所述平板物体的表面具有多个通孔，所述方法包括：
获取所述平板物体的第一图像；
确定用于将所述平板物体的参考图像变换为所述第一图像的第一透视变换，其中，所述参考图像包括多个参考通孔；
通过所述第一透视变换确定所述第一图像中的与所述多个参考通孔中的多个第一参考通孔对应的所述多个通孔中的多个第一通孔的第一位置；
基于所述第一位置确定所述第一通孔的第二位置；
基于所述第一通孔的第二位置以及与所述第一通孔对应的所述第一参考通孔的参考位置确定用于将所述参考图像变换为所述第一图像的第二透视变换；
通过所述第二透视变换确定所述第一图像中的与所述第二参考通孔对应的所述多个通孔中的多个第二通孔的第三位置；以及
基于所述第三位置确定所述第二通孔的第四位置。


2.根据权利要求1所述的方法，其中，每个所述参考通孔具有参考位置，通过对所述多个第一参考通孔的参考位置进行所述第一透视变换，确定所述第一图像中的与所述多个参考通孔中的多个第一参考通孔对应的所述多个通孔中的所述多个第一通孔的第一位置。


3.根据权利要求1或2所述的方法，其中，通过对所述参考通孔中不同于所述第一参考通孔的第二参考通孔的参考位置进行所述第二透视变换确定所述第一图像中的与所述第二参考通孔对应的所述多个通孔中的所述多个第二通孔的第三位置。


4.根据权利要求1至3中任一项所述的方法，其中，使用第一组神经网络模型基于所述第一位置确定所述第一通孔的第二位置。


5.根据权利要求1至4中任一项所述的方法，其中，使用第二组神经网络模型基于所述第三位置确定所述第二通孔的第四位置。


6.根据权利要求4所述的方法，其中，所述第一组神经网络模型至少包括第一神经网络模型，使用第一组神经网络模型基于所述第一位置确定所述第一通孔的第二位置包括：
使用所述第一神经网络模型基于所述第一位置确定所述第一通孔的第二位置。


7.根据权利要求4所述的方法，其中，所述第一组神经网络模型包括第一神经网络模型和第二神经网络模型，使用第一组神经网络模型基于所述第一位置确定所述第一通孔的第二位置包括：
使用所述第二神经网络模型基于所述第一位置确定包括所述第一通孔的第一搜索区域；
使用所述第一神经网络模型在所述第一搜索区域中确定所述第一通孔的第二位置。


8.根据权利要求5所述的方法，其中，所述第二组神经网络模型至少包括第三神经网络模型，使用第二组神经网络模型基于所述第三位置确定所述第二通孔的第四位置包括：
使用所述第三神经网络模型基于所述第三位置确定所述第二通孔的第四位置。


9.根据权利要求1至8中任一项所述的方法，其中，获取所述平板物体的第一图像包括：
获取原始图像，所述原始图像包括所述平板物体；以及
从所述原始图像中提取所述第一图像。


10.根据权利要求9所述的方法，其中，从所述原始图像中提取所述第一图像包括：
使用第四神经网络模型从所述原始图像中提取所述第一图像。


11.根据权利要求1至10中任一项所述的方法，其中，确定用于将所述平板物体的参考图像变换为所述第一图像的第一透视变换包括：
确定所述第一图像中的所述平板物体的第一轮廓信息；
从所述参考图像获取所述平板物体的参考轮廓信息；以及
基于所述第一轮廓信息和所述参考轮廓信息确定所述第一透视变换。


12.根据权利要求11所述的方法，其中，所述第一轮廓信息包括多个第一轮廓点，所述参考轮廓信息包括与所述多个第一轮廓点对应的多个参考轮廓点，基于所述第一轮廓信息和所述参考轮廓信息确定所述第一透视变换包括确定第一单应性矩阵，所述第一单应性矩阵用于将所述参考轮廓点的位置变换为与所述参考轮廓点对应的所述第一轮廓点的位置。


13.根据权利要求1至12中任一项所述的方法，其中，确定用于将所述参考图像变换为所述第一图像的第二透视变换包括确定第二单应性矩阵，所述第二单应性矩阵用于将所述第一参考通孔的参考位置变换为所述第一图像中的与所述第一参考通孔对应的所述第一通孔的第二位置。


14.根据权利要求4所述的方法，其中，所述第一组神经网络模型中的神经网络模型为卷积神经网络。


15.根据权利要求5所述的方法，其中，所述第二组神经网络模型中的神经网络模型为卷积神经网络。


16.根据所述权利要求6或7所述的方法，其中，所述第一神经网络模型为UNet网络。


17.根据权...

【专利技术属性】
技术研发人员：王晓辉，梁冠胜，孙谦，张志进，王晋，谢巍，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：瑞典;SE