一种基于深度学习的工业图像组件精准定位系统技术方案

本发明专利技术涉及一种基于深度学习的工业图像组件精准定位系统，属于机器视觉定位领域。首先通过工业相机对待定位物件进行拍照；其次，将图像送入至深度学习定位网络中，精确检测出组件的像素级角点；定位网络由轻量型卷积神经网络、可变形卷积神经网络、输出网络和焦点解析融合而成。最后，通过后处理模块，还可得到轮廓对称的组件的中心点坐标、轮廓及坐标和相对旋转角度。通过与事先标定的工业图像比对，可以得出待定位物件的空间物理值；可用于带角点的组件、螺孔和物件的精确定位；该方法具有较好的适用性，应用领域广，训练速度快、定位精度高，而且可用于复杂自然场景下的物体精准定位；该方法定位精度高，对光线、噪声具有较好的鲁棒性。

【技术实现步骤摘要】
一种基于深度学习的工业图像组件精准定位系统
本专利技术属于机器视觉定位领域，涉及一种基于深度学习的工业图像组件精准定位系统。
技术介绍
工业领域，机器视觉定位技术广泛应用于螺孔、器件、物件等组件的定位。比如螺钉视觉机器人精确定位螺孔的位置，将螺钉精准打进螺孔并旋拧；插件视觉机器人精确定位主板上待插元器件的位置，将元器件准确插进主板；安检视觉机器人准确定位插座的位置及角度，将插座顺利插进插座中并进行后续自动化测试；码垛视觉机器人将物体进行准确定位后，自动码垛到相应的位置等。组件定位的精度和速度不仅影响自动化的效率，更大程度影响产品的良品率；如果定位精度低，一方面没法完成高精度的自动化产品定位；另一方面，在自动化流水线运行的过程中，可能会打坏产品。目前市场上商用的机器视觉软件大多使用美国的visiopro和德国的halcon，虽然性能较好，但是单台机器的基础license费用过万，价格相对较高，而且采用的是传统的图像处理算法，配置起来相对繁杂；而传统的基于图像匹配的算法、基于角点的检测算法等，针对复杂环境以及光线变化适用性较差，精度和准确率相对较低，而且针对不同的环境需要分别调整参数；因此研发一种高精度、高可靠、高适用性的工业图像组件精准定位方法迫在眉睫，具有较高的战略意义。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于深度学习的工业图像组件精准定位系统。为达到上述目的，本专利技术提供如下技术方案：一种基于深度学习的工业图像组件精准定位系统，所述系统包括深度学习组件定位模块和后处理模块；首先通过工业相机对待定位物件进行拍照；其次，将图像送入至深度学习组件定位网络中，精确检测出组件的像素级角点；最后，通过后处理模块，可得到组件的中心点坐标、轮廓及坐标和相对旋转角度。可选的，所述深度学习组件定位模块包括轻量型卷积神经网络模块、可变形卷积神经网络模块、输出网络模块和角点解析模块；深度学习组件定位流程分为推理过程和训练过程两个流程；为了得到组件定位模块的网络模型参数需要使用样本集对网络进行闭环训练，样本集包含训练集、验证集和测试集。可选的，所述后处理模块包括组件中心点计算模块、组件轮廓提取模块和组件的相对旋转角度计算模块。可选的，所述组件定位模块对应的深度学习网络是由轻量型卷积神经网络、可变形卷积神经网络、输出网络、角点解析融合而成；通过组件定位推理流程，得到关键点的热力图和对应的图像位置偏置差；热力图的峰值对应的就是待定位的组件关键点，将关键点的坐标与对应的图像位置偏置差融合得到待定位的组件角点位置。可选的，所述轻量型卷积神经网络包含2个Layer，每一级Layer的输出作为下一级Layer的输入；每级Layer配置具体如下：(1)Layer0：由Conv2d、BatchNorm2d、h_swish模块串联而成；其中Conv2d是标准的二维卷积模块、BatchNorm2d是标准的二维数据归一化处理模块、h_swish是激活函数模块；(2)Layer1：由11级Mobileblock串联而成；其中每个Mobileblock由conv、depth_conv、squeeze_block、point_conv四个模块串联构成，每个模块的输出为下一个模块的输入；具体的配置如下：conv：由Conv2d、BatchNorm2d、activation模块串联而成；depth_conv：由Conv2d、BatchNorm2d模块串联而成；squeeze_block：由avg_pool2d、Linear、ReLU、Linear、h_sigmoid模块串联构成；其中Linear为深度学习框架的标准线性化模块、avg_pool2d为深度学习框架的标准池化模块、h_sigmoid为是非线性激活函数模块；point_conv：由Conv2d、BatchNorm2d、activation串联而成；前6个Mobileblock的activation选用ReLU激活函数；后5个Mobileblock的activation选用h_swish激活函数。可选的，所述可变形卷积神经网络包含3个Layer，每一级Layer的输出作为下一级Layer的输入，第一级Layer输入来源于轻量型卷积神经网络模块的输出；每级Layer配置具体如下：(1)Layer0：由Conv2d、BatchNorm2d、ReLU、ConvTranspose2d、BatchNorm2d、ReLU串联而成；其中ConvTranspose2d为标准的二维反卷积模块；(2)Layer1：整体网络结构同Layer0；(3)Layer2：整体网络结构同Layer0。可选的，所述输出网络包含2个Layer分支，每个Layer分支的输入均是可变形卷积神经网络模块的输出，且每个Layer分支都有单独的输出；具体如下：(1)分支Layer0：由Conv2d、ReLU、Conv2d串联而成；最后输出的是热力图heatmap，其中每个点的值表示目标的概率的大小；(2)分支Layer2：由Conv2d、ReLU、Conv2d串联而成；最后的输出：每个点包含两个值(高度和宽度)，当前index作为目标时对应的图像输出位置偏差。可选的，所述角点解析模块通过输出网络模块，得到最终的热力图，热力图的峰值点即为组件的关键点，关键点的个数与角点个数相同，设为n；关键点的坐标设为：关键点对应的图像偏置坐标设为关键点对应的目标高度和宽度设为则第i个角点(xi,yi)对应的归一化图像实际坐标为该坐标除以图像的归一化尺度得到原始工业图像的组件角点坐标。可选的，所述样本集的制作包含以下内容：(1)组件定位样本集分类；组件定位样本集分为三类：训练集、验证集和测试集；(2)组件定位样本集标注；对样本集进行角点样本标注，标注工具包括labelme、labelImg和VIA标注工具；标注方法如下：找出角点坐标，并依次为角点标注出周围四个点的坐标，即左上、右上、右下和左下，角点到周围四点的横向坐标和纵向坐标差值为1，且标注顺序依次为左上->右上->右下->左下；标注文件包含图片样本集和groundtruth文件，包含标注的图像名称、路径、图片组件各角点对应的周围四点坐标；(3)组件样本集数据增强；对(2)中标注后的图像样本进行不同尺度的平移、旋转、加噪、透视变换，增加背光、逆光干扰，同时对groundtruth文件中的坐标进行相应的变换；目的是为了增加样本集的数量和样本的泛化性能，避免模型过拟合，增强模型的鲁棒性；所述组件定位推理流程包含以下子步骤：(1)组件定位训练流程：将得到的训练图片样本集和groundtruth文件送入组件定位训练系统，设定允许的误差，经迭代训练、得到训练后的组件定位深度学习模型；最后将训练后的模型代入至推理系统中，通过测试集进行测试，如果没有过拟合、且满足当前系统的本文档来自技高网...

【技术保护点】
1.一种基于深度学习的工业图像组件精准定位系统，其特征在于：所述系统包括深度学习组件定位模块和后处理模块；/n首先通过工业相机对待定位物件进行拍照；其次，将图像送入至深度学习组件定位网络中，精确检测出组件的像素级角点；最后，通过后处理模块，可得到组件的中心点坐标、轮廓及坐标和相对旋转角度。/n

【技术特征摘要】
1.一种基于深度学习的工业图像组件精准定位系统，其特征在于：所述系统包括深度学习组件定位模块和后处理模块；
首先通过工业相机对待定位物件进行拍照；其次，将图像送入至深度学习组件定位网络中，精确检测出组件的像素级角点；最后，通过后处理模块，可得到组件的中心点坐标、轮廓及坐标和相对旋转角度。


2.根据权利要求1所述的一种基于深度学习的工业图像组件精准定位系统，其特征在于：所述深度学习组件定位模块包括轻量型卷积神经网络模块、可变形卷积神经网络模块、输出网络模块和角点解析模块；
深度学习组件定位流程分为推理过程和训练过程两个流程；为了得到组件定位模块的网络模型参数需要使用样本集对网络进行闭环训练，样本集包含训练集、验证集和测试集。


3.根据权利要求1所述的一种基于深度学习的工业图像组件精准定位系统，其特征在于：所述后处理模块包括组件中心点计算模块、组件轮廓提取模块和组件的相对旋转角度计算模块。


4.根据权利要求2所述的一种基于深度学习的工业图像组件精准定位系统，其特征在于：所述组件定位模块对应的深度学习网络是由轻量型卷积神经网络、可变形卷积神经网络、输出网络、角点解析融合而成；
通过组件定位推理流程，得到关键点的热力图和对应的图像位置偏置差；
热力图的峰值对应的就是待定位的组件关键点，将关键点的坐标与对应的图像位置偏置差融合得到待定位的组件角点位置。


5.根据权利要求4所述的一种基于深度学习的工业图像组件精准定位系统，其特征在于：所述轻量型卷积神经网络包含2个Layer，每一级Layer的输出作为下一级Layer的输入；每级Layer配置具体如下：
(1)Layer0：由Conv2d、BatchNorm2d、h_swish模块串联而成；其中Conv2d是标准的二维卷积模块、BatchNorm2d是标准的二维数据归一化处理模块、h_swish是激活函数模块；
(2)Layer1：由11级Mobileblock串联而成；其中每个Mobileblock由conv、depth_conv、squeeze_block、point_conv四个模块串联构成，每个模块的输出为下一个模块的输入；具体的配置如下：
conv：由Conv2d、BatchNorm2d、activation模块串联而成；
depth_conv：由Conv2d、BatchNorm2d模块串联而成；
squeeze_block：由avg_pool2d、Linear、ReLU、Linear、h_sigmoid模块串联构成；其中Linear为深度学习框架的标准线性化模块、avg_pool2d为深度学习框架的标准池化模块、h_sigmoid为是非线性激活函数模块；
point_conv：由Conv2d、BatchNorm2d、activation串联而成；
前6个Mobileblock的activation选用ReLU激活函数；后5个Mobileblock的activation选用h_swish激活函数。


6.根据权利要求4所述的一种基于深度学习的工业图像组件精准定位系统，其特征在于：所述可变形卷积神经网络包含3个Layer，每一级Layer的输出作为下一级Layer的输入，第一级Layer输入来源于轻量型卷积神经网络模块的输出；每级Layer配置具体如下：
(1)Layer0：由Conv2d、BatchNorm2d、ReLU、ConvTranspose2d、BatchNorm2d、ReLU串联而成；其中ConvTranspose2d为标准的二维反卷积模块；
(2)Layer1：整体网络结构同Layer0；
(3)...

【专利技术属性】
技术研发人员：牛小明，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;50