一种适用于检测浅色系胶水轮廓的检测方法技术

本发明专利技术公开了一种适用于检测浅色系胶水轮廓的检测方法，涉及机器视觉检测领域，包括以下步骤：使用CCD对点胶后的待检物件进行图像采集，对不同类别的胶水轮廓进行标注，并添加背景类标签，得到原始数据；构建深度学习模型，将原始数据作为输入数据并进行二值化；将二值化后的图像转化为掩膜图像；对图像中的物体按照像素分类，得到分类后的掩膜图像；将分类后的掩膜图像送入检测模块进行过滤，将过滤后的掩膜图像进行分离，得到分离后的掩膜图像；根据分离后的掩膜图像对深度学习模型进行训练，训练完成后对最终权重进行输出；将实时采集的图片传输进训练后的深度学习模型进行推理预测；本发明专利技术提高了检测效率，提高了检测的精确度。的精确度。的精确度。

【技术实现步骤摘要】
一种适用于检测浅色系胶水轮廓的检测方法


[0001]本专利技术涉及机器视觉检测领域，特别是涉及一种适用于检测浅色系胶水轮廓的检测方法。

技术介绍

[0002]点胶这一工序普遍地存在于工业生产的各个环节，例如常见的电子元器件的一些粘连操作；这道工序对于后续工作起着决定性的作用，粘连效果的好坏间接决定了该产品的出品良率。
[0003]然而，当前该工序关于点胶效果的好与坏的判定主要基于两种方式，第一种是人工目检，第二种则是通过传统视觉的方式来检测。基于人工目检的这一种方式，存在着以下问题和缺点，首先，其效率比较低，因为人眼检测时需要将工件置于灯光下，通过一定的反射角度找到胶水的轮廓，然后与标准文件相对比从而得出当前工件是否为合格件的判断；并且随着工作时间的增加，人眼的疲劳程度会增加，并且其评价标准存在一定的主观性，这样容易导致筛选后的工件存在着不统一的标准，对工业生产产生了一定程度的消极作用。其次，其复制推广拥有极大的限制性，如果有新产线需要该检测工序则需要重新培训一个新员工来负责，极大的降低了生产效率。第二种基于传统视觉的方式则是由人工目检方式衍生改进而来，利用机器替人的思想，通过利用工业CCD相机代替人眼成像，结合传统的视觉方案，如阈值分割、模板匹配等来检测胶水轮廓，但这种方法存在以下几种缺点；第一，传统视觉对于检测环境的要求极高(即对环境光照等外界因素)，其工作的稳定性得到了极大的限制，例如在晴天时外界光照强度较高，在该时间段下设定的一些阈值到阴天时间段则可能会失效，其对于环境的依赖性限制了其快速推广的能力；第二，其检测的内容有极大的局限性，经实验，目前传统视觉的方案在面对浅色系或是透明的胶水时对于其轮廓检出能力会大幅降低，由于目前传统的方案主流是基于对图像做阈值分割的方式，将胶水轮廓与当前背景做进一步区分从而找到其轮廓，然而这种方式在面对浅色系或透明胶水时，由于其成像出来转灰度后其目标灰阶与背景灰阶较接近，这样就使得传统视觉不能很好的区分，并且这种基于传统视觉的方案通常要求成像面较干净，及被检测物体的背景为一个较为干净的纯色背景，这样对于工业生产领域来说则有了极大的不适用性；第三，传统视觉方案的复制推广效率极低；由于不同产线，在不同的成像光路下，其成像效果不能做到百分百的统一，对于新环境需要重新设置相应阈值才能正常使用，其次，当有新类型的胶水来时需要重新设置检测算法，很难做到泛化性及兼容性，在生产多样化的工业场景中该缺点极大地限制了其在工业领域中的应用。
[0004]现有技术的检测效率低，对环境因素依赖强，检测的精确度低。

技术实现思路

[0005]本专利技术为了解决以上现在技术中存在的检测效率低，对环境因素依赖强，检测的精确度低的问题，提出了一种适用于检测浅色系胶水轮廓的检测方法，提高检测效率，降低
了对环境因素的依赖程度，提高检测的精确度。
[0006]为解决上述技术问题，本专利技术的技术方案如下：
[0007]一种适用于检测浅色系胶水轮廓的检测方法，包括以下步骤：
[0008]使用工业CCD对点胶后的待检物件进行图像采集，通过人工标注的方式，对不同类别的胶水轮廓进行标注，并添加背景类标签，得到原始数据。
[0009]构建基于语义分割领域的深度学习模型，将原始数据作为输入数据，对输入数据进行二值化，将二值化后的图像作为输入数据的第四维度的信息；将二值化后的图像转化为掩膜图像；根据掩膜图像对图像中存在的物体按照像素分类，分为不同类别，得到分类后的掩膜图像；将分类后的掩膜图像送入检测模块进行过滤，将过滤后的掩膜图像进行分离，得到分离后掩膜图像。
[0010]根据分离后掩膜图像对深度学习模型进行训练，训练完成后对深度学习模型的最终权重进行输出。
[0011]将实时采集的图片传输进训练后的深度学习模型进行推理预测。
[0012]本专利技术的工作原理如下：
[0013]使用CCD对待测物件进行图像采集，标注后得到原始数据，构建基于语义分割领域的深度学习模型，将原始数据作为输入数据，对深度学习模型进行训练，将实时采集的图片传输进训练后的深度学习模型进行推理预测。
[0014]优选地，对点胶后的待检物件进行图像采集时，使用的光源为条形光，对待检物件进行侧向打光，通过传感器控制工业CCD进行拍摄。
[0015]所述的传感器为对射型激光传感器，当待检物件触发传感器时工控机给上位机发出电信号，上位机接收电信号后对工业CCD发送一次软接触指令，再通过工业CCD内置的回调函数得到拍摄的图片。
[0016]优选地，所述的目标区域为胶水所在区域，对待测物件的胶水轮廓进行图像采集前通过目标检测的方式对待测物件进行定位，通过定位待测物件的贴合处确定目标区域。
[0017]进一步地，标注所生成的数据为Mask图，像素值在0
‑
255之间；不同类别的目标灰度值不同。
[0018]优选地，原始数据输入深度学习模型前，对原始数据进行数据前处理。
[0019]所述的数据前处理通过对原始图像进行旋转、裁剪、对比度增强实现数据增强。
[0020]优选地，所述的深度学习模型包括特征提取模块、特征融合模块、特征金字塔模块、输出模块。
[0021]二值化后的图像通过特征提取模块提取高层特征、低层特征；特征融合模块将高层特征和低层特征进行融合，得到第一融合特征，所述的第一融合特征为若干个，且存在不同尺度的第一融合特征；特征金字塔模块对第一融合特征进行融合，得到第二融合特征；将第二融合特征进行上采样，得到与二值化后的图像尺度相同的特征图；对特征图的像素点进行回归分类并赋予对应的标签，从而在像素级别上图像中的物体进行分类，得到分类后的掩膜图像；输出模块包括分类层，用于输出分类后的掩膜图像。
[0022]进一步地，所述的特征提取模块提取高层特征、低层特征的步骤如下：
[0023]利用1*1卷积对二值化后的图像升维，利用3*3深度可分离卷积进行特征提取，再利用一个1*1卷积进行降维，得到低层特征、高层特征。
[0024]进一步地，对深度学习模型的训练包括冻结训练、解冻训练。
[0025]所述的冻结训练方法如下：将输出模块冻结，初始学习率为5e
‑
4，训练50个epoch；
[0026]所述的解冻训练方法如下：将除输出模块以外的其他模块进行冻结，学习率设置为5e
‑
5，训练30个epoch。
[0027]优选地，对掩膜图像进行过滤的步骤如下：
[0028]将属于背景类标签的像素点过滤，并统计剩余像素点类别分布，将剩余像素类别中占比最大的定义为检测目标，通过模板匹配的方式分离不同类别胶水。
[0029]将过滤后的掩膜图像进行分离的方法如下：
[0030]不同类型的物件需要的点胶位置数量不同，根据预先设定的点胶位置数量确定目标区域内的分类块数；根据目标区域面积从大到小取前k个掩膜图像，k为点胶位置数量。
[0031]优选地，根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于检测浅色系胶水轮廓的检测方法，其特征在于，包括以下步骤：使用工业CCD对点胶后的待检物件进行图像采集，通过人工标注的方式，对不同类别的胶水轮廓进行标注，并添加背景类标签，得到原始数据；构建基于语义分割领域的深度学习模型，将原始数据作为输入数据，对输入数据进行二值化，将二值化后的图像作为输入数据的第四维度的信息；将二值化后的图像转化为掩膜图像；根据掩膜图像对图像中存在的物体按照像素分类，分为不同类别，得到分类后的掩膜图像；将分类后的掩膜图像送入检测模块进行过滤，将过滤后的掩膜图像进行分离，得到分离后掩膜图像；根据分离后掩膜图像对深度学习模型进行训练，训练完成后对深度学习模型的最终权重进行输出；将实时采集的图片传输进训练后的深度学习模型进行推理预测。2.根据权利要求1所述的一种适用于检测浅色系胶水轮廓的检测方法，其特征在于，对点胶后的待检物件进行图像采集时，使用的光源为条形光，对待检物件进行侧向打光，通过传感器控制工业CCD进行拍摄；所述的传感器为对射型激光传感器，当待检物件触发传感器时工控机给上位机发出电信号，上位机接收电信号后对工业CCD发送一次软接触指令，再通过工业CCD内置的回调函数得到拍摄的图片。3.根据权利要求1所述的一种适用于检测浅色系胶水轮廓的检测方法，其特征在于，所述的目标区域为胶水所在区域，对待测物件的胶水轮廓进行图像采集前通过目标检测的方式对待测物件进行定位，通过定位待测物件的贴合处确定目标区域。4.根据权利要求3所述的一种适用于检测浅色系胶水轮廓的检测方法，其特征在于，标注所生成的数据为Mask图，像素值在0
‑
255之间；不同类别的目标区域灰度值不同。5.根据权利要求1所述的一种适用于检测浅色系胶水轮廓的检测方法，其特征在于，原始数据输入深度学习模型前，对原始数据进行数据前处理；所述的数据前处理通过对原始图像进行旋转、裁剪、对比度增强实现数据增强。6.根据权利要求1所述的一种适用于检测浅色系胶水轮廓的检测方法，其特征在于，所述的深度学习模型包括特征提取模块、特征融合模块、特征...

【专利技术属性】
技术研发人员：夏千涵，吴元清，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：