一种基于中心点识别定位的SMT料盘统计方法技术

本发明专利技术专利提供一种基于中心点识别定位的SMT料盘统计方法，具体包括料盘图像采集定位分割、料盘数据离线训练、料盘图像在线预测定位和料盘在线预测准确性评估步骤，该识别方法综合应用图像分割与深度学习目标检测技术，保障料盘的识别定位精确度，提高不同类别料盘识别的兼容性，节省人工成本的同时优化仓储管理的快速性与便捷性。理的快速性与便捷性。理的快速性与便捷性。

【技术实现步骤摘要】
一种基于中心点识别定位的SMT料盘统计方法


[0001]本专利技术涉及一种SMT料盘识别定位方法，具体涉及一种基于中心点识别定位的SMT料盘统计方法。

技术介绍

[0002]SMT零器件的多样性和复杂性一定程度上对仓储管理增加人工成本，采用传统传感器逐一计数的方式无法满足繁多料盘的批量入库，如何寻求一种快速精准的料盘分类计数方式成为SMT料盘识别领域的热门研究。基于料盘内单个元器件创建模板，全局匹配的方式对于某些离散型料盘具有较好的适用效果，但适应匹配数量有限制，兼容性相对较差，基于深度学习目标检测的SMT料盘检测方法一定程度上可以兼容多类别料盘检测效果，但对于多个料盘无法准确定位计数，导致预测准确性偏低。

技术实现思路

[0003]鉴于以上，本专利技术提供一种基于中心点识别定位的SMT料盘智能统计方法，可以保证多类别料盘兼容性的基础上实现料盘定位和数量量化的精确性，具体技术方案如下。
[0004]一种基于中心点识别定位的SMT料盘统计方法，其特征在于：料盘图像采集，定位分割：基于给定不同数量的样本料盘采集图像，运用局部动态阈值分割方法获取不同料盘相对于采集图像的坐标信息(rect_x, rect_y, rect_w, rect_h)，其中rect_x为料盘ROI区域的左上端点横坐标，rect_y为料盘ROI区域的左上端点纵坐标，rect_w为料盘ROI区域的宽度，rect_h为料盘ROI区域的高度；料盘数据离线训练：包括识别料盘ROI区域的图像裁剪、料盘位置标注以及中心点识别定位模型的搭建和离线训练，基于目标中心区域特征提取和识别搭建智能检测神经网络模型，可快速实现物料中心点的识别和定位，将图像数据提取模块与数据分类预测模块导出为训练模型文件；料盘图像在线预测定位：SMT料盘采集装置重新获取大于1个待检测料盘图像后，分割定位获取待检测料盘ROI区域，依次循环调用上述训练模型文件，可获取当前检测料盘ROI区域内所有元器件的坐标(predict_x, predict_y)，其中predict_x为当前识别元器件的像素横坐标，predict_y为当前识别元器件的像素纵坐标，统计所有元器件识别坐标信息后即可描述当前料盘内元器件总数量。
[0005]进一步，样本料盘图像采集定位分割包括对于采集含有四个料盘的RGBA四通道图像，采用公式一转换为灰度图像，最大程度保留原始灰度对比度信息，公式一为，其中Gary代表转换后的灰度图像，(p_x,p_y)对应当前像素横纵坐标数值，c为转换灰度信息幅度信息，SMT料盘灰度图像转换默认取值为0.5，log为取对数操作，R，G，B，A分别代表原始采集图像的四个单独通道信息，对应0.39，0.59，0.11，0.0为灰度图像通道信息转换系数，SMT料盘灰度转换
最大保留原始料盘的G通道信息，去除A通道亮度信息，offset为灰度转换阈值参数，默认值为1.0，原始SMT料盘图像信息占用计算容量较大，采用上述方式转换灰度图像后最大程度包括原始料盘对比度信息，同时降低推理计算耗时。对于SMT料盘灰度图像，其中含有料盘数量范围为1
‑
4个，采用动态阈值分割方式进一步缩小料盘检测ROI区域，对应计算为公式二为，其中Light和Dark模式分别对应相对料盘发黑或者发亮的料盘呈现效果，GOrginal为原始料盘图像特征，GThreshold为图像平滑后的料盘图像特征，offset为偏差阈值，默认取值范围为10
‑
20，采用上述操作方式即可将料盘图像与背景区域进行划分，背景区域像素值设置为0，识别料盘区域像素值设置为255，统计获取整幅料盘图像中像素值等于255的区域，获取对应轮廓区域后求取最小外接矩形，提取最小外接矩形的坐标信息(rect_x，rect_y，rect_w，rect_h)，其中x为矩形所在区域的左上端点像素横坐标，y为矩形所在区域的左上端点像素纵坐标，w为矩形宽度方向的像素占比，h为矩形高度方向的像素占比，通过统计不同料盘区域的最小外接矩形信息，进一步获取不同料盘待检测ROI区域。
[0006]进一步，料盘ROI区域的图像裁剪包括料盘ROI区域的图像裁剪包括获取样本料盘ROI图像后，对图像进行裁剪，以固定模型训练图像尺寸，设定待裁剪料盘ROI图像信息为(rect_x0，rect_y0，rect_x1，rect_y1)，其中(rect_x0，rect_y0)为左上端点横纵坐标信息，(rect_x1，rect_y1)为右下端点的横纵坐标信息，裁剪图像尺寸为crop_size以及图像裁剪重叠像素值为overlap，所有裁剪图像对应坐标信息可用公式三描述，公式三为 ，其中(rect_xi，rect_yi)对应第i个裁剪图像相对料盘ROI区域图像的左上端点像素横纵坐标，裁剪图像像素宽度和高度对应均为crop_size，采用公式三即可获取n幅固定尺寸的裁剪图像，其中i=1,2,3,...,n。
[0007]进一步，料盘位置标注包括使用标注软件对裁剪后图像进行数据标注，标注在于辅助提取中心点(x_center,y_center)坐标数值，其中x_center和y_center分别代表裁剪图像中对应元器件的像素横纵坐标，人工手动选择不同裁剪料盘图像，通过缩放、平移等操作在所有元器件中心区域鼠标点击自动绘制圆点区域，在获取一定数量的标注文件后，以文本文档形式对标签数据进行存储。
[0008]进一步，数据标注适用对象为裁剪图像区域内占比大于60%的单个元器件，对于裁剪图像边缘元器件图像标注，参考元器件显示比例，若显示区域相对整个元器件比例小于60%，不进行标注，避免出现多个中心点识别情况。
[0009]进一步，定位模型的搭建和离线训练包括输入信息的归一化和数据增强，模型提供翻转、旋转、仿射变换、扭曲等多种图像扩增模式，以提高模型的兼容适应能力。网络模型层数包括5个3
×
3卷积层和1
×
1池化层串联组合的数据特征提取模块，基于中心点定位的料盘识别网络模型以多个小卷积层代替大卷积层以解决处理数据出现局部最优问题，图像
数据特征提取模块后接连flatten层对数据进行一维度化操作同时不影响batch大小。
[0010]进一步，分类预测模块包括：P1、P2、P3三个金字塔层，分别对应图像特征维度的底层信息和高层信息，最大程度保留图像语义信息，模型最后一层输出经过softmax操作得到每个像素位置对应的料中心点位置概率，采用分值过滤操作即可获取当前训练图像内所有料盘的中心点坐标，然后与人工标注中心点坐标进行二维空间位置计算，所得数据记作当前模型训练损失值，待损失值稳定逐渐收敛区域稳定时，将图像数据提取模块与数据分类预测模块导出即为训练模型文件。
[0011]进一步，SMT料盘统计方法还包括在线预测准确性评估，对于单类别已知料盘循环测试N大于5次并获取N次预测数量数值[Number1, Number2, Number3,...]，取其平均数为Number_Predict并与人工矫正料盘内元器件总数量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于中心点识别定位的SMT料盘统计方法，其特征在于：包括料盘图像采集，定位分割：基于给定不同数量的样本料盘采集图像，运用局部动态阈值分割方法获取不同料盘相对于采集图像的坐标信息(rect_x, rect_y, rect_w, rect_h)，其中rect_x为料盘ROI区域的左上端点横坐标，rect_y为料盘ROI区域的左上端点纵坐标，rect_w为料盘ROI区域的宽度，rect_h为料盘ROI区域的高度；料盘数据离线训练：包括识别料盘ROI区域的图像裁剪、料盘位置标注以及中心点识别定位模型的搭建和离线训练，基于目标中心区域特征提取和识别搭建智能检测神经网络模型，可快速实现物料中心点的识别和定位，将图像数据提取模块与数据分类预测模块导出为训练模型文件；料盘图像在线预测定位：SMT料盘采集装置重新获取大于1个待检测料盘图像后，分割定位获取待检测料盘ROI区域，依次循环调用上述训练模型文件，可获取当前检测料盘ROI区域内所有元器件的坐标(predict_x, predict_y)，其中predict_x为当前识别元器件的像素横坐标，predict_y为当前识别元器件的像素纵坐标，统计所有元器件识别坐标信息后即可描述当前料盘内元器件总数量。2.根据权利要求1所述的基于中心点识别定位的SMT料盘统计方法，其特征在于，样本料盘图像采集定位分割包括对于采集含有四个料盘的RGBA四通道图像，采用公式一转换为灰度图像，最大程度保留原始灰度对比度信息，公式一为，其中Gary代表转换后的灰度图像，(p_x,p_y)对应当前像素横纵坐标数值，c为转换灰度信息幅度信息，SMT料盘灰度图像转换默认取值为0.5，log为取对数操作，R，G，B，A分别代表原始采集图像的四个单独通道信息，对应0.39，0.59，0.11，0.0为灰度图像通道信息转换系数，对于SMT料盘灰度图像，其中含有料盘数量范围为1
‑
4个，采用动态阈值分割方式进一步缩小料盘检测ROI区域，对应计算为公式二为，其中Light和Dark模式分别对应相对料盘发黑或者发亮的料盘呈现效果，G
Orginal
为原始料盘图像特征，G
Threshold
为图像平滑后的料盘图像特征，offset为偏差阈值，采用上述操作方式即可将料盘图像与背景区域进行划分，背景区域像素值设置为0，识别料盘区域像素值设置为255，统计获取整幅料盘图像中像素值等于255的区域，获取对应轮廓区域后求取最小外接矩形，提取最小外接矩形的坐标信息(rect_x，rect_y，rect_w，rect_h)。3.根据权利要求1所述的基于中心点识别定位的SMT料盘统计方法，其特征在于，料盘ROI区域的图像裁剪包括获取样本料盘ROI图像后，对图像进行裁剪，以固定模型训练图像尺寸，设定待裁剪料盘ROI图像信息为(rect_x0,rect_y0, rect_x1,rect_y1)，其中(rect_x0,rect_y0)为左上端点横纵坐标信息，(rect_x1,rect_y1)为右...

【专利技术属性】
技术研发人员：宋瑞超，卢坤，
申请(专利权)人：深圳精创视觉科技有限公司，
类型：发明
国别省市：