基于深度学习的制造技术

本发明专利技术公开了基于深度学习的

【技术实现步骤摘要】
基于深度学习的ACF导电粒子检测方法及系统


[0001]本专利技术属于计算机视觉
，特别涉及基于深度学习的
ACF
导电粒子检测方法及系统
。

技术介绍

[0002]随着液晶显示行业的迅速发展，越来越多的液晶显示屏的厚度越来越薄，重量越来越轻，工业生产技术的要求不断增加
。
其中，在液晶显示屏在封装的过程，驱动器
IC
键合
(Bonding)
在覆盖有各向异性导电膜
(ACF
，
Anisotropic Conductive Film)
的玻璃基板上，
ACF
是一种类似于胶带组成的粘合剂环氧基体和导电粒子组成
。
液晶显示屏的导电能力取决于
ACF
中导电粒子的数目，可以根据导电粒子的数目对液晶显示屏键合制程是否合格做出判断
。ACF
导电粒子经过压合后特征比较明显，适合采用自动光学检测
(AOI)
系统进行检测，同人工检测相比，其速度快
、
准确率高
。
因此，如果能开发一套使用简单
、
精度高
、
快速的无接触式设备对
ACF
中导电粒子的数目进行自动检测，对企业的液晶自动化生产是十分有益的
。
[0003]在
ACF
中导电粒子数目自动检测领域，公开号为“CN115661050A”的中国专利技术专利申请公开了一种液晶屏中各向异性导电膜粒子的自动检测方法
。
该方案包括如下步骤：
S1、
采集导电粒子区域图像；
S2、
对图像中的标记点进行定位，再对结果图像进行二值化处理，计算确定标记点中心的坐标；
S3、
采用基于均方差的算法分割出每块导电粒子区域；
S4、
使用基于局部极大值的算法对步骤3中分割出的每块区域进行检测；
S5、
统计步骤4中导电粒子的数量，和预设阈值进行比较，判断各向异性导电膜
ACF
中导电粒子数量是否合格
。
该方法需要图像增强算法
、
图像二值化算法
、
求联通区域面积
、
局部极大值法等步骤，算法实现较复杂，同时只能检测粒子具有上下明暗对比的情况，对于实现中导电粒子可能出现模糊
、
重叠
、
对比度低等情形检测精度不高，算法鲁棒性差
。

技术实现思路

[0004]本专利技术提供基于深度学习的
ACF
导电粒子检测方法，旨在解决现有技术在检测
ACF
中导电粒子个数时存在的检测精度不高及算法鲁棒性差的问题
。
[0005]为解决上述技术问题，本专利技术提出的基于深度学习的
ACF
导电粒子检测方法包括以下步骤：
[0006]S1
：光学系统采集
ACF
原图像，从所述原图像中提取出导电粒子目标区域图像；
[0007]S2
：对所述目标区域图像进行预处理，所述预处理包括随机翻转
、
图像归一化及随机转换
HSV
颜色空间方法，生成预处理图像；
[0008]S3
：对所述预处理图像进行标注，将标注后的预处理图像按设定的比例划分为训练集及验证集，所述标注的内容包括预处理图像中导电粒子的坐标及面积；
[0009]S4
：构建导电粒子检测网络模型，所述导电粒子检测网络模型基于
Yolov7
网络模型，在所述
Yolov7
网络模型的特征融合层添加
Transformer
全局注意力模块，用于提取输入
所述
Transformer
全局注意力模块的特征图的上下文信息；
[0010]S5
：加载用于训练的导电粒子检测网络模型和预训练参数，利用所述训练集对网络模型进行训练，利用所述验证集对训练的网络模型进行验证，评估出最佳检测模型；
[0011]S6
：对所述最佳检测模型进行模型量化处理，得到量化模型；
[0012]S7
：检测机台上的光学系统采集实时图像，从所述实时图像中提取出导电粒子目标区域图像，将目标区域图像进行预处理后输入至量化模型对导电粒子进行检测，然后将检测结果发送回检测机台
。
[0013]优选地，所述导电粒子检测网络模型包括特征提取层
、
特征融合层及特征检测层，所述特征融合层包括
Transformer
全局注意力模块及路径聚合网络；所述
Transformer
全局注意力模块输出的特征图作为路径聚合网络的输入
。
[0014]优选地，所述
Transformer
全局注意力模块包括依序设置的第一归一化层
、
多头注意力层
、
第二归一化层及多层感知机层；
[0015]输入
Transformer
全局注意力模块的特征图首先分为两条支路，其中一条支路经过第一归一化层及多头注意力层后与另一条支路进行特征图相加操作，拼接后的特征图分为两条支路，其中一条支路经过第二归一化层及多层感知机层后与另一条支路进行特征图相加操作，相加后的特征图作为
Transformer
全局注意力模块的输出
。
[0016]优选地，所述步骤
S1
提取导电粒子目标区域图像具体为：
[0017]S1
‑1：在原图像中选取
ACF
导电粒子区域模版；
[0018]S1
‑2：读取导电粒子区域模板及原图像；
[0019]S1
‑3：将导电粒子区域模板及原图像进行模板匹配，获取最佳匹配的位置；
[0020]S1
‑4：获取模板的宽度及高度，结合所述最佳匹配的位置，在原图像上绘制矩形框标记匹配结果，所述矩形框作为导电粒子目标区域图像
。
[0021]优选地，所述导电粒子检测网络模型中的卷积层为深度可分离卷积层，所述深度可分离卷积包括依序设置的深度卷积及点卷积，所述深度卷积将输入的特征图宽度及高度减半，保持通道数不变，所述点卷积将输入的特征图的通道数扩张为
256
，保持宽度及高度不变
。
[0022]优选地，所述最佳检测模型的判定标准为
mAP[0.5]，具体为：
[0023]根据
IoU>0.5
的检测框，采用不同的置信度，计算相应的
TP,FP,FN
；
[0024]其中：
TP
为真正类，即为正确检测为正确类型；
[0025]FP...

【技术保护点】

【技术特征摘要】
1.
基于深度学习的
ACF
导电粒子检测方法，其特征在于，包括以下步骤：
S1
：光学系统采集
ACF
原图像，从所述原图像中提取出导电粒子目标区域图像；
S2
：对所述目标区域图像进行预处理，所述预处理包括随机翻转
、
图像归一化及随机转换
HSV
颜色空间方法，生成预处理图像；
S3
：对所述预处理图像进行标注，将标注后的预处理图像按设定的比例划分为训练集及验证集，所述标注的内容包括预处理图像中导电粒子的坐标及面积；
S4
：构建导电粒子检测网络模型，所述导电粒子检测网络模型基于
Yolov7
网络模型，在所述
Yolov7
网络模型的特征融合层添加
Transformer
全局注意力模块，用于提取输入所述
Transformer
全局注意力模块的特征图的上下文信息；
S5
：加载用于训练的导电粒子检测网络模型和预训练参数，利用所述训练集对网络模型进行训练，利用所述验证集对训练的网络模型进行验证，评估出最佳检测模型；
S6
：对所述最佳检测模型进行模型量化处理，得到量化模型；
S7
：检测机台上的光学系统采集实时图像，从所述实时图像中提取出导电粒子目标区域图像，将目标区域图像进行预处理后输入至量化模型对导电粒子进行检测，然后将检测结果发送回检测机台
。2.
根据权利要求1所述的基于深度学习的
ACF
导电粒子检测方法，其特征在于，所述导电粒子检测网络模型包括特征提取层
(1)、
特征融合层
(2)
及特征检测层
(3)
，所述特征融合层
(2)
包括
Transformer
全局注意力模块
(21)
及路径聚合网络
(22)
；所述
Transformer
全局注意力模块
(21)
输出的特征图作为路径聚合网络
(22)
的输入
。3.
根据权利要求2所述的基于深度学习的
ACF
导电粒子检测方法，其特征在于，所述
Transformer
全局注意力模块
(21)
包括依序设置的第一归一化层
、
多头注意力层
、
第二归一化层及多层感知机层；输入
Transformer
全局注意力模块
(21)
的特征图首先分为两条支路，其中一条支路经过第一归一化层及多头注意力层后与另一条支路进行特征图相加操作，拼接后的特征图分为两条支路，其中一条支路经过第二归一化层及多层感知机层后与另一条支路进行特征图相加操作，相加后的特征图作为
Transformer
全局注意力模块
(21)
的输出
。4.
根据权利要求1所述的基于深度学习的
ACF
导电粒子检测方法，其特征在于，所述步骤
S1
提取导电粒子目标区域图像具体为：
S1
‑1：在原图像中选取
ACF
导电粒子区域模版；
S1
‑2：读取导电粒子区域模板及原图像；
S1
‑3：将导电粒子区域模板及原图像进行模板匹配，获取最佳匹配的位置；
S1
‑4：获取模板的宽度及高度，结合所述最佳匹配的位置，在原图像上绘制矩形框标记匹配结果，所述矩形框作为导电粒子目标区域图像
。5.
根据权利要求1所述的基于深度学习的
ACF
导电粒子检测方法，其特征在于，所述导电粒子检测网络模型中的卷积层为深度可分离卷积层，所述深度可分离卷积包括依序设置的深度卷积及点卷积，所述深度卷积将输入的特征图宽度及高度减半，保持通道数不变，所述点卷积将输入的特征图的通道数扩张为
256
，保持宽度及高度不变
。6.
根据权利要求1所述的基于深度学习的
ACF
导电粒子检测方法，其特征在于，所述最佳检测模型的判定标准为
mAP[0.5]
，具体为：
根据
IoU
＞
0.5
的检测框，采用不同的置信度，计算相应的
TP
，
FP
，
FN
；其中：
TP
为真正类，即为正确检测为正确类型；
FP
为假正类，即为错误检测为正确类型，为误报；
FN
为假负类，即为错误检测为错误类型，为漏检；计算查准率计算召回率根据查准率和召回率在直角坐标系上绘制
P
‑
R
曲线，所述直角坐标系的横坐标为召回率
Recall
，纵坐标为查准率
Precision
；在设定的训练次数中，
P
‑
R
曲线与坐标轴围成的面积最大的一次训练模型作为最佳检测模型
。7.
根据权利要求1所述基于深度学习的
ACF
导电粒子检测方法，其特征在于，所述随机转换
HSV
颜色空间方法具体为：
S2
‑1：将输入的图片由

【专利技术属性】
技术研发人员：张文海，赖达炜，
申请(专利权)人：厦门福信光电集成有限公司，
类型：发明
国别省市：