【技术实现步骤摘要】
本公开涉及电子产品质量检测领域，具体地涉及一种贴片元件缺陷检测模型的训练方法、检测方法及装置。
技术介绍
1、随着表面组装技术的智能化、自动化以及电子元器件尺寸的微型化发展，对表面组装技术的要求也日益提高，其中，缺陷检测技术作为控制电子产品质量的关键，更是面临着重大挑战。
2、在复杂的贴片元件场景中，贴片元件本身特征会增大检测难度，现有检测技术中存在响应速度慢和缺陷误检率高等问题。因此，需要一种更有效的训练贴片元件检测模型方法来提高模型检测精度和实时性。
技术实现思路
1、鉴于上述问题，本公开提供了一种贴片元件缺陷检测模型的训练方法、检测方法及装置。
2、根据本公开的第一个方面，提供了一种贴片元件缺陷检测模型的训练方法，包括：
3、获取训练样本，训练样本包括与贴片元件样本相关的图像数据、缺陷位置标签和分类标签，其中，分类标签表征贴片元件样本为正常类或缺陷类，缺陷位置标签表征缺陷位置；
4、根据级联的多个特征提取层对图像数据进行多级特征提取，得到末端级图像特征和中间级图像特征，其中，末端级图像特征与多个特征提取层中的末端级特征提取层相对应，中间级图像特征与多个特征提取层中的中间级特征提取层相对应；
5、将末端级图像特征输入至编码器，得到深层特征；
6、将中间级图像特征和深层特征输入跨尺度特征融合网络，得到目标特征；
7、将目标特征输入至解码器，得到缺陷分类预测结果和边界框预测结果；
8、根
9、根据本公开的实施例，根据残差神经网络的级联的多个特征提取层对图像数据进行多级特征提取，得到末端级图像特征，包括：
10、将图像数据输入至第1中间级特征提取层，输出第1初始中间级图像特征；
11、将第i-1初始中间级图像特征输入至第i中间级特征提取层中的第i中间特征提取子层，输出第i初始中间级图像特征；
12、将第i初始中间级图像特征输入至第i中间级特征提取层中的第i通道注意力子层，输出第i中间级图像特征；
13、将与末端特征提取子层相邻的第i+1通道注意力子层输出的第i+1中间级图像特征，输入至末端特征提取子层，得到残差特征；
14、将残差特征输入至自适应协同子层，得到末端级图像特征。
15、根据本公开的实施例，将残差特征输入至末端级特征提取层中的自适应协同子层，得到末端级图像特征，包括：
16、将残差特征输入至卷积单元，得到第一卷积特征；
17、将第一卷积特征输入至交叉卷积单元，得到交叉卷积特征；
18、将交叉卷积特征输入至通道注意力单元进行特征加权，得到加权特征；
19、将交叉卷积特征输入至残差网络单元，得到第二卷积特征；
20、融合加权特征与第二卷积特征，得到末端级图像特征。
21、根据本公开的实施例，根据缺陷分类预测结果、边界框预测结果、缺陷位置标签和分类标签，训练贴片元件缺陷检测模型，得到训练后的贴片元件缺陷检测模型，包括：
22、根据分类损失函数处理缺陷分类预测结果和分类标签，得到类别损失值；
23、根据边界框预测结果和缺陷位置标签，得到位置损失值；
24、根据类别损失值和位置损失值训练初贴片元件缺陷检测模型，得到训练后的贴片元件缺陷检测模型。
25、根据本公开的实施例，根据边界框预测结果和缺陷位置标签，得到位置损失值，包括：
26、根据边界框预测结果和标注边界框，确定第一交并比值；
27、根据第一交并比值、与边界框预测结果相对应的预测边界框对角线距离和标注边界框的标注对角线距离，得到第二交并比值；
28、根据预设的尺度因子更新预测边界框的尺寸和标注边界框的尺寸，得到更新后的预测边界框和更新后的标注边界框；
29、基于更新后的预测边界框和更新后的标注边界框，确定第三交并比值；
30、根据第一交并比值、第二交并比值和第三交并比值，得到位置损失值。
31、根据本公开的实施例，根据第一交并比值、第二交并比值和第三交并比值，得到位置损失值，包括根据公式(1)确定位置损失值：
32、limiou＝1+iou-mpdiou-iouinner (1)
33、其中，iou表征第一交并比值，mpdiou表征第二交并比值，iouinner表征第三交并比值，limiou表征位置损失值。
34、根据本公开的实施例，将中间级图像特征和深层特征输入跨尺度特征融合网络，得到目标特征，包括：
35、根据第一卷积子层处理深层特征，得到第一初始特征；
36、根据第一融合子层融合第i+1中间级图像特征和第一初始特征，得到第二初始特征；
37、根据第一卷积子层处理第二初始特征，得到第三初始特征；
38、根据第二融合子层融合第i中间级图像特征和第三初始特征，得到第一中间特征；
39、根据第二卷积子层处理第一中间特征，得到第四初始特征；
40、根据第一融合子层融合第四初始特征和第三初始特征，得到第二中间特征；
41、根据第二卷积子层处理第二中间特征，得到第五初始特征；
42、根据第三融合子层融合第一初始特征和第五初始特征，得到第三中间特征；
43、对第一中间特征、第二中间特征和第三中间特征进行特征拼接，得到目标特征。
44、根据本公开的第二个方面，提供了一种贴片元件缺陷检测方法，包括：
45、获取与贴片元件相关的图像检测数据，得到目标特征；
46、将目标特征输入到训练后的贴片元件缺陷检测模型，得到缺陷分类预测结果和边界框预测结果，训练后的贴片元件缺陷检测模型是根据上述训练方法得到的。
47、本公开的第三方面提供了一种贴片元件缺陷检测模型的训练装置，包括：
48、获取模块，用于获取训练样本，训练样本包括与贴片元件样本相关的图像数据、缺陷位置标签和分类标签，其中，分类标签表征贴片元件样本为正常类或缺陷类，缺陷位置标签表征缺陷位置；
49、特征提取模块，用于根据级联的多个特征提取层对图像数据进行多级特征提取，得到末端级图像特征和中间级图像特征，其中，末端级图像特征与多个特征提取层中的末端级特征提取层相对应，中间级图像特征与多个特征提取层中的中间级特征提取层相对应；
50、深层特征生成模块，用于将末端级图像特征输入至编码器，得到深层特征；
51、特征融合模块，用于将中间级图像特征和深层特征进行特征输入跨尺度特征融合网络，得到目标特征；
52、生成模块，用于将目标特征输入至解码器，得到缺陷分类预测结果和边界框预测结果；
【技术保护点】
1.一种贴片元件缺陷检测模型的训练方法，其中，所述贴片元件缺陷检测模型包括残差神经网络和跨尺度特征融合网络，所述残差神经网络包括级联的多个特征提取层；
2.根据权利要求1所述的方法，其中，所述第i中间级特征提取层包括第i中间特征提取子层和第i通道注意力子层，所述第i+1中间级特征提取层包括第i+1中间特征提取子层和第i+1通道注意力子层，所述末端级特征提取层包括末端特征提取子层和自适应协同子层，i为整数；
3.根据权利要求2所述的方法，其中，所述自适应协同子层包括卷积单元、交叉卷积单元、通道注意力单元和残差网络单元；
4.根据权利要求1所述的方法，其中，根据所述缺陷分类预测结果、所述边界框预测结果、所述缺陷位置标签和所述分类标签，训练贴片元件缺陷检测模型，得到训练后的贴片元件缺陷检测模型，包括：
5.根据权利要求4所述的方法，其中，所述缺陷位置标签基于与缺陷位置对应的标注边界框表征；
6.根据权利要求5所述的方法，其中，根据所述第一交并比值、所述第二交并比值和所述第三交并比值，得到所述位置损失值，包括根据公式(1)确定所
7.根据权利要求1所述的方法，其中，所述跨尺度特征融合网络包括第一卷积子层、第二卷积子层、第一融合子层、第二融合子层和第三融合子层，所述第一卷积子层和所述第二卷积子层的窗口大小不同；
8.一种贴片元件缺陷检测方法，包括：
9.一种贴片元件缺陷检测模型的训练装置，包括：
10.一种贴片元件缺陷检测装置，包括：
...【技术特征摘要】
1.一种贴片元件缺陷检测模型的训练方法，其中，所述贴片元件缺陷检测模型包括残差神经网络和跨尺度特征融合网络，所述残差神经网络包括级联的多个特征提取层；
2.根据权利要求1所述的方法，其中，所述第i中间级特征提取层包括第i中间特征提取子层和第i通道注意力子层，所述第i+1中间级特征提取层包括第i+1中间特征提取子层和第i+1通道注意力子层，所述末端级特征提取层包括末端特征提取子层和自适应协同子层，i为整数；
3.根据权利要求2所述的方法，其中，所述自适应协同子层包括卷积单元、交叉卷积单元、通道注意力单元和残差网络单元；
4.根据权利要求1所述的方法，其中，根据所述缺陷分类预测结果、所述边界框预测结果、所述缺陷位置标签和所述分类标签，训练贴片元...
【专利技术属性】
技术研发人员：赵云波，桂旺友，许镇义，史珂豪，王子曜，
申请(专利权)人：中国科学技术大学先进技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。