基于多模态制造技术

本发明专利技术公开了一种基于多模态

【技术实现步骤摘要】
基于多模态Transformer的零配件检测方法、装置及可读介质


[0001]本专利技术涉及图像处理领域，具体涉及一种基于多模态
Transformer
的零配件检测方法
、
装置及可读介质
。

技术介绍

[0002]随着国内工厂智能化以及计算机技术的不断发展，如何实现工厂车间内对零配件型号的智能检测分类受到越来越多的关注
。
由于生产制造业的精细化以及高标准化，对零配件型号检测的准确性有着极高的要求
。
目前，工厂内主要依靠人工来检测不同的零配件，人工检测不仅对工作人员的要求高，需要他们记忆大量不同零配件并要求他们在极短的时间内做出判断，而且对于极小的精细零配件的检测出错率高
。
图像检测技术不仅可以提高检测的准确度，而且还能节约大量的人力资源以及时间，该技术为零配件型号的智能检测提供了高效准确的解决方案，同时推动了深度学习技术在实际应用中的发展
。
[0003]传统的图像检测方法通常只能接受单一类型的数据，例如单张图片
。
...

【技术保护点】

【技术特征摘要】
1.
一种基于多模态
Transformer
的零配件检测方法，其特征在于，包括以下步骤：获取零配件的重量以及不同角度拍摄的零配件的若干图像，将所述若干图像叠加得到输入图像；构建零配件检测模型并训练，得到经训练的零配件检测模型，所述零配件检测模型包括依次连接的多模态特征融合模块
、
改进
Swin Transformer
模块
、
全局平均池化层和全连接层，将所述输入图像和所述重量输入经训练的零配件检测模型，通过所述多模态特征融合模块将所述输入图像和所述重量进行特征融合，得到多模态特征图，所述多模态特征图输入所述改进
Swin Transformer
模块进行特征提取，得到融合特征，所述融合特征输入所述全局平均池化层和全连接层，得到特征向量；将已知型号的零配件的所述输入图像和所述重量输入经训练的零配件检测模型，得到对应的特征向量，并建立零配件特征向量数据库；将待检测的零配件的所述输入图像和所述重量输入经训练的零配件检测模型，得到所述待检测的零配件的特征向量，将所述待检测的零配件的特征向量与所述零配件特征向量数据库中的特征向量进行比对，检测得到待检测的零配件的型号
。2.
根据权利要求1所述的基于多模态
Transformer
的零配件检测方法，其特征在于，所述多模态特征融合模块包括第一卷积层
、
第二卷积层
、
平均池化层和归一化层，所述第一卷积层的卷积核大小为3×3，所述第二卷积层的卷积核大小为1×
1。3.
根据权利要求2所述的基于多模态
Transformer
的零配件检测方法，其特征在于，所述通过所述多模态特征融合模块将所述输入图像和所述重量进行特征融合，得到多模态特征图，具体包括：所述不同角度拍摄的零配件的若干图像包括零配件的正面图像
、
侧面图像和顶面图像，将所述正面图像
、
侧面图像和顶面图像叠加得到所述输入图像，所述输入图像依次经过所述第一卷积层
、
第二卷积层
、
平均池化层和归一化层，得到图像特征，所述重量经过归一化操作，得到归一化后的重量数值，将所述归一化后的重量数值与所述图像特征相加，得到所述多模态特征图
。4.
根据权利要求1所述的基于多模态
Transformer
的零配件检测方法，其特征在于，所述改进
Swin Transformer
模块包括第一单元
、
第三卷积层
、
第一通道注意力网络
、
第四卷积层
、
第二单元
、
第五卷积层
、
第二通道注意力网络
、
第六卷积层
、
第三单元
、
第七卷积层
、
第三通道注意力网络
、
第八卷积层和第四单元，所述第一单元包括线性嵌入层和第一孪生
Swin Transformer
模块，所述第二单元包括第一补丁合并层和第二孪生
Swin Transformer
模块，所述第三单元包括第二补丁合并层和第三孪生
Swin Transformer
模块，所述第四单元包括第三补丁合并层和第四孪生
Swin Transformer
模块，所述第三卷积层
、
第五卷积层和第七卷积层的卷积核大小均为3×3，所述第四卷积层
、
第六卷积层和第八卷积层的卷积核大小均为1×
1。5.
根据权利要求4所述的基于多模态
Transformer
的零配件检测方法，其特征在于，所述多模态特征图输入所述改进
Swin Transformer
模块进行特征提取，得到融合特征，具体包括：所述多模态特征图输入线性嵌入层，所述线性嵌入层的输出分别经过第一孪生
Swin Transformer
模块和第一补丁合并层以及所述第三卷积层和第一通道注意力网络，所述第
一通道注意力网络的输出与所述第一补丁合并层的输出相加之后输入所述第四卷积层，所述第四卷积层的输出依次经过所述第二孪生
Swin Transformer
模块和第二补丁合并层，所述第一补丁合并层的输出依次经过所述...

【专利技术属性】
技术研发人员：童斌斌，温廷羲，李静雯，杨其建，曾焕强，
申请(专利权)人：华侨大学，
类型：发明
国别省市：