一种基于注意力机制和特征融合的起重机图像检索方法技术

本发明专利技术涉及一种基于注意力机制和特征融合的起重机图像检索方法，包括：以图像细分类任务为目标对主干网络进行微调训练；提取出数据库中起重机图片的VAMAC特征和GRMAAC特征，对应存储到和GRMAAC特征库中；对于待查询起重机图片，提取出其VAMAC特征和GRMAAC特征；采用余弦相似度，计算待查询起重机图片VAMAC特征与VAMAC特征库中VAMAC特征的相似度，计算待查询起重机图片特征相似度并排序；挑选若干最相似的图片。本发明专利技术可实时快速地检索出数据库中的起重机及配件，节省人力成本并排除人为主观因素的干扰，具有效率高，准确率高，实用性强等优点。优点。优点。

【技术实现步骤摘要】
GRMAAC特征；
[0014]步骤S5、采用余弦相似度，计算待查询起重机图片VAMAC特征与VAMAC特征库中 VAMAC特征的相似度，计算待查询起重机图片GRMAAC特征与GRMAAC特征库中 GRMAAC特征的相似度，并分别生成VAMAC相似度和GRMAAC相似度；将两种相似度以 特定系数加和得到总相似度表，对总相似度表按照相似度进行排序；
[0015]步骤S6、挑选出总相似度表中排序最靠前的若干相似度，并将对应的若干张数据库中起 重机图片作为输出结果，每一张数据库中起重机图片关联对应起重机或设备的信息和技术参 数以供查询。
[0016]进一步地，步骤S1包括：选用ImageNet数据集预训练好的ResNet101作为主干网络， 采用经筛选和清洗的products10k数据集对主干网络进行微调。
[0017]进一步地，步骤S2包括：利用可变注意力机制生成可变注意力mask，通过生成的可变 注意力mask对主干网络提取的卷积层特征进行过滤，保留起重机目标的信息，过滤掉影响检 索的背景信息，再对过滤后的卷积层特征进行最大池化Max<br/>‑
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制和特征融合的起重机图像检索方法，其特征在于，包括如下步骤：步骤S1、构建主干网络，并以图像细分类任务为目标进行微调训练；步骤S2、通过融入可变注意力机制的MAC池化方法，提取出数据库中起重机图片的VAMAC特征，并存储到VAMAC特征库中；步骤S3、通过融入Avg
‑
pooling和Lp
‑
pooling的GRMAC多尺度框池化方法，提取出数据库中起重机图片的GRMAAC特征，并存储到GRMAAC特征库中；步骤S4、对于待查询起重机图片，通过步骤S2和S3的方法提取出其VAMAC特征和GRMAAC特征；步骤S5、采用余弦相似度，计算待查询起重机图片VAMAC特征与VAMAC特征库中VAMAC特征的相似度，计算待查询起重机图片GRMAAC特征与GRMAAC特征库中GRMAAC特征的相似度，并分别生成VAMAC相似度和GRMAAC相似度；将两种相似度以特定系数加和得到总相似度表，对总相似度表按照相似度进行排序；步骤S6、挑选出总相似度表中排序最靠前的若干相似度，并将对应的若干张数据库中起重机图片作为输出结果，每一张数据库中起重机图片关联对应起重机或设备的信息和技术参数以供查询。2.根据权利要求1所述的基于注意力机制和特征融合的起重机图像检索方法，其特征在于，步骤S1包括：选用ImageNet数据集预训练好的ResNet101作为主干网络，采用经筛选和清洗的products10k数据集对主干网络进行微调。3.根据权利要求1所述的基于注意力机制和特征融合的起重机图像检索方法，其特征在于，步骤S2包括：利用可变注意力机制生成可变注意力mask，通过生成的可变注意力mask对主干网络提取的卷积层特征进行过滤，保留起重机目标的信息，过滤掉影响检索的背景信息，再对过滤后的卷积层特征进行最大池化Max
‑
pooling，得到VAMAC特征。4.根据权...

【专利技术属性】
技术研发人员：张燕超，李向东，
申请(专利权)人：江苏省特种设备安全监督检验研究院，
类型：发明
国别省市：