【技术实现步骤摘要】
本专利技术属于图像处理与目标检测，具体涉及一种基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法。
技术介绍
1、报废汽车有色金属目标检测是指从报废汽车拆解后所得的金属碎片或部件中，识别和区分出有色金属(如铜、铝、锌、镁等)的过程。通过目标检测技术准确识别和分离出这些金属，对于提高资源回收利用率、减少环境污染以及降低原材料成本等方面都具有重要意义。
2、随着汽车工业的快速发展，报废汽车的数量逐年增加，如何高效、准确地回收和处理这些报废汽车中的有色金属成为了一个重要的研究课题。有色金属如铜、铝等具有较高的回收价值，但由于其物理和化学性质的差异，使得其分选和检测变得复杂。目前市面上常见的报废汽车有色金属分选方法主要集中在涡电流、射线、光谱、机器视觉。
3、然而，现有的报废汽车有色金属分选方法在实际应用中存在多方面的问题。例如，涡电流分选法对弱磁性金属分选效果不佳；气相色谱-质谱法为破坏性检测，需制样且不适用于所有样品；光谱检测中，x射线荧光光谱法识别率低仅适用于初步筛选和定量分析，紫外可见分光光度法局限于特定元素检测；机器视觉检测方法在数据处理速度、光照和环境适应性、缺陷识别能力、抗干扰能力以及算法可扩展性和适应性等方面存在缺陷。
技术实现思路
1、针对传统方法在对报废汽车有色金属分选时存在的不足，本专利技术提出了一种基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法，以提高对报废汽车有色金属目标的识别准确率和识别效率，从而准确识别和分离
2、本专利技术为了实现上述目的，采用如下技术方案：
3、基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法，包括如下步骤：
4、步骤1. 首先获取利用可见光相机和红外热成像仪对报废汽车有色金属破碎物进行图像采集得到的可见光图像以及红外热成像图像，可见光图像以及红外热成像图像在采集时在时间和空间上一一对应组成相应的图片对，并进行图像预处理和标注操作，得到训练数据集；
5、步骤2. 搭建基于改进的yolov8模型架构的报废汽车有色金属目标检测模型，其中报废汽车有色金属目标检测模型包括两个主干网络、一个颈部网络以及一个检测头网络；
6、定义两个主干网络分别为主干网络一以及主干网络二，主干网络一和主干网络二采用孪生网络结构，同时在两个主干网络中引入注意力机制seattention，形成注意力孪生网络；
7、其中，主干网络一用于接收可见光图像输入，并对输入的可见光图像进行特征提取；主干网络二用于接收红外热成像图像，并对输入的红外热成像图像进行特征提取；
8、颈部网络用于接收主干网络一以及主干网络二的输出特征，并对两个主干网络的输出特征进行融合，并通过检测头网络实现报废汽车有色金属目标检测；
9、改进的yolov8模型架构是在原有yolov8模型结构的基础上进行如下改进得到的：
10、主干网络设置为两个，且分别用于提取可见光图像以及红外热成像图像特征，从而实现多源图像输入以及特征提取，进而实现多源图像的融合；
11、利用yolov9模型中的repncspelan4模块替换原有yolov8模型的浅层次网络中的c2f模块，在浅层次网络进行特征提取和融合，以获取可编程梯度信息；
12、在原有yolov8模型的深层次网络中的c2f模块上添加seattention，通过引入轻量高效的注意力模块加强特征表示和引入注意力机制来增强目标检测的能力；
13、将在原有yolov8模型的部分卷积块替换为adown下采样模块，以减少特征图空间维度；
14、将原有yolov8模型的sppf模块替换为sppelan模块；
15、采用asff改进检测头网络，自适应地融合不同尺度的特征；
16、步骤3. 基于训练数据集对改进的yolov8模型进行训练，得到训练好的报废汽车有色金属目标检测模型，并利用模型对报废汽车有色金属进行目标检测，得到检测结果。
17、此外，在上述基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法的基础上，本专利技术还提出了一种与之对应的基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测系统，该报废汽车有色金属目标检测系统采用如下技术方案：
18、基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测系统，包括可见光相机、红外热成像仪以及计算机设备，其中，可见光相机和红外热成像仪对报废汽车有色金属破碎物同步进行图像采集，分别得到可见光图像以及红外热成像图像。计算机设备包括存储器和至少一个处理器。所述存储器中存储有可执行代码。处理器执行可执行代码时，用于实现如上所述的基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法。
19、本专利技术具有如下优点：
20、如上所述，本专利技术述及了一种基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法及系统。本专利技术结合了可见光图像以及红外热成像图像两种不同类型的图像，实现了多源图像的输入，可以获取更全面的目标信息，可见光图像提供色彩和纹理细节，红外热成像图像则能在复杂环境下检测到因温度差异而突出的目标，通过融合这些多源图像，能够弥补单一图像的局限性，提高对有色金属目标的检测准确率。此外，本专利技术在原有yolov8模型的基础上，定义两个主干网络分别为主干网络一以及主干网络二，主干网络一用于接收可见光图像输入，并对输入的可见光图像进行特征提取；主干网络二用于接收红外热成像图像，并对输入的红外热成像图像进行特征提取，主干网络一和主干网络二采用孪生网络结构，同时在两个主干网络中引入注意力机制seattention，形成注意力孪生网络，采用注意力孪生网络结构对输入的两个样本进行特征提取和比较，并对特征进行自适应加权。深层次网络中的c2f模块上引入了注意力机制seattention，注意力机制可以自动学习并突出图像中的关键区域和特征，减少无关信息的干扰，在检测报废汽车混合物中的有色金属时，能够更加准确地聚焦于具有有色金属特征的区域，对于形状不规则或与其他材料混合在一起的有色金属部件，注意力孪生网络可以通过学习其独特的特征模式，利于提高对目标的识别精度。本专利技术方法利于提高报废汽车有色金属破碎物回收的准确率和效率。此外，有效地检测和回收报废汽车混合物中的有色金属，可以减少对自然资源的依赖，提高资源的循环利用率。
本文档来自技高网...【技术保护点】
1.基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法，其特征在于，所述主干网络一包括卷积模块、RepNCSPELAN4模块、下采样模块、C2f_SE模块以及第一SPPELAN模块；
3.根据权利要求2所述的基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法，其特征在于，所述主干网络二包括卷积模块、RepNCSPELAN4模块、下采样模块、C2f_SE模块、Concat模块以及第二SPPELAN模块；
4.根据权利要求3所述的基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法，其特征在于，所述颈部网络包括拼接融合模块、卷积模块、上采样模块、C2f_SE模块以及Concat模块；
5.根据权利要求1所述的基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法，其特征在于，所述RepNCSPELAN4模块的处理流程如下：
6.根据权利要求1所述的基于注意力孪生网络与多
7.根据权利要求1所述的基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法，其特征在于，在原有YOLOV8模型的深层次网络的c2f模块上添加SEAttention；通过引入轻量高效的注意力模块加强特征表示和引入注意力机制来增强目标检测的能力。
8.根据权利要求1所述的基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法，其特征在于，所述ASFF包括特征金字塔、自适应融合模块以及预测模块；
9.根据权利要求1所述的基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法，其特征在于，所述步骤1中，可见光图像以及红外热成像图像预处理操作相同，且包括图像去噪、图像增强、几何变换、图像标注以及图像归一化操作；
10.根据权利要求1所述的基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法，其特征在于，在报废汽车有色金属目标检测模型训练中，定义一个综合损失函数，其包括分类损失、定位损失以及目标置信度损失；
...【技术特征摘要】
1.基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法，其特征在于，所述主干网络一包括卷积模块、repncspelan4模块、下采样模块、c2f_se模块以及第一sppelan模块；
3.根据权利要求2所述的基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法，其特征在于，所述主干网络二包括卷积模块、repncspelan4模块、下采样模块、c2f_se模块、concat模块以及第二sppelan模块；
4.根据权利要求3所述的基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法，其特征在于，所述颈部网络包括拼接融合模块、卷积模块、上采样模块、c2f_se模块以及concat模块；
5.根据权利要求1所述的基于注意力孪生网络与多源图像融合的报废汽车有色金属目标检测方法，其特征在于，所述repncspelan4模块的处理流程如下：
6.根据权利要求1所述的基于注意力孪生网络与...
【专利技术属性】
技术研发人员：贾有东，李欣治，杨锐，速昀，张英姿，王寿华，李玉基，朱紫月，张源鑫，
申请(专利权)人：昆明学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。