【技术实现步骤摘要】
本专利技术在真实废旧家电图像数据的基础上，建立基于多源数据融合的废旧家电识别方法，利用对抗生成网络获取rgb图像对应的多源数据，设计基于互补网络的多源数据融合模型，实现多源数据准确融合，完成废旧家电的准确分类。这种基于多源数据融合的废旧家电识别方法在实际废旧家电回收过程中，可以解决由于光照条件变化，图像细节特征缺失，从而导致特征判别性差的问题，实现了高精度废旧家电分类，为废旧家电回收行业提供技术支持。
技术介绍
1、随着城市废旧家电产量的增加和环境条件的恶化，废旧家电资源的循环利用已成为一个具有挑战性的问题。废旧家电分类作为回收过程中的关键环节，已成为人们关注的焦点。目前常用的废旧家电分类主要采用人工分类，既繁琐又低效，难以广泛推广。开发一种智能化、自动化的生活废旧家电分类方法是实现当前环境资源回收目标的关键。基于深度学习的废旧家电分类方法有效提高了废旧家电分类自动化水平。然而，在实际的分类过程中，由于废旧家电图像获取受光照条件影响，损失部分细节信息，导致废旧家电分类结果精度低。在实际应用环境中，对废旧家电进行准确分类，具有显著的经济和社会效益。因此，本专利技术的研究成果具有广阔的应用前景。
2、基于传统方法分类精度低，成本高。随着我国人民生活水平提高，社区废旧家电量日益剧增。这些传统识别方法已经不能满足日常废旧家电分类需求。为解决复杂性问题，一些基于感知技术的回收识别方法被提出。废旧家电具有多种复杂特性，使用一种传感器，获得的数据种类单一，因此，这些方法能识别的废旧家电类型较少，适用范围具有局限性。随着机器学习的发
3、本专利技术设计了一种基于多源数据融合的废旧家电识别方法，实现废旧家电智能分类。首先，利用对抗生成网络模型获取多源数据，然后构建层级多源数据交互模型进行多源数据特征交互，最后建立基于互补网络的多源数据融合模型，实现多源数据特征的互补学习，获取具有判别性的特征，提高废旧家电分类精度。该方法在实际废旧家电回收过程中，可以解决低光照废旧家电图像细节缺失，从而导致废旧家电特征挖掘不充分的问题，实现了高精度废旧家电分类，为废旧家电回收分类问题提供了一种有效的方法。
技术实现思路
1、本专利技术获得了一种基于多源数据融合的废旧家电识别方法，该方法利用对抗生成网络模型获取多源数据，构建层级多源数据交互模型进行多源数据特征交互，并建立基于互补网络的多源数据融合模型，实现多源数据特征的互补学习，获取具有判别性的特征，提高废旧家电分类精度。该方法在实际废旧家电回收过程中，能在低光照废旧家电图像细节缺失时，实现高精度废旧家电分类。
2、本专利技术采用了如下的技术方案及实现步骤：
3、1.一种基于多源数据融合的废旧家电识别方法，其特征在于，包括以下步骤：
4、(1)采集及预处理多源废旧家电数据
5、①获取废旧家电rgb图像数据集，包括5类废旧家电图像：冰箱、洗衣机、空调、电视和电脑；共4785张rgb图像；
6、②将rgb图像送入对抗生成网络，获取对应生成的热图像和深度图像，由rgb图像、热图像和深度图像构成废旧家电多源图像数据集；基于对抗生成网络模型获取多源数据的学习过程如下：
7、获取热图像数据：基于mfnet数据集，训练对抗生成网络模型；mfnet数据集包含1606对rgb图像和热图像用于模型训练；对抗生成网络模型包含一个生成器g和一个判别器d；生成器包括四层：第一、二层为卷积层，卷积核为3×3，步长为2，卷积核数目分别为64、128，第三层为反卷积层，卷积核为3×3，步长为2，卷积核数目为64，第四层为输出层，卷积核为3×3，步长为2，卷积核数目为1；判别器包括四层：第一、二层为卷积层，卷积核为3×3，步长为2，卷积核数目分别为64、128，第三层为全连接层，神经元数目为256，第四层为输出层，神经元数目为1；对抗生成网络损失函数为：
8、
9、其中，m代表rgb图像，u代表生成的图像，e代表期望运算符，g代表数据生成器，d代表数据判别器；根据损失函数训练对抗生成网络模型；将废旧家电rgb图像作为输入送入训练好的模型，获取废旧家电热图像数据；
10、获取深度图像数据：基于midas数据集，训练对抗生成网络模型；midas数据集包含12000对rgb图像和深度图像用于模型训练；利用公式(1)所示的损失函数训练模型；将废旧家电rgb图像作为输入送入训练好的模型，获取废旧家电深度图像数据；
11、③将废旧家电多源图像数据集中每张图像的像素归一化至[0,1]；归一化后的废旧家多源图像数据集分为两组，一组为训练图像，包含3350张rgb图像，及其对应的3350张热图像和3350张深度图像，另一组为测试图像，包含1435张rgb图像，及其对应的1435张热图像和1435张深度图像；
12、(2)构建层级多源数据交互模型
13、构建层级多源数据交互模型：模型包括5个模块，为hmsi-c，c＝1,2,3,4,5；利用vgg-16模型提取多源图像特征，fcr表示第c个模块中提取的rgb图像特征，fct表示第c个模块中提取的热图像特征，fcd表示第c个模块中提取的深度图像特征；ca(·)表示通道注意力机制计算公式：
14、
15、其中，fcσ(·)为具有sigmoid激活函数的全连接层，为具有relu激活函数的全连接层，ms(·)表示全局最大池化，sigmoid激活函数σ(·)为：
16、
17、其中，x表示输入的特征值，relu激活函数r(·)为：
18、
19、sa(·)表示空间注意力机制计算公式：
20、sa(·)＝zσ(ms(·)) (5)
21、其中，zσ(·)表示具有sigmoid激活函数的卷积层；
22、通道注意机制和空间注意机制分别应用于rgb图像特征，再将空间注意力机制应用于热图像和深度图像特征，获取多源数据交互特征，hmsi-1的输出特征o1为：
23、
24、其中，⊙表示通道乘法，表示元素乘法；
25、hmsi-c(c≠1)的输出为：
26、
27、其中，oc为多源数据交互特征；
28、(3)建立基于互补网络的多源数据融合模型
29、每张图像样本本文档来自技高网...
【技术保护点】
1.一种基于多源数据融合的废旧家电识别方法，其特征在于，包括以下步骤：
【技术特征摘要】
1.一种基于多源数据融合的废旧家电识...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。