基于卷积神经网络特征可视化的典型垃圾识别方法技术

本发明专利技术提出基于卷积神经网络特征可视化的典型垃圾识别方法。其中，方法包括：建立卷积神经网络的典型垃圾类别决策模型，设计基于类别决策的典型垃圾特征激活映射策略，突破网络学习过程中的典型垃圾识别可视化技术，实现可解释的特征可视化卷积神经网络典型垃圾识别，为垃圾回收行业提供强有力的技术支持，对典型生活垃圾分类具有显著的应用和经济效益。因此，本发明专利技术的研究成果在典型生活垃圾回收领域具有广阔的应用前景。具有广阔的应用前景。具有广阔的应用前景。

【技术实现步骤摘要】
基于卷积神经网络特征可视化的典型垃圾识别方法


[0001]本专利技术属于图像识别和固体废物的处理领域，尤其涉及基于卷积神经网络特征可视化的典型垃圾识别方法。

技术介绍

[0002]随着城市中诸如塑料、金属、玻璃、纸张等此类的典型生活垃圾产量逐步增加，随之带来的环境负担愈发严重，因此典型生活垃圾资源的回收和循环利用已成为当下环境保护的热点问题。随着基于深度学习视觉分类模型的飞速发展、计算机处理能力的不断提升，典型垃圾的自动化分类识别已转变成图像数据化驱动的模型分类问题。基于数据驱动的视觉分类模型可以自适应的学习垃圾样本特征，通过模型的多次训练学习，最终实现正确的垃圾样本分类。当前基于深度学习的卷积神经网络识别技术已成功驱动典型垃圾的分类识别，有效解决了人工分类效率低却繁琐的问题。
[0003]然而，卷积神经网络在进行典型垃圾识别过程中，模型对于典型垃圾特征的学习缺乏可解释性，诸如典型垃圾特征网络是如何进行提取以及学习，正确与错误样本的识别过程是依据何种特征使得网络进行决策。网络模型在典型垃圾识别过程中缺乏可解释性，直接影响了垃圾识别模型的可靠性以及后续的可行性改进。

技术实现思路

[0004]为解决上述技术问题，本专利技术提出基于卷积神经网络特征可视化的典型垃圾识别方法的技术方案，以解决上述技术问题。
[0005]本专利技术第一方面公开了一种基于卷积神经网络特征可视化的典型垃圾识别方法，所述方法包括：
[0006]步骤S1、选取具有复杂背景的厨余垃圾作为典型垃圾图像数据集，并将所述典型垃圾图像数据集构建为RGB颜色空间的图像数据；再将所述RGB颜色空间的图像数据归一化，得到输入图像数据矩阵；
[0007]步骤S2、建立基于卷积神经网络的典型垃圾类别决策模型；所述基于卷积神经网络的典型垃圾类别决策模型由N个卷积模块和一个全连接层构成；所述N个卷积模块串联，最后一个卷积模块与所述全连接层连接；将所述输入图像数据矩阵输入所述典型垃圾类别决策模型，得到最后一个卷积模块中输出层的输出、全连接层的输出和类别概率矩阵；
[0008]步骤S3、应用所述最后一个卷积模块中输出层的输出，计算输出特征全局感知矩阵；应用所述全连接层的输出和最后一个卷积模块中输出层的输出，基于决策梯度，得到特征权重矩阵；应用所述输出特征全局感知矩阵和特征权重矩阵，得到全局平均特征激活响应；
[0009]步骤S4、应用所述全局平均特征激活响应与典型垃圾图像，得到卷积神经网络特征激活映射图，即特征可视化图。
[0010]根据本专利技术第一方面的方法，在所述步骤S1中，所述典型垃圾图像中包括：塑料
类、纸质类、金属类和玻璃类。
[0011]根据本专利技术第一方面的方法，在所述步骤S3中，所述应用所述最后一个卷积模块中输出层的输出，计算输出特征全局感知矩阵的方法包括：
[0012][0013]其中，G
L
(t)表示在第t次迭代时，最后一个卷积模块的输出特征矩阵O
N
(t)的垃圾类别标签为L的输出特征全局感知矩阵；最后一个卷积模块的输出特征矩阵O
N
(t)为所述最后一个卷积模块中输出层的输出；H表示输出特征矩阵O
N
(t)的垂直维度；W表示输出特征矩阵O
N
(t)的水平维度；表示在t次迭代时，第N个卷积模块输出特征矩阵O
N
(t)中，第m个特征通道对应(i,j)坐标位置的特征元素值，其中m＝1,2,
…
,M，M表示特征通道数量；i表示O
N
(t)特征矩阵中的水平位置坐标，j表示O
N
(t)特征矩阵中的垂直位置坐标。
[0014]根据本专利技术第一方面的方法，在所述步骤S3中，所述应用所述全连接层的输出和最后一个卷积模块中输出层的输出，基于决策梯度，得到特征权重矩阵的方法包括：
[0015][0016]其中，α
m
(t)表示在第t次迭代时，输出特征矩阵O
N
(t)中，第m个特征通道对应(i,j)坐标位置的特征权重矩阵；为类别决策矩阵，即全连接层的输出。
[0017]根据本专利技术第一方面的方法，在所述步骤S3中，所述应用所述输出特征全局感知矩阵和特征权重矩阵，得到全局平均特征激活响应的方法包括：
[0018][0019][0020]其中，A
Lm
(t)表示在第t次迭代时，卷积网络垃圾类别标签为L的第m个特征通道的特征激活响应矩阵；*表示哈达玛积运算；表示在第t次迭代时，卷积网络垃圾类别标签为L的全局平均特征激活响应。
[0021]根据本专利技术第一方面的方法，在所述步骤S4中，所述应用所述全局平均特征激活响应与典型垃圾图像，得到卷积神经网络特征激活映射图，即特征可视化图的方法包括：
[0022][0023]其中，M
L
(t)表示在第t次迭代时，类别标签为L的卷积神经网络特征激活映射图，即典型垃圾类别标签为L的特征可视化图；表示在第t次迭代时，卷积网络垃圾类别标签为L的全局平均特征激活响应；I
O
为典型垃圾图像。
[0024]本专利技术第二方面公开了一种基于卷积神经网络特征可视化的典型垃圾识别系统，所述系统包括：
[0025]第一处理模块，被配置为，选取具有复杂背景的厨余垃圾作为典型垃圾图像数据集，并将所述典型垃圾图像数据集构建为RGB颜色空间的图像数据；再将所述RGB颜色空间的图像数据归一化，得到输入图像数据矩阵；
[0026]第二处理模块，被配置为，建立基于卷积神经网络的典型垃圾类别决策模型；所述基于卷积神经网络的典型垃圾类别决策模型由N个卷积模块和一个全连接层构成；所述N个卷积模块串联，最后一个卷积模块与所述全连接层连接；将所述输入图像数据矩阵输入所述典型垃圾类别决策模型，得到最后一个卷积模块中输出层的输出、全连接层的输出和类别概率矩阵；
[0027]第三处理模块，被配置为，应用所述最后一个卷积模块中输出层的输出，计算输出特征全局感知矩阵；应用所述全连接层的输出和最后一个卷积模块中输出层的输出，基于决策梯度，得到特征权重矩阵；应用所述输出特征全局感知矩阵和特征权重矩阵，得到全局平均特征激活响应；
[0028]第四处理模块，被配置为，应用所述全局平均特征激活响应与典型垃圾图像，得到卷积神经网络特征激活映射图，即特征可视化图。
[0029]根据本专利技术第二方面的系统，所述第一处理模块，被配置为，所述典型垃圾图像中包括：塑料类、纸质类、金属类和玻璃类。
[0030]根据本专利技术第二方面的系统，所述第三处理模块，被配置为，所述应用所述最后一个卷积模块中输出层的输出，计算输出特征全局感知矩阵包括：
[0031][0032]其中，G
L
(t)表示在第t次迭代时，最后一个卷积模块的输出特征矩阵O
N
(t)的垃圾类别标签为L的输出特征全局感知矩阵；最后一个卷积模块的输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络特征可视化的典型垃圾识别方法，其特征在于，所述方法包括：步骤S1、选取具有复杂背景的厨余垃圾作为典型垃圾图像数据集，并将所述典型垃圾图像数据集构建为RGB颜色空间的图像数据；再将所述RGB颜色空间的图像数据归一化，得到输入图像数据矩阵；步骤S2、建立基于卷积神经网络的典型垃圾类别决策模型；所述基于卷积神经网络的典型垃圾类别决策模型由N个卷积模块和一个全连接层构成；N个所述卷积模块串联，最后一个所述卷积模块与所述全连接层连接；将所述输入图像数据矩阵输入所述典型垃圾类别决策模型，得到最后一个所述卷积模块中输出层的输出、全连接层的输出和类别概率矩阵；步骤S3、应用最后一个所述卷积模块中输出层的输出，计算输出特征全局感知矩阵；应用所述全连接层的输出和最后一个所述卷积模块中输出层的输出，基于决策梯度，得到特征权重矩阵；应用所述输出特征全局感知矩阵和特征权重矩阵，得到全局平均特征激活响应；步骤S4、应用所述全局平均特征激活响应与所述典型垃圾图像，得到卷积神经网络特征激活映射图，即特征可视化图。2.根据权利要求1所述的一种基于卷积神经网络特征可视化的典型垃圾识别方法，其特征在于，在所述步骤S1中，所述典型垃圾图像的种类包括：塑料类、纸质类、金属类和玻璃类。3.根据权利要求1所述的一种基于卷积神经网络特征可视化的典型垃圾识别方法，其特征在于，在所述步骤S3中，所述应用最后一个所述卷积模块中输出层的输出，计算输出特征全局感知矩阵的方法包括：其中，G
L
(t)表示在第t次迭代时，最后一个卷积模块的输出特征矩阵O
N
(t)的垃圾类别标签为L的输出特征全局感知矩阵；最后一个卷积模块的输出特征矩阵O
N
(t)为所述最后一个卷积模块中输出层的输出；H表示输出特征矩阵O
N
(t)的垂直维度；W表示输出特征矩阵O
N
(t)的水平维度；表示在...

【专利技术属性】
技术研发人员：韩红桂，张奇宇，李方昱，杜永萍，吴玉锋，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：