基于神经网络的厨余垃圾检测方法技术

本发明专利技术公开了一种基于神经网络的厨余垃圾检测方法，包括获取已经进行标注后的厨余垃圾图像数据集并增强；基于Transformer神经网络和原型对比学习算法构建厨余垃圾检测初始模型并训练得到厨余垃圾检测模型；采用厨余垃圾检测模型进行实际的厨余垃圾检测。本发明专利技术具有较强的实际应用价值；通过引入原型对比学习，在模型学习分类任务和回归任务的同时学习类别原型特征，增大异类原型和样本特征间距，减小同类原型和样本特征间距，使网络能够提取更具有区分意义的类别特征；在类别原型学习的基础上，通过损失函数监督增大类别原型间距，使模型能够学习到更优的类别原型，提升生活厨余垃圾检测精度；而且可靠性高、精确性好。精确性好。精确性好。

【技术实现步骤摘要】
基于神经网络的厨余垃圾检测方法


[0001]本专利技术属于数字图像处理领域，具体涉及一种基于神经网络的厨余垃圾检测方法。

技术介绍

[0002]随着经济技术的发展和人们生活水平的提高，人们对于垃圾回收的关注度也越来越高。厨余垃圾是人们生活中产生的众多类垃圾中的一类；在垃圾回收处理过程中，对于厨余垃圾的分类也尤为重要。
[0003]目前，现有的厨余垃圾分类，一般还处于人工分拣的阶段。但是明显的，对厨余垃圾进行人工分拣的过程，不仅费时费力，而且效率极为低下。随着深度学习技术的发展，目前也已经有了部分采用目标检测算法来进行厨余垃圾分拣的研究。但是，目前的目标检测算法都是基于自然图像或者遥感图像数据集进行训练和测试，对于厨余垃圾图像而言，其适用性不强。而且，厨余垃圾具有自身的独特属性，比如在可见光图像中玻璃制品和塑料瓶轮廓相似度极高，这使得现有的目标检测算法在进行检测时，其可靠性和精确性均较差。

技术实现思路

[0004]本专利技术的目的在于提供一种适用于厨余垃圾分拣，而且可靠性高、精确性好的基于神经网络的厨余垃圾检测方法。
[0005]本专利技术提供的这种基于神经网络的厨余垃圾检测方法，包括如下步骤：S1. 获取已经进行标注后的厨余垃圾图像数据集；S2. 对步骤S1获取的数据集进行数据增强；S3. 基于Transformer神经网络和原型对比学习算法，构建厨余垃圾检测初始模型；S4. 采用步骤S2得到的增强后的数据集，对步骤S3构建的厨余垃圾检测初始模型进行训练，得到厨余垃圾检测模型；S5. 采用步骤S4得到的厨余垃圾检测模型，进行实际的厨余垃圾检测。
[0006]步骤S1所述的已经进行标注后的厨余垃圾图像数据集，具体为按照国家生活垃圾种类定义和实际情况需求，将厨余垃圾标记为硬塑料、玻璃、利乐宝、塑料瓶、金属、规则软塑料或无规则软塑料。
[0007]步骤S2所述的对步骤S1获取的数据集进行数据增强，具体包括如下步骤：首先，读取数据集中的图像；然后，采用双线性插值算法将图像的大小调整到设定的大小值；接下来，将统一大小的图像随机按照横轴、纵轴或对角线进行翻转，翻转概率依次为0.25、0.25和0.25；最后，将得到的图像按照设定的均值和方差进行图像归一化操作，从而得到最终的厨余垃圾图像训练数据集。
[0008]步骤S3所述的厨余垃圾检测初始模型，具体为首先采用Transformer神经网络提取厨余垃圾图像中的特征，然后对得到的多尺度特征进行融合并进行正负样本采样，接下来对得到的样本进行级联和分类，最后采用增强了原型间距的原型对比学习算法对分类结果进行分类结果进行修正，从而完成厨余垃圾检测。
[0009]所述的步骤S3，具体包括如下步骤：A. 采用Transformer神经网络提取厨余垃圾图像的特征。
[0010]B. 对步骤A提取的特征进行融合得到多层特征，采用卷积网络进行处理生成对应的目标候选框和分类结果，并进行正负样本采样。
[0011]C. 对步骤B采样的样本进行级联操作，修正候选框位置并对样本进行分类。
[0012]D. 采用增强了原型间距的原型对比学习算法对分类结果进行修正，从而完成厨余垃圾检测。
[0013]所述的步骤A，具体包括如下步骤：采用构建的Transformer神经网络提取厨余垃圾图像的特征；构建的Transformer神经网络包括依次串接的图像切分模层、第一特征提取层、第二特征提取层、第三特征提取层和第四特征提取层；图像切分模层用于对输入的图像进行分块；第一特征提取层包括1层镶嵌模层和2个SwinTransformer块，用于浅层特征提取；第二特征提取层包括1层图像切分模层和2个SwinTransformer块，用于浅层特征提取；第三特征提取层包括1层图像切分模层和6个SwinTransformer块，用于深层特征提取；第四特征提取层包括1层图像切分模层和2个SwinTransformer块，用于深层特征提取；每一个SwinTransformer块均包括4层归一化层、2个多层感知机模块、1个窗口多头自注意力模块和1个移位窗口多头自注意力模块。
[0014]所述的步骤B，具体包括如下步骤：B1. 构建金字塔特征融合模块，将步骤A中每个层输出的特征均与上阶段输出的特征进行融合，从而得到第i层输出的多层特征F
i
；B2. 构建候选框生成网络，将步骤B1得到的多层特征F
i
输入到候选框生成网络，从而得到可能包含垃圾目标的候选框B
p
和分类结果C
p
；所述的候选框生成网络包括依次串联的1个3
×
3卷积层和2个1
×
1卷积层；B3. 根据真实边界框、类别标签和步骤B2得到的候选框B
p
、分类结果C
p
，构建损失函数，并在训练时采用梯度下降法更新网络参数；B4. 采用感兴趣区域对齐模块和候选框B
p
，进行多层特征F
i
的对齐；B5. 采用样本提取模块，按照设定的正负样本比例提取对齐后的样本特征；其中正样本定义为候选框与真实边界框的交并比大于第一设定值，负样本定义为候选框与真实边界框的交并比小于第二设定值，且第二设定值小于第一设定值。
[0015]步骤B3所述的构建损失函数，具体包括如下步骤：采用如下算式作为损失函数L
rpn
：式中L
rpnreg
为回归损失函数，且，x为回归损失函数L
rpnreg
的自变量，表示候选框B
p
与真实边界框B的差；L
rpncls
为分类损失函数，且
，N为样本总量，为样本i为正样本的概率，y
i
为二值函数，若样本i为正样本则，若样本i为负样本则。
[0016]所述的步骤C，具体包括如下步骤：（1）. 将样本输入到三个依次串接的全连接层，得到第一阶段回归结果B1和第一阶段分类结果C1；然后，根据第一阶段回归结果B1与真实边界框B，计算回归损失函数；根据第一阶段分类结果C1和真实类别标签C，计算分类损失函数；并在训练时采用梯度下降法更新网络参数；（2）. 采用第一阶段回归结果B1和多层特征F
i
，重新提取正负样本；（3）. 对步骤（2）提取的正负样本，再次输入到三个依次串接的全连接层，得到第二阶段回归结果B2和第二阶段分类结果C2；然后，根据第二阶段回归结果B2与真实边界框B，计算回归损失函数；根据第二阶段分类结果C2和真实类别标签C，计算分类损失函数；并在训练时采用梯度下降法更新网络参数。
[0017]所述的步骤D，具体包括如下步骤：D1. 通过两个全连接层，对步骤C重新提取的样本进行特征提取，得到特征F
p
；D2. 将步骤D1得到的特征F
p
通过构建的原型对比模块，从而增大特征F
p
与其他类原型的间距，并缩小特征F
p
与同类原型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的厨余垃圾检测方法，其特征在于包括如下步骤：S1. 获取已经进行标注后的厨余垃圾图像数据集；S2. 对步骤S1获取的数据集进行数据增强；S3. 基于Transformer神经网络和原型对比学习算法，构建厨余垃圾检测初始模型；S4. 采用步骤S2得到的增强后的数据集，对步骤S3构建的厨余垃圾检测初始模型进行训练，得到厨余垃圾检测模型；S5. 采用步骤S4得到的厨余垃圾检测模型，进行实际的厨余垃圾检测。2.根据权利要求1所述的基于神经网络的厨余垃圾检测方法，其特征在于步骤S1所述的已经进行标注后的厨余垃圾图像数据集，具体为将厨余垃圾标记为硬塑料、玻璃、利乐宝、塑料瓶、金属、规则软塑料或无规则软塑料；步骤S2所述的对步骤S1获取的数据集进行数据增强，具体包括如下步骤：首先，读取数据集中的图像；然后，采用双线性插值算法将图像的大小调整到设定的大小值；接下来，将统一大小的图像随机按照横轴、纵轴或对角线进行翻转，翻转概率依次为0.25、0.25和0.25；最后，将得到的图像按照设定的均值和方差进行图像归一化操作，从而得到最终的厨余垃圾图像训练数据集。3.根据权利要求2所述的基于神经网络的厨余垃圾检测方法，其特征在于步骤S3所述的厨余垃圾检测初始模型，具体为首先采用Transformer神经网络提取厨余垃圾图像中的特征，然后对得到的特征进行融合并进行正负样本采样，接下来对得到的样本进行级联和分类，最后采用增强了原型间距的原型对比学习算法对分类结果进行分类结果进行修正，从而完成厨余垃圾检测。4.根据权利要求3所述的基于神经网络的厨余垃圾检测方法，其特征在于所述的步骤S3，具体包括如下步骤：A. 采用Transformer神经网络提取厨余垃圾图像的特征；B. 对步骤A提取的特征进行融合得到多层特征，采用卷积网络进行处理生成对应的目标候选框和分类结果，并进行正负样本采样；C. 对步骤B采样的样本进行级联操作，修正候选框位置并对样本进行分类；D. 采用增强了原型间距的原型对比学习算法对分类结果进行修正，从而完成厨余垃圾检测。5.根据权利要求4所述的基于神经网络的厨余垃圾检测方法，其特征在于所述的步骤A，具体包括如下步骤：采用构建的Transformer神经网络提取厨余垃圾图像的特征；构建的Transformer神经网络包括依次串接的图像切分模层、第一特征提取层、第二特征提取层、第三特征提取层和第四特征提取层；图像切分模层用于对输入的图像进行分块；第一特征提取层包括1层镶嵌模层和2个SwinTransformer块，用于浅层特征提取；第二特征提取层包括1层图像切分模层和2个SwinTransformer块，用于浅层特征提取；第三特征提取层包括1层图像切分模层和6个SwinTransformer块，用于深层特征提取；第四特征提取层包括1层图像切分模层和2个SwinTransformer块，用于深层特征提取；每一个SwinTransformer块均包括4层归一化层、2
个多层感知机模块、1个窗口多头自注意力模块和1个移位窗口多头自注意力模块。6.根据权利要求5所述的基于神经网络的厨余垃圾检测方法，其特征在于所述的步骤B，具体包括如下步骤：B1. 构建金字塔特征融合模块，将步骤A中每个层输出的特征均与上阶段输出的特征进行融合，从而得到第i层输出的多层特征F
i
；B2. 构建候选框生成网络，将步骤B1得到的多层特征F
i
输入到候选框生成网络，从而得到可能包含垃圾目标的候选框B
p
和分类结果C
p
；所述的候选框生成网络包括依次串联的1个3
×
3卷积层和2个1
×
1卷积层；B3. 根据真实边界框、类别标签和步骤B2得到的候选框B
p
、分类结果C
p
，构建损失函数，并在训练时采用梯度下降法更新网络参数；B4. 采用感兴趣区域对齐模块和候选框B
p
，进行多层特征F
i...

【专利技术属性】
技术研发人员：方乐缘，欧阳立韩，
申请(专利权)人：湖南大学，
类型：发明
国别省市：