基于弱样本学习的垃圾分类方法技术

本申请涉及一种基于弱样本学习的垃圾分类方法，在模型训练阶段，将数据划分为少数强标注的基础种类数据和多数弱标注的新种类数据，通过相似度网络和主分类器两个训练阶段完成模型训练，这使得模型对数据标注的质量需求降低，更易于利用已有的数据完成模型训练，简化数据标注工作。化数据标注工作。化数据标注工作。

【技术实现步骤摘要】
基于弱样本学习的垃圾分类方法


[0001]本申请涉及图像识别
，具体地，涉及一种基于弱样本学习的垃圾分类方法。

技术介绍

[0002]过去四十年是生产力飞速发展的四十年，生产力的飞速发展让各类物品能够被大批量的生产并进入千家万户。随着我国社会经济的高速发展和城市化的不断推进，人口源源不断的往大城市聚集，各类物资在往城市聚集的同时，各类垃圾也在同步聚集。过去以焚烧和填埋为主的垃圾处理方式在人口聚集和生产力飞速发展的今天，早已显得捉襟见肘，另外，这些处理方式也存在严重的环境污染、土地占用、资源浪费等问题。
[0003]在这样的大背景下，垃圾分类的概念应运而生。对居民而言，在垃圾分类实行过程中最大问题便是不知道垃圾的分类。政府和很多企业都先后推出过很多方法以普及相关知识，有所成效，但问题依然存在。如今一类方式是结合图像处理相关技术，通过智能垃圾桶实现。通过摄像头获取垃圾图片，由图像处理相关算法识别垃圾的类型进行识别。ResNet50、VGG16、Transformer等算法都先后被用于该场景。在算法模型训练中存在的重要问题是数据问题和部署问题。关于数据问题，一方面，垃圾分类是一个相对细分且单一的应用场景，标注质量较高的公开数据集很少；另一方面，如果对全部训练数据进行人工标注，费时费力且效率低下。

技术实现思路

[0004]为了克服现有技术中的至少一个不足，本申请提供一种基于弱样本学习的垃圾分类方法。
[0005]第一方面，提供一种基于弱样本学习的垃圾分类模型构建方法，包括：
[0006]对属于厨余垃圾类型的多张图片进行强标注，得到基础种类数据集；
[0007]对属于非厨余垃圾类型的多张图片进行弱标注，得到新种类数据集；非厨余垃圾类型包括可回收物垃圾类型、有害垃圾类型和其他垃圾类型；
[0008]基于主干网络提取基础种类数据集中图片的图片特征以及新种类数据集中图片的图片特征；
[0009]将基础种类数据集中图片的图片特征以及新种类数据集中图片的图片特征输入到相似度网络，基于鉴别器对相似度网络进行训练，得到训练后的相似度网络；
[0010]针对每个非厨余垃圾类型，基于训练后的相似度网络计算属于非厨余垃圾类型的图片中任意两张图片之间的相似度，得到非厨余垃圾类型对应的相似度矩阵；采用相似度矩阵训练主分类器，得到训练后的主分类器；
[0011]主干网络、训练后的相似度网络和训练后的主分类器构成基于弱样本学习的垃圾分类模型。
[0012]在一个实施例中，基于鉴别器对相似度网络进行训练，包括：
[0013]先冻结相似度网络，使鉴别器的对抗损失最小化，对抗损失的计算公式为：
[0014][0015]其中，L
D
为对抗损失，M为输入图片的批处理大小，为关系特征为时的鉴别器评分，为基础种类数据集b中第i张图片和第j张图片构成的图像对的关系特征，为关系特征为时的鉴别器评分，为新种类数据集n中第i张图片和第j张图片构成的图像对的关系特征；
[0016]然后冻结鉴别器，使相似度网络的关系分类损失最小化，鉴别器的对抗损失最大化，分类损失的计算公式为：
[0017][0018]其中，L
G
为分类损失，β为权衡参数，c
i,j
为关系类别标签，为基础种类数据集b中第i张图片和第j张图片之间的相似度分数。
[0019]在一个实施例中，采用相似度矩阵训练主分类器，训练后的主分类器，包括：
[0020]采用相似度矩阵计算代价函数权重和正则化损失；
[0021]根据代价函数权重计算加权分类损失；
[0022]根据正则化损失和加权分类损失确定最终的分类损失，采用的计算公式为：
[0023]L
最终
＝L
cls_ω
+αL
reg
[0024]其中，L
最终
为最终的分类损失，L
cls_ω
为加权分类损失，L
reg
为正则化损失，α为超参数；
[0025]当最终的分类损失最小时，得到训练后的主分类器。
[0026]在一个实施例中，代价函数权重，采用以下公式计算：
[0027][0028]其中，ω
c,i
表示第i张图片的代价函数权重，为属于当前处理的非厨余垃圾类型的图片的数量，S
c,i,j
表示第i张图片与第j张图片的相似度分数，S
c,j,i
表示第j张图片与第i张图片的相似度分数；
[0029]正则化损失采用以下公式计算：
[0030][0031]其中，L
reg
为正则化损失，s
i,j
为相似度矩阵S
c
中的每一个元素，h(x
i
)为第i张图片x
i
的图片特征，h(x
j
)为第j张图片x
j
的图片特征。
[0032]在一个实施例中，加权分类损失，采用以下公式计算：
[0033][0034]其中，L
cls_ω
为加权分类损失，为属于当前处理的非厨余垃圾类型的图片的数量，为第i张图片的归一化后的代价函数权重，x
i
为第i张图片，y(x
i
)表示图片x
i
属于其对应的垃圾类型的分类分数。
[0035]第二方面，提供一种基于弱样本的垃圾分类方法，包括：
[0036]将待识别垃圾图片输入到基于弱样本的垃圾分类模型中，得到待识别垃圾图片属于每个垃圾类型的分类分数；
[0037]根据分类分数确定待识别垃圾图片的垃圾类型；
[0038]基于弱样本的垃圾分类模型为根据权利要求1
‑
5中任意一项权利要求得到的。
[0039]第三方面，提供一种基于弱样本学习的垃圾分类模型构建装置，包括：
[0040]基础种类数据集获取模块，用于对属于厨余垃圾类型的多张图片进行强标注，得到基础种类数据集；
[0041]新种类数据集获取模块，用于对属于非厨余垃圾类型的多张图片进行弱标注，得到新种类数据集；非厨余垃圾类型包括可回收物垃圾类型、有害垃圾类型和其他垃圾类型；
[0042]图片特征提取模块，用于基于主干网络提取基础种类数据集中图片的图片特征以及新种类数据集中图片的图片特征；
[0043]相似度网络训练模块，用于将基础种类数据集中图片的图片特征以及新种类数据集中图片的图片特征输入到相似度网络，基于鉴别器对相似度网络进行训练，得到训练后的相似度网络；
[0044]主分类器训练模块，用于针对每个非厨余垃圾类型，基于训练后的相似度网络计算属于非厨余垃圾类型的图片中任意两张图片之间的相似度，得到非厨余垃圾类型对应的相似度矩阵；采用相似度矩阵训练主分类器，得到训练后的主分类器；
[0045]模型构成模块，用于主干网络、训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于弱样本学习的垃圾分类模型构建方法，其特征在于，包括：对属于厨余垃圾类型的多张图片进行强标注，得到基础种类数据集；对属于非厨余垃圾类型的多张图片进行弱标注，得到新种类数据集；所述非厨余垃圾类型包括可回收物垃圾类型、有害垃圾类型和其他垃圾类型；基于主干网络提取所述基础种类数据集中图片的图片特征以及所述新种类数据集中图片的图片特征；将所述基础种类数据集中图片的图片特征以及所述新种类数据集中图片的图片特征输入到相似度网络，基于鉴别器对所述相似度网络进行训练，得到训练后的相似度网络；针对每个非厨余垃圾类型，基于所述训练后的相似度网络计算属于所述非厨余垃圾类型的图片中任意两张图片之间的相似度，得到所述非厨余垃圾类型对应的相似度矩阵；采用所述相似度矩阵训练主分类器，得到训练后的主分类器；所述主干网络、所述训练后的相似度网络和所述训练后的主分类器构成基于弱样本学习的垃圾分类模型。2.如权利要求1所述的方法，其特征在于，所述基于鉴别器对所述相似度网络进行训练，包括：先冻结相似度网络，使鉴别器的对抗损失最小化，对抗损失的计算公式为：其中，L
D
为对抗损失，M为输入图片的批处理大小，为关系特征为时的鉴别器评分，为基础种类数据集b中第i张图片和第j张图片构成的图像对的关系特征，为关系特征为时的鉴别器评分，为新种类数据集n中第i张图片和第j张图片构成的图像对的关系特征；然后冻结鉴别器，使相似度网络的关系分类损失最小化，鉴别器的对抗损失最大化，分类损失的计算公式为：其中，L
G
为分类损失，β为权衡参数，c
i,
为关系类别标签，为基础种类数据集b中第i张图片和第j张图片之间的相似度分数。3.如权利要求1所述的方法，其特征在于，所述采用所述相似度矩阵训练主分类器，训练后的主分类器，包括：采用所述相似度矩阵计算代价函数权重和正则化损失；根据所述代价函数权重计算加权分类损失；根据所述正则化损失和所述加权分类损失确定最终的分类损失，采用的计算公式为：L
最终
＝L
cls_
+αL
reg
其中，L
最终
为最终的分类损失，L
cls_ω
为加权分类损失，L
reg
为正则化损失，α为超参数；当所述最终的分类损失最小时，得到训练后的主分类器。4.如权利要求3所述的方法，其特征在于，所述代价函数权重，采用以下公式计算：其中，ω
c,
表示第i张图片的代价函数权重，为属于当前处理的非厨余垃圾类型的图片的数量，S
c,,
表示第i张图片与第j张图片的相似度分数，S
c,,
表示第j张图片与第i张图片的相似度分数；所述正则化损失采用以下公式计算：其中，L
reg
为正则化损失，s
i,
为相似度矩阵S
c
中的每一个元素，h(
i
)为第i张图片x
i
的图片特征，h(
j
)为第j张图片x
j
的图片特征。5.如权利要求3所述的方法，其特征在于，所述加权分类损失，采用以下公式计算：其中，L
cls_
为加权分类损失，为属于当前处理的非厨余垃圾类型的图片的数量，为第i张图片的归一化后的代价函数权重，x
i
为第i张图片，y(
i
)表示图片x
i
属于其对应的垃圾类型的分类分数。6.一种基于弱样本的垃圾分类方法，其特征在于，包...

【专利技术属性】
技术研发人员：杨建锋，颜辰航，高岭，张帆，刘瑞献，愉滨铨，
申请(专利权)人：西北大学，
类型：发明
国别省市：