一种固态废弃物的识别方法、系统、设备及存储介质技术方案

本发明专利技术公开一种固态废弃物的识别方法、系统、设备及存储介质，涉及语义分割技术领域，所述方法包括：将目标图像输入第一分类模型中，得到第一类激活映射图和第二类激活映射图；根据第一类激活映射图，计算背景的第一目标类激活映射图；根据第一类激活映射图和第二类激活映射图，计算背景的第二目标类激活映射图；基于第一目标类激活映射图、第一类激活映射图、第二类激活映射图和第二目标类激活映射图，确定目标亲和力标签；将目标图像和目标亲和力标签输入至固态废弃物伪标签生成模型中，得到固态废弃物伪标签，从而训练全监督语义分割神经网络，得到目标固态废弃物识别模型，识别目标图像中的固态废弃物，提高了固体废弃物的识别精度。精度。精度。

【技术实现步骤摘要】
一种固态废弃物的识别方法、系统、设备及存储介质


[0001]本专利技术涉及语义分割
，特别是涉及一种固态废弃物的识别方法、系统、设备及存储介质。

技术介绍

[0002]语义分割是如今计算机视觉领域的关键问题之一，它使得完整理解场景成为了可能。随着自动驾驶技术、医疗技术等领域的不断进步，人们对不同场景的语义分割数据集提出了更高的要求。但是，构建语义分割数据集需要对数据集的每张图像进行像素级的标注。而对像素级的标注是一项劳动密集型的工作，需要投入大量的人力和时间成本。
[0003]弱监督语义分割技术是以点、涂鸦、矩形方框或类标签作为图像级标注信息的数据集为基础生成伪标签，从而构成像素级标注的语义分割数据集，点、涂鸦、矩形方框或类标签标注相较于像素级的标注更易于获得，能够节省大量的时间和人力资源开销。
[0004]然而，目前弱监督语义分割技术依然有一定的局限性。现存的弱监督语义分割模型往往对显著目标物体的分割有比较好的表现，但对于稀疏目标物体的分割表现往往不尽如人意。并且一些目标物体(如目标固态废弃物)极难与目标背景进行区分，有时甚至难以界定目标物体的类别，例如：白色塑料垃圾和石块的区分；在房屋周围堆积的杂物的类别判定。这也会导致弱监督语义分割模型对目标物体的误判或者漏判，边界界定的准确性下降，从而导致对于固态废弃物的识别精度较低。

技术实现思路

[0005]本专利技术的目的是提供一种固态废弃物的识别方法、系统、设备及存储介质，提高了固态废弃物的识别精度。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种固态废弃物的识别方法，所述方法包括：
[0008]获取目标图像；所述目标图像为由采样设备采集的二维彩色图像；
[0009]将所述目标图像输入至第一分类模型中，得到第一类激活映射图和第二类激活映射图；所述第一分类模型基于ResNet
‑
38网络确定；所述第一类激活映射图为所述目标图像中固态废弃物的类激活映射图；所述第二类激活映射图为所述目标图像中实体的类激活映射图；所述实体为所述目标图像中除固态废弃物和背景之外的区域；
[0010]根据第一类激活映射图，计算所述目标图像中背景的第一目标类激活映射图；
[0011]根据所述第一类激活映射图和所述第二类激活映射图，计算所述目标图像中背景的第二目标类激活映射图；
[0012]将所述第一目标类激活映射图、所述第一类激活映射图和所述第二类激活映射图进行拼接，得到目标多类别标签，并利用条件随机场对所述目标多类别标签进行细化，得到目标精制多类别标签；
[0013]将所述第二目标类激活映射图和所述第一类激活映射图进行拼接，得到目标单一
类别标签，并利用条件随机场对所述目标单一类别标签进行细化，得到目标精制单一类别标签；
[0014]根据所述目标精制多类别标签和所述目标精制单一类别标签，确定目标亲和力标签；
[0015]将所述目标图像和所述目标亲和力标签输入至固态废弃物伪标签生成模型中，得到所述目标图像中固态废弃物的伪标签；所述固态废弃物伪标签生成模型基于ResNet
‑
38网络和卷积块注意网络确定；
[0016]基于所述目标图像中固态废弃物的伪标签对全监督语义分割神经网络络进行训练，得到目标固态废弃物识别模型；
[0017]将所述目标图像输入至所述目标固态废弃物识别模型中，识别所述目标图像中的固态废弃物。
[0018]可选地，所述第一分类模型的确定过程，包括：
[0019]获取训练样本；所述训练样本包括：训练图像和训练标签；所述训练图像包括：训练用固态废弃物、训练背景和训练实体；所述训练实体为所述训练图像中除所述训练用固态废弃物和所述训练背景之外的区域，所述训练标签为训练用固态废弃物的标签；
[0020]以所述训练图像为输入，以所述训练用固态废弃物的识别结果为输出，以预设训练次数，对ResNet
‑
38网络进行训练，得到训练好的ResNet
‑
38网络；
[0021]删除所述训练好的ResNet
‑
38网络中的全局均值池化层，得到所述第一分类模型。
[0022]可选地，所述固态废弃物伪标签生成模型的确定过程，包括：
[0023]将所述训练图像数输入至所述第一分类模型中，得到所述训练用固态废弃物的类激活映射图和所述训练实体的类激活映射图；
[0024]根据所述训练用固态废弃物的类激活映射图计算所述训练背景的第一训练类激活映射图；
[0025]根据所述训练用固态废弃物的类激活映射图和所述训练实体的类激活映射图计算所述训练背景的第二训练类激活映射图；
[0026]将所述第一训练类激活映射图、所述训练用固态废弃物的类激活映射图和所述训练实体的类激活映射图进行拼接，得到训练多类别标签，并利用条件随机场对所述训练多类别标签进行细化，得到训练精制多类别标签；
[0027]将所述第二训练类激活映射图和所述训练用固态废弃物的类激活映射图进行拼接，得到训练单一类别标签，并利用条件随机场对所述训练单一类别标签进行细化，得到训练精制单一类别标签；
[0028]根据所述训练精制多类别标签和所述训练精制单一类别标签，确定训练亲和力标签；
[0029]确定所述训练亲和力标签的成对标签；所述成对标签包括：正相关成对标签、负相关成对标签和背景成对标签；
[0030]根据所述成对标签确定交叉损失函数；
[0031]在ResNet
‑
38网络的最后三个ResBlock模块中均插入一个所述卷积块注意网络，得到注意力亲和网络；
[0032]以所述训练样本和所述训练亲和力标签为输入，以所述交叉损失函数为约束，对
所述注意力亲和网络进行训练，得到所述固态废弃物伪标签生成模型。
[0033]一种固态废弃物的识别系统，所述系统包括：
[0034]目标图像获取模块，用于获取目标图像；所述目标图像为由采样设备采集的二维彩色图像；
[0035]第一分类模块，用于将所述目标图像输入至第一分类模型中，得到第一类激活映射图和第二类激活映射图；所述第一分类模型基于ResNet
‑
38网络确定；所述第一类激活映射图为所述目标图像中固态废弃物的类激活映射图；所述第二类激活映射图为所述目标图像中实体的类激活映射图；所述实体为所述目标图像中除固态废弃物和背景之外的区域；
[0036]第一目标类激活映射图确定模块，用于根据第一类激活映射图，计算所述目标图像中背景的第一目标类激活映射图；
[0037]第二目标类激活映射图确定模块，用于根据所述第一类激活映射图和所述第二类激活映射图，计算所述目标图像中背景的第二目标类激活映射图；
[0038]目标精制多类别标签确定模块，用于将所述第一目标类激活映射图、所述第一类激活映射图和所述第二类激活映射图进行拼接，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种固态废弃物的识别方法，其特征在于，所述方法包括：获取目标图像；所述目标图像为由采样设备采集的二维彩色图像；将所述目标图像输入至第一分类模型中，得到第一类激活映射图和第二类激活映射图；所述第一分类模型基于ResNet
‑
38网络确定；所述第一类激活映射图为所述目标图像中固态废弃物的类激活映射图；所述第二类激活映射图为所述目标图像中实体的类激活映射图；所述实体为所述目标图像中除固态废弃物和背景之外的区域；根据第一类激活映射图，计算所述目标图像中背景的第一目标类激活映射图；根据所述第一类激活映射图和所述第二类激活映射图，计算所述目标图像中背景的第二目标类激活映射图；将所述第一目标类激活映射图、所述第一类激活映射图和所述第二类激活映射图进行拼接，得到目标多类别标签，并利用条件随机场对所述目标多类别标签进行细化，得到目标精制多类别标签；将所述第二目标类激活映射图和所述第一类激活映射图进行拼接，得到目标单一类别标签，并利用条件随机场对所述目标单一类别标签进行细化，得到目标精制单一类别标签；根据所述目标精制多类别标签和所述目标精制单一类别标签，确定目标亲和力标签；将所述目标图像和所述目标亲和力标签输入至固态废弃物伪标签生成模型中，得到所述目标图像中固态废弃物的伪标签；所述固态废弃物伪标签生成模型基于ResNet
‑
38网络和卷积块注意网络确定；基于所述目标图像中固态废弃物的伪标签对全监督语义分割神经网络络进行训练，得到目标固态废弃物识别模型；将所述目标图像输入至所述目标固态废弃物识别模型中，识别所述目标图像中的固态废弃物。2.根据权利要求1所述的固态废弃物的识别方法，其特征在于，所述第一分类模型的确定过程，包括：获取训练样本；所述训练样本包括：训练图像和训练标签；所述训练图像包括：训练用固态废弃物、训练背景和训练实体；所述训练实体为所述训练图像中除所述训练用固态废弃物和所述训练背景之外的区域，所述训练标签为训练用固态废弃物的标签；以所述训练图像为输入，以所述训练用固态废弃物的识别结果为输出，以预设训练次数，对ResNet
‑
38网络进行训练，得到训练好的ResNet
‑
38网络；删除所述训练好的ResNet
‑
38网络中的全局均值池化层，得到所述第一分类模型。3.根据权利要求2所述的固态废弃物的识别方法，其特征在于，所述固态废弃物伪标签生成模型的确定过程，包括：将所述训练图像数输入至所述第一分类模型中，得到所述训练用固态废弃物的类激活映射图和所述训练实体的类激活映射图；根据所述训练用固态废弃物的类激活映射图计算所述训练背景的第一训练类激活映射图；根据所述训练用固态废弃物的类激活映射图和所述训练实体的类激活映射图计算所述训练背景的第二训练类激活映射图；将所述第一训练类激活映射图、所述训练用固态废弃物的类激活映射图和所述训练实
体的类激活映射图进行拼接，得到训练多类别标签，并利用条件随机场对所述训练多类别标签进行细化，得到训练精制多类别标签；将所述第二训练类激活映射图和所述训练用固态废弃物的类激活映射图进行拼接，得到训练单一类别标签，并利用条件随机场对所述训练单一类别标签进行细化，得到训练精制单一类别标签；根据所述训练精制多类别标签和所述训练精制单一类别标签，确定训练亲和力标签；确定所述训练亲和力标签的成对标签；所述成对标签包括：正相关成对标签、负相关成对标签和背景成对标签；根据所述成对标签确定交叉损失函数；在ResNet
‑
38网络的最后三个ResBlock模块中均插入一个所述卷积块注意网络，得到注意力亲和网络；以所述训练样本和所述训练亲和力标签为输入，以所述交叉损失函数为约束，对所述注意力亲和网络进行训练，得到所述固态废弃物伪标签生成模型。4.一种固态废弃物的识别系统，其特征在于，所述系统包括：目标图像获取模块，用于获取目标图像；所述目标图像为由采样设备采集的二维彩色图像；第一分类模块，用于将所述目标图像输入至第一分类模型中，得到第一类激活映射图和第二类激活映射图；所述第一分类模型基于ResNet
‑
38网络确定；所述第一类激活映射图为所述目标图像中固态废弃物的类激活映射图；所述第二类激活映射图为所述目标图像中实体的类激活映射图；所述实体为所述目标图像中除固态废弃物和背景之外的区域；第一目标类激活映射图确定模块，用于根据第一...

【专利技术属性】
技术研发人员：王思瑜，刘洋，勾鹏，聂维，周天宇，欧阳宁雷，张学鹏，王朋，
申请(专利权)人：南湖实验室，
类型：发明
国别省市：