弱监督语义分割方法、装置、设备和存储介质制造方法及图纸

本申请涉及一种弱监督语义分割方法、装置、设备和存储介质，通过根据图像的编码特征生成类别概率，通过类别概率与类别标签构建第一损失函数；通过编码特征以及图像像素的颜色距离与空间距离，获得图像的不确定性分布数据与伪标签，根据不确定性分布数据构建第二损失函数；根据图像中对应于不同伪标签的多个像素集合，构建第三损失函数。根据第一损失函数、第二损失函数以及第三损失函数，生成总损失，根据总损失调节分类网络模型与分割网络模型的模型参数，并根据分类结果得到语义分割结果，针对伪标签的不确定性问题进行了优化，从而解决了图像语义分割的准确率较低的问题，提高了图像语义分割的准确率。图像语义分割的准确率。图像语义分割的准确率。

【技术实现步骤摘要】
弱监督语义分割方法、装置、设备和存储介质


[0001]本申请涉及图像语义分割领域，特别是涉及一种弱监督语义分割方法、装置、设备和存储介质。

技术介绍

[0002]语义分割在自动驾驶、遥感等多项计算机视觉任务中都发挥着不可替代的作用。近年来，得益于深度学习的快速发展，语义分割领域取得了很大的进步。在语义分割中，数据标注的目的是在监督学习中使机器明确标记对象的类别或属性。由于语义分割需要像素级的分类，然而像素级别的标注成本十分昂贵，迫使研究者需要探索更加廉价的标注来实现语义分割。图像级别的标注成本低且易获得，但其属于弱监督标注，在弱监督标注下实现语义分割需要进行优化。
[0003]现有技术中，针对弱监督语义分割算法，主要是先训练分类模型生成类激活图，再基于类激活图构建伪标签实现全监督语义分割。然而，基于类激活图生成的伪标签可能会因为类激活图的过度激活或局部激活的问题，引入一定比例的错误信息。利用存在错误的伪标签训练出的分割模型，必然也会不可避免地存在错误，导致分割效果受限。
[0004]现有技术中，对于图像语义分割的准确率较低的问题，暂未提出有效的解决办法。

技术实现思路

[0005]本申请实施例提供了一种弱监督语义分割方法、装置、设备和存储介质，以解决现有技术中图像语义分割的准确率较低的问题。
[0006]第一方面，本申请实施例提供了一种弱监督语义分割方法，包括：将图像输入至分类网络模型，得到所述图像的编码特征；根据所述编码特征生成类别概率，根据所述类别概率与类别标签，构建第一损失函数，其中，所述类别概率表示所述图像的每个像素在不同所述类别标签下的概率；根据所述编码特征以及所述图像中像素的颜色距离与空间距离，获得所述图像的不确定性分布数据与伪标签，其中，所述不确定性分布数据包括表示所述图像的每个像素在不同所述类别标签下概率的不确定性；根据所述不确定性分布数据，构建第二损失函数；获取所述图像中对应于不同所述伪标签的多个像素集合，根据所述像素集合中像素在所述编码特征上的位置，构建第三损失函数；根据所述第一损失函数、所述第二损失函数以及所述第三损失函数，生成总损失，根据所述总损失调节所述分类网络模型与分割网络模型的模型参数；将所述分类网络模型输出的分类结果输入至所述分割网络模型，得到语义分割结果。
[0007]在其中一些实施例中，将图像输入至待训练的分类网络模型，得到所述图像的编码特征包括：
将宽度为第一宽度，高度为第一高度的所述图像送入基础网络，生成宽度为第二宽度，高度为第二高度，深度为第一深度的所述编码特征。
[0008]在其中一些实施例中，在获得所述图像的不确定性分布数据与伪标签之前，所述方法还包括：计算第一区域内所述图像像素的颜色方差与位置方差；根据所述颜色方差与所述位置方差，计算所述图像像素的颜色距离与空间距离；根据所述颜色距离与所述空间距离，计算不同像素之间的像素关联数据。
[0009]在其中一些实施例中，获得所述图像的不确定性分布数据包括：将所述编码特征输入至分类器，得到类激活矩阵；根据所述类激活矩阵与所述像素关联数据，得到类关联激活矩阵；根据所述类关联激活矩阵与所述类别标签的长度，计算所述不确定性分布数据。
[0010]在其中一些实施例中，在获得所述图像的不确定性分布数据之后，所述方法还包括：将所述类关联激活矩阵进行归一化，计算归一化后的所述类关联激活矩阵中最大值对应的类别系数；获取独热编码形式的类别标签，根据所述类关联激活矩阵、所述类别系数与独热编码形式的所述类别标签，构建第二损失函数。
[0011]在其中一些实施例中，构建第三损失函数包括：基于所述伪标签，将所述图像中的像素划分至不同伪标签对应类别的所述像素集合中；随机抽取相同的所述像素集合中的两个像素，构建同类像素对；随机抽取不同的所述像素集合中的两个像素，构建异类像素对；根据所述同类像素对与所述异类像素对在所述编码特征上的位置，计算对比损失值，其中，所述对比损失值表示所述同类像素对之间的距离与所述异类像素之间相对距离的差值；根据随机抽取的所述像素的像素位置数目与所述对比损失值，构建第三损失函数。
[0012]在其中一些实施例中，将所述分类网络模型输出的分类结果输入至所述分割网络模型，得到语义分割结果包括：将所述分类结果输入至所述分割网络模型；根据所述不确定性分布数据、所述伪标签以及所述分割概率，构建分割损失函数；根据所述分割损失函数，对所述分割网络进行全监督分割训练，得到所述语义分割结果。
[0013]第二方面，本申请实施例提供了一种弱监督语义分割装置，包括：输入模块，用于将图像输入至分类网络模型，得到所述图像的编码特征；第一损失计算模块，用于根据所述编码特征生成类别概率，根据所述类别概率与类别标签，构建第一损失函数，其中，所述类别概率表示所述图像的每个像素在不同所述类别标签下的概率；第二损失计算模块，用于根据所述编码特征以及所述图像中像素的颜色距离与空
间距离，获得所述图像的不确定性分布数据与伪标签，其中，所述不确定性分布数据包括表示所述图像的每个像素在不同所述类别标签下概率的不确定性，根据所述不确定性分布数据，构建第二损失函数；第三损失计算模块，用于获取所述图像中对应于不同所述伪标签的多个像素集合，根据所述像素集合中像素在所述编码特征上的位置，构建第三损失函数；结果计算模块，用于根据所述第一损失函数、所述第二损失函数以及所述第三损失函数，生成总损失，根据所述总损失调节所述分类网络模型与分割网络模型的模型参数，将所述分类网络模型输出的分类结果输入至所述分割网络模型，得到语义分割结果。
[0014]第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的弱监督语义分割方法的步骤。
[0015]第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面中任一项所述的弱监督语义分割方法的步骤。
[0016]相比于相关技术，本申请实施例提供的弱监督语义分割方法、装置、设备和存储介质，通过根据图像的编码特征生成类别概率，通过类别概率与类别标签构建第一损失函数；通过编码特征以及图像像素的颜色距离与空间距离，获得图像的不确定性分布数据与伪标签，根据不确定性分布数据构建第二损失函数；根据图像中对应于不同伪标签的多个像素集合，构建第三损失函数。根据第一损失函数、第二损失函数以及第三损失函数，生成总损失，根据总损失调节分类网络模型与分割网络模型的模型参数，并根据分类结果得到语义分割结果，针对伪标签的不确定性问题进行了优化，从而解决了图像语义分割的准确率较低的问题，提高了图像语义分割的准确率。
[0017]本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
[0018]此处所说明的附图用来提供对本申请的进一步理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种弱监督语义分割方法，其特征在于，包括：将图像输入至分类网络模型，得到所述图像的编码特征；根据所述编码特征生成类别概率，根据所述类别概率与类别标签，构建第一损失函数，其中，所述类别概率表示所述图像的每个像素在不同所述类别标签下的概率；根据所述编码特征以及所述图像中像素的颜色距离与空间距离，获得所述图像的不确定性分布数据与伪标签，其中，所述不确定性分布数据包括表示所述图像的每个像素在不同所述类别标签下概率的不确定性；根据所述不确定性分布数据，构建第二损失函数；获取所述图像中对应于不同所述伪标签的多个像素集合，根据所述像素集合中像素在所述编码特征上的位置，构建第三损失函数；根据所述第一损失函数、所述第二损失函数以及所述第三损失函数，生成总损失，根据所述总损失调节所述分类网络模型与分割网络模型的模型参数；将所述分类网络模型输出的分类结果输入至所述分割网络模型，得到语义分割结果。2.根据权利要求1所述的弱监督语义分割方法，其特征在于，将图像输入至分类网络模型，得到所述图像的编码特征包括：将宽度为第一宽度，高度为第一高度的所述图像送入基础网络，生成宽度为第二宽度，高度为第二高度，深度为第一深度的所述编码特征。3.根据权利要求1所述的弱监督语义分割方法，其特征在于，在获得所述图像的不确定性分布数据与伪标签之前，所述方法还包括：计算第一区域内所述图像像素的颜色方差与位置方差；根据所述颜色方差与所述位置方差，计算所述图像像素的颜色距离与空间距离；根据所述颜色距离与所述空间距离，计算不同像素之间的像素关联数据。4.根据权利要求3所述的弱监督语义分割方法，其特征在于，获得所述图像的不确定性分布数据包括：将所述编码特征输入至分类器，得到类激活矩阵；根据所述类激活矩阵与所述像素关联数据，得到类关联激活矩阵；根据所述类关联激活矩阵与所述类别标签的长度，计算所述不确定性分布数据。5.根据权利要求4中所述的弱监督语义分割方法，其特征在于，在获得所述图像的不确定性分布数据之后，所述方法还包括：将所述类关联激活矩阵进行归一化，计算归一化后的所述类关联激活矩阵中最大值对应的类别系数；获取独热编码形式的类别标签，根据所述类关联激活矩阵、所述类别系数与独热编码形式的所述类别标签，构建第二损失函数。6.根据权利要求1所述的弱监督语义分割方法，其特征在于，构建第三损失函数包括：基于所述伪标签，...

【专利技术属性】
技术研发人员：苏慧，卢修生，胡丹青，郭蕊，
申请(专利权)人：之江实验室，
类型：发明
国别省市：