图像处理方法、电子设备以及存储介质技术

本申请公开了一种图像处理方法、电子设备以及存储介质，该图像处理方法包括：获取训练图像及其类别响应图；将所述类别响应图进行分割，以得到多个类别的分类响应图；对每个类别分类响应图进行变异系数平滑处理，以得到每个类别的平滑分类响应图；利用所述每个类别的平滑分类响应图以及所述训练图像获取每个类别的前景掩码；利用所述每个类别的前景掩码获取比例矩阵；基于所述每个类别的前景掩码以及所述比例矩阵生成伪掩码图像。本申请通过图像处理方法提高生成伪掩码的质量。理方法提高生成伪掩码的质量。理方法提高生成伪掩码的质量。

【技术实现步骤摘要】
图像处理方法、电子设备以及存储介质


[0001]本申请涉及图像处理应用
，特别是涉及一种图像处理方法、电子设备以及存储介质。

技术介绍

[0002]语义分割是一项基本的计算机视觉任务，其目的是预测图像的像素级分类结果。然而，与分类和检测等其他任务相比，语义分割需要收集像素级的类别标签，这既耗时又昂贵。
[0003]最近，人们对弱监督语义分割进行了大量研究，该方法利用弱监督语义分割技术，例如图像级分类标签、涂鸦和边界框，试图实现与全监督方法同等的分割性能。
[0004]目前，弱监督分割一般都是基于类别响应图（CAM，class activation mapping）来生成伪掩码。然而，类别响应图通常只在最有辨识度的地方响应，在其他区域会遗漏，即局部响应问题，导致生成的伪掩码质量不高。

技术实现思路

[0005]本申请提供一种图像处理方法、电子设备以及存储介质。
[0006]本申请采用的一个技术方案是提供一种图像处理方法，所述图像处理方法包括：获取训练图像及其类别响应图；将所述类别响应图进行分割，以得到多个类别的分类响应图；对每个类别分类响应图进行变异系数平滑处理，以得到每个类别的平滑分类响应图；利用所述每个类别的平滑分类响应图以及所述训练图像获取每个类别的前景掩码；利用所述每个类别的前景掩码获取比例矩阵；基于所述每个类别的前景掩码以及所述比例矩阵生成伪掩码图像。
[0007]通过上述方式，能够提出具有变异系数平滑的比例伪掩码来生成高质量的伪掩码，提高了伪掩码的生成质量。
[0008]其中，所述对每个类别分类响应图进行变异系数平滑处理，以得到平滑分类响应图，包括：获取每个类别分类响应图的变异系数；将每个类别分类响应图的变异系数作为每个类别的平滑参数；基于每个类别的平滑参数对该类别分类响应图中的像素进行平滑处理，以得到该类别的平滑分类响应图。
[0009]通过上述方式，能够利用变异系数平滑处理扩展类别分类响应图的激活区域，以克服基于类别响应图的部分响应问题。
[0010]其中，所述获取每个类别分类响应图的变异系数，包括：
获取每个类别分类响应图的置信度分布；基于所述置信度分布以及预设阈值获取每个类别分类响应图的置信度偏差以及置信度平均值；利用所述置信度偏差以及所述置信度平均值获取所述变异系数。
[0011]通过上述方式，通过提供一种具体的变异系数平滑处理方式，能够有效扩展目标对象的激活区域。
[0012]其中，所述利用所述每个类别的平滑分类响应图以及所述训练图像获取每个类别的前景掩码，包括：获取每个类别平滑分类响应图中的类特定背景；利用预设算法以及所述训练图像获取每个类别类特定背景中的前景二进制掩码，并结合所有类别的前景二进制掩码组成前景矩阵。
[0013]通过上述方式，通过前景矩阵表征前景位置的重要性。
[0014]其中，所述利用所述每个类别的前景掩码获取比例矩阵，包括：利用所述每个类别类特定背景中的前景二进制掩码获取类别前景分数；获取所述训练图像中每个像素的像素类别分数；获取所有类别的类别前景分数总和；基于所述像素类别分数以及类别前景分数总和，获取所述比例矩阵。
[0015]通过上述方式，能够通过比例矩阵独立计算每个类别的每个位置的重要性。
[0016]其中，所述基于所述每个类别的前景掩码以及所述比例矩阵生成伪掩码图像，包括：按照所述训练图像的通道维度对所述前景矩阵的元素与所述比例矩阵的元素进行乘法运算，以生成所述伪掩码图像。
[0017]通过上述方式，能够通过按比例的伪掩码生成，优化了从类别响应图到伪掩码的过程。
[0018]其中，所述图像处理方法，还包括：对所述类别响应图进行归一化处理；所述将所述类别响应图进行分割，以得到多个类别的分类响应图的步骤，包括：对归一化后的类别响应图进行分割，以得到多个类别的分类响应图。
[0019]通过上述方式，能够对归纳统一类别响应图的统计分布性。
[0020]其中，所述图像处理方法还包括：将所述伪掩码图像输入预设分割模型，并获取训练所述伪掩码图像得到的损失均值；在所述损失均值小于预设损失阈值的情况下，采用预设策略对所述损失均值进行处理；利用处理后的损失均值对所述预设分割模型进行训练。
[0021]通过上述方式，能够利用通过对分割模型的损失值进行调整，以解决伪掩码图像的噪声问题。
[0022]其中，所述采用预设策略对所述损失均值进行处理，包括：在所述损失均值大于等于预设阈值的情况下，将所述损失均值设置为所述预设阈
值；或者，利用所述预设阈值对所述损失均值进行缩放处理；或者，在所述损失均值大于等于所述预设阈值的情况下，将所述损失均值置0。
[0023]通过上述方式，能够利用不完全拟合策略对分割模型进行调整，提高分割部分的抗噪声性能。
[0024]其中，所述图像训练方法还包括：获取所述预设分割模型输出的伪掩码图像；将所述输出的伪掩码图像作为所述预设分割模型下一次训练的输入。
[0025]通过上述方式，通过使用分割模型的输出作为新的伪掩码输入，即循环伪掩码，从而提升训练标注的质量。
[0026]本申请采用的另一个技术方案是提供一种电子设备，所述电子设备包括：获取模块，用于获取训练图像及其类别响应图；分割模块，用于将类别响应图进行分割，以得到多个类别的分类响应图；处理模块，用于对每个类别分类响应图进行变异系数平滑处理，以得到每个类别的平滑分类响应图；计算模块，用于利用所述每个类别的平滑分类响应图以及所述训练图像获取每个类别的前景掩码，还用于利用所述每个类别的前景掩码获取比例矩阵；生成模块，用于基于所述每个类别的前景掩码以及所述比例矩阵生成伪掩码图像本申请采用的另一个技术方案是提供一种电子设备，所述电子设备包括存储器以及与所述存储器耦接的处理器；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的图像处理方法。
[0027]本申请采用的另一个技术方案是提供一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如上述的图像处理方法。
[0028]本申请的有益效果是：电子设备获取训练图像及其类别响应图；将类别响应图进行分割，以得到多个类别的分类响应图；对每个类别分类响应图进行变异系数平滑处理，以得到每个类别的平滑分类响应图；利用每个类别的平滑分类响应图以及训练图像获取每个类别的前景掩码；利用每个类别的前景掩码获取比例矩阵；基于每个类别的前景掩码以及比例矩阵生成伪掩码图像。本申请的图像处理方法提出具有变异系数平滑的比例伪掩码来生成高质量的伪掩码，提高了伪掩码的生成质量。
附图说明
[0029]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述图像处理方法包括：获取训练图像及其类别响应图；将所述类别响应图进行分割，以得到多个类别的分类响应图；对每个类别分类响应图进行变异系数平滑处理，以得到每个类别的平滑分类响应图；利用所述每个类别的平滑分类响应图以及所述训练图像获取每个类别的前景掩码；利用所述每个类别的前景掩码获取比例矩阵；基于所述每个类别的前景掩码以及所述比例矩阵生成伪掩码图像。2.根据权利要求1所述的图像处理方法，其特征在于，所述对每个类别分类响应图进行变异系数平滑处理，以得到平滑分类响应图，包括：获取每个类别分类响应图的变异系数；将每个类别分类响应图的变异系数作为每个类别的平滑参数；基于每个类别的平滑参数对该类别分类响应图中的像素进行平滑处理，以得到该类别的平滑分类响应图。3.根据权利要求2所述的图像处理方法，其特征在于，所述获取每个类别分类响应图的变异系数，包括：获取每个类别分类响应图的置信度分布；基于所述置信度分布以及预设阈值获取每个类别分类响应图的置信度偏差以及置信度平均值；利用所述置信度偏差以及所述置信度平均值获取所述变异系数。4.根据权利要求1至3任一项所述的图像处理方法，其特征在于，所述利用所述每个类别的平滑分类响应图以及所述训练图像获取每个类别的前景掩码，包括：获取每个类别平滑分类响应图中的类特定背景；利用预设算法以及所述训练图像获取每个类别类特定背景中的前景二进制掩码，并结合所有类别的前景二进制掩码组成前景矩阵。5.根据权利要求4所述的图像处理方法，其特征在于，所述利用所述每个类别的前景掩码获取比例矩阵，包括：利用所述每个类别类特定背景中的前景二进制掩码获取类别前景分数；获取所述训练图像中每个像素的像素类别分数；获取所有类别的类别前景分数总和；基于所述像素类别分数以及类别前景分数总和，获取所述比例矩阵。6.根据权利要求5所述的图像处理方法，其特征在于，所述基于所述每个类别的前景掩码以及所述比例矩阵生成伪掩码图像，包括：按照所述训练图像的通道维度对所述前景矩阵的元素与所述比例矩阵的元素进行乘法运算，以生成所述伪掩码图像。7.根据权利要求1所...

【专利技术属性】
技术研发人员：李艺，旷章辉，陈益民，张伟，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：