图像损失值的确定方法、装置、存储介质及程序产品制造方法及图纸

本申请实施例公开了一种图像损失值的确定方法、装置、存储介质及程序产品，属于图像压缩技术领域。该方法为：基于图像的分区指示图确定图像在不同区域的损失值，进而基于不同区域的损失值确定总损失值。这是一种空域自适应损失确定方案。由于图像中结构化较强和较弱的区域可通过分区指示图进行区分，即分区指示图可用于区分边缘结构和纹理，因此，后续在利用该总损失值优化图像编解码网络时，能够使得边缘结构和纹理的重建质量均得到满足，且能够尽量避免对不同区域的优化效果产生相互制约；在将该总损失值用于评价图像重建质量时，能够更全面地评价图像重建质量，且能够尽量避免对边缘结构和纹理的重建质量的评价受到互相影响。缘结构和纹理的重建质量的评价受到互相影响。缘结构和纹理的重建质量的评价受到互相影响。

【技术实现步骤摘要】
图像损失值的确定方法、装置、存储介质及程序产品
[0001]本申请要求于2021年9月18日提交的申请号为202111100885.9、专利技术名称为“图像损失值的确定方法、装置、存储介质及程序产品”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。


[0002]本申请实施例涉及图像压缩
，特别涉及一种图像损失值的确定方法、装置、存储介质及程序产品。

技术介绍

[0003]在图像的种类和数据量越来越大的媒体时代，图像压缩对图像的传输和存储有着重要作用。当前，基于深度学习的图像编解码网络被应用于图像压缩中。其中，图像编解码网络需要预先训练，也即需要通过训练来优化图像编解码网络，以提升图像重建质量。而图像编解码网络主要基于损失函数所确定的损失值来进行优化。另外，损失值也可以作为图像重建质量的评价指标。因此，确定图像的损失值在图像压缩
是很重要的。
[0004]相关技术中，先通过图像编解码网络对第一图像进行压缩和解压缩，以得到重建的第二图像。然后，通过损失函数来计算第二图像相对于第一图像的损失值。基于该损失值来优化图像编解码网络，和/或将该损失值作为图像重建质量的评价指标。目前与图像编解码相关的损失函数有很多种，不同的损失函数对应的图像重建质量有所不同。目前人们更注重于以人眼主观感受来评价图像重建质量，人眼主观感受主要考虑图像的边缘结构、纹理等。一些损失函数侧重于提升或评价边缘结构的重建质量，如L1损失函数、L2损失函数等。另一些损失函数侧重于提升或评价纹理的重建质量，例如感知损失函数、生成对抗损失函数等。在一些方案中，使用一种损失函数得到一个损失值。在另一些方案中，使用多种损失函数分别得到重建的第二图像相比于第一图像的多种损失值，将这多种损失值加权求和以得到总损失值。
[0005]然而，在利用损失值来优化图像编解码网络时，使用一种损失函数的方案往往不能使边缘结构和纹理的重建质量均得到满足。使用多种损失函数并通过加权多种损失值的方案，会使各种损失函数对应的优化效果相互制约，从而导致边缘结构和纹理的重建质量均受到限制。在将损失值作为图像重建质量的评价指标时，使用一种损失函数的方案往往不能全面地评价图像重建质量，使用多种损失函数并通过加权多种损失值的方案也会使得对边缘结构和纹理的重建质量的评价受到互相影响。

技术实现思路

[0006]本申请实施例提供了一种图像损失值的确定方法、装置、存储介质及程序产品。本方案是为了解决使用一种损失函数且不分区域地确定损失值而导致边缘区域和纹理区域的重建质量不能够得到满足，以及不能全面评价图像重建质量的技术问题，也是为了解决使用多种损失函数且不分区域地通过加权确定损失值而导致各种损失函数的优化效果相
互制约，以及对边缘结构和纹理的重建质量的评价受到互相影响的技术问题。也即是，本方案在利用损失值优化图像编解码网络时，能够使得边缘结构和纹理的重建质量均得到满足，且能够尽量避免各种损失函数的优化效果的相互制约；在将损失值用于评价图像重建质量时，能够更全面地评价图像重建质量，且能够尽量避免采用不同的损失函数对边缘结构和纹理的重建质量的评价受到互相影响。所述技术方案如下：
[0007]第一方面，提供了一种图像损失值的确定方法，该方法包括：
[0008]通过图像编解码网络对第一图像进行压缩和解压缩，以得到第二图像，第二图像为第一图像的重建图像；确定第一图像的分区指示图；基于该分区指示图，按照至少一种损失函数，确定第二图像相比于第一图像在不同区域的损失值；基于不同区域的损失值，确定第二图像相比于第一图像的总损失值。
[0009]本方案是一种空域自适应损失确定方案。由于图像中结构化较强和较弱的区域能够通过分区指示图进行区分，即分区指示图可用于区分边缘结构和纹理，因此，后续在利用该总损失值优化图像编解码网络时，能够使得边缘结构和纹理的重建质量均得到满足，且能够尽量避免对不同区域的优化效果产生相互制约。在将该总损失值用于评价图像重建质量时，能够更全面地评价图像重建质量，且能够尽量避免对边缘结构和纹理的重建质量的评价受到互相影响。
[0010]其中，分区指示图指示第一类区域和第二类区域。可选地，分区指示图为图像梯度图，第一类区域包括结构化区域，第二类区域包括非结构化区域。可选地，图像梯度图为以梯度掩码表示的梯度图，结构化区域对应图像梯度图中梯度掩码为1的区域。以梯度掩码来表示图像梯度图的话，能够提高计算机设备的处理效率。可以理解，本方案提供了一种基于图像梯度的空域自适应损失确定方案，通过图像梯度图来指示图像的不同区域，不同区域包括了结构化区域和非结构化区域。
[0011]可选地，分区指示图为图像分割掩码图，第一类区域包括目标对象所在的区域，第二类区域包括非目标对象所在的区域。可选地，第一类区域包括目标对象的人脸区域。也即是，本方案提供了一种基于图像分割(或者说目标检测)的空域自适应损失确定方案，通过图像分割掩码图来指示图像中的不同区域，如人脸区域和非人脸区域。需要说明的是，图像中的人脸区域在一定程度上也是结构信息较强的区域，可视为主体区域，通常需要保证主体区域的边缘重建质量，以使人脸轮廓清晰。而图像中除人脸区域之外的区域通常是结构信息较弱的区域，可视为背景区域，通常需要保证背景区域的纹理重建质量。
[0012]简单来说，无论是图像梯度图还是图像分割掩码图，都能够在一定程度上区分结构信息较强的区域和结构信息较弱的区域。
[0013]可选地，不同区域的损失值包括第一损失值和第二损失值；基于该分区指示图，按照至少一种损失函数，确定第二图像相比于第一图像在不同区域的损失值，包括：基于该分区指示图，按照第一损失函数，确定第二图像中第一类区域相比于第一图像中第一类区域的损失值，以得到第一损失值；基于该分区指示图，按照第二损失函数，确定第二图像中第二类区域相比于第一图像中第二类区域的损失值，以得到第二损失值。也即是，计算机设备分别确定第一类区域和第二类区域的损失值。其中，在分区指示图为图像梯度图的情况下，计算机设备即分别确定结构化区域和非结构化区域的损失值。在分区指示图为图像分割掩码图的情况下，计算机设备即分别确定目标对象所在的区域和非目标对象所在的区域的损
失值。
[0014]可选地，基于该分区指示图，按照第二损失函数，确定第二图像中第二类区域相比于第一图像中第二类区域的损失值，以得到第二损失值，包括：基于该分区指示图，将第二图像中的第一类区域替换为第一图像中的第一类区域，以得到第三图像；按照第二损失函数，确定第三图像相比于第一图像的损失值，以得到第二损失值。也即是，通过真值替换的方式，使得第三图像与第一图像在第一类区域无差异，从而使第二损失函数作用到第一类区域。
[0015]可选地，基于该分区指示图，按照第二损失函数，确定第二图像中第二类区域相比于第一图像中第二类区域的损失值，以得到第二损失值，包括：基于该分区指示图，将第一图像中的第一类区域替换为第二图像中的第一类区域，以得到第四图像；按照第二损失函数，确定第二图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像损失值的确定方法，其特征在于，所述方法包括：通过图像编解码网络对第一图像进行压缩和解压缩，以得到第二图像，所述第二图像为所述第一图像的重建图像；确定所述第一图像的分区指示图；基于所述分区指示图，按照至少一种损失函数，确定所述第二图像相比于所述第一图像在不同区域的损失值；基于所述不同区域的损失值，确定所述第二图像相比于所述第一图像的总损失值。2.如权利要求1所述的方法，其特征在于，所述不同区域的损失值包括第一损失值和第二损失值；所述基于所述分区指示图，按照至少一种损失函数，确定所述第二图像相比于所述第一图像在不同区域的损失值，包括：基于所述分区指示图，按照第一损失函数，确定所述第二图像中第一类区域相比于所述第一图像中第一类区域的损失值，以得到所述第一损失值；基于所述分区指示图，按照第二损失函数，确定所述第二图像中第二类区域相比于所述第一图像中第二类区域的损失值，以得到所述第二损失值。3.如权利要求2所述的方法，其特征在于，所述基于所述分区指示图，按照第二损失函数，确定所述第二图像中第二类区域相比于所述第一图像中第二类区域的损失值，以得到所述第二损失值，包括：基于所述分区指示图，将所述第二图像中的第一类区域替换为所述第一图像中的第一类区域，以得到第三图像；按照所述第二损失函数，确定所述第三图像相比于所述第一图像的损失值，以得到所述第二损失值。4.如权利要求2所述的方法，其特征在于，所述基于所述分区指示图，按照第二损失函数，确定所述第二图像中第二类区域相比于所述第一图像中第二类区域的损失值，以得到所述第二损失值，包括：基于所述分区指示图，将所述第一图像中的第一类区域替换为所述第二图像中的第一类区域，以得到第四图像；按照所述第二损失函数，确定所述第二图像相比于所述第四图像的损失值，以得到所述第二损失值。5.如权利要求2
‑
4任一所述的方法，其特征在于，所述第二损失函数包括多尺度结构相似性MS
‑
SSIM损失函数、感知损失函数和生成对抗损失函数中的至少一种。6.如权利要求2
‑
5任一所述的方法，其特征在于，所述基于所述不同区域的损失值，确定所述第二图像相比于所述第一图像的总损失值之后，还包括：基于所述总损失值，确定第一优化梯度图；基于所述第一优化梯度图，更新所述图像编解码网络的网络参数。7.如权利要求1所述的方法，其特征在于，所述不同区域的损失值包括第一损失值和第三损失值；所述基于所述分区指示图，按照至少一种损失函数，确定所述第二图像相比于所述第一图像在不同区域的损失值，包括：
基于所述分区指示图，按照第一损失函数，确定所述第二图像中第一类区域相比于所述第一图像中第一类区域的损失值，以得到所述第一损失值；按照第三损失函数，确定所述第二图像相比于所述第一图像的损失值，以得到所述第三损失值。8.如权利要求7所述的方法，其特征在于，所述基于所述不同区域的损失值，确定所述第二图像相比于所述第一图像的总损失值之后，还包括：基于所述总损失值，确定第一优化梯度图；基于所述分区指示图，对所述第一优化梯度图中的第一类区域进行梯度阻断，以得到第二优化梯度图；基于所述第二优化梯度图，更新所述图像编解码网络的网络参数。9.如权利要求8所述的方法，其特征在于，所述基于所述分区指示图，对所述第一优化梯度图中的第一类区域进行梯度阻断，以得到第二优化梯度图，包括：基于所述分区指示图，将所述第一优化梯度图中的第一类区域的梯度值置零，以得到所述第二优化梯度图。10.如权利要求7
‑
9任一所述的方法，其特征在于，所述第三损失函数包括L1损失函数和/或L2损失函数，所述第三损失函数还包括多尺度结构相似性MS
‑
SSIM损失函数、感知损失函数和生成对抗损失函数中的至少一种；或者，所述第三损失函数包括MS
‑
SSIM损失函数、感知损失函数和生成对抗损失函数中的至少一种。11.如权利要求2
‑
10任一所述的方法，其特征在于，所述第一损失函数包括L1损失函数和/或L2损失函数。12.如权利要求2
‑
11任一所述的方法，其特征在于，所述基于所述分区指示图，按照第一损失函数，确定所述第二图像中第一类区域相比于所述第一图像中第一类区域的损失值，以得到所述第一损失值，包括：基于所述分区指示图，确定所述第二图像中第一类区域内的各个像素点相比于所述第一图像中对应像素点的误差；基于所述第二图像中第一类区域内的各个像素点相比于所述第一图像中对应像素点的误差，确定所述第一损失值。13.如权利要求1
‑
12任一所述的方法，其特征在于，所述基于所述不同区域的损失值，确定所述第二图像相比于所述第一图像的总损失值，包括：按照至少两个权重对所述不同区域的损失值进行加权求和，以得到所述总损失值；在所述不同区域的损失值是按照一种损失函数确定的情况下，所述至少两个权重存在不同；在所述不同区域的损失值是按照至少两种损失函数确定的情况下，所述至少两个权重存在不同或相同。14.如权利要求2
‑
6任一所述的方法，其特征在于，所述分区指示图为图像梯度图，所述第一类区域包括结构化区域，所述第二类区域包括非结构化区域。15.如权利要求14所述的方法，其特征在于，所述图像梯度图为以梯度掩码表示的梯度图，所述结构化区域对应所述图像梯度图中梯度掩码为1的区域。
16.如权利要求2
‑
6任一所述的方法，其特征在于，所述分区指示图为图像分割掩码图，所述第一类区域包括目标对象所在的区域，所述第二类区域包括非所述目标对象所在的区域。17.如权利要求16所述的方法，其特征在...

【专利技术属性】
技术研发人员：高尚银，王晶，邱忠营，李猛，师一博，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：