一种内容自适应的深度图像压缩方法技术

本发明专利技术公开了一种内容自适应的深度图像压缩方法，包括编码和解码，编码步骤为提取待压缩图像的特征并量化，根据率

【技术实现步骤摘要】
一种内容自适应的深度图像压缩方法


[0001]本专利技术涉及图像压缩及深度学习
，更具体的说是涉及一种内容自适应的深度图像压缩方法。

技术介绍

[0002]图像作为重要的多媒体载体，已经在日常生活中被广泛使用。为了减轻储存和传输图像的代价，传统图像编码已经被研究了几十年。近些年来，基于深度学习的图像压缩算法不断被提出。它们凭借神经网络强大的非线性表达力和端到端训练的方式，在一些评估数据集上的压缩性能已经超过了最新传统视频编码标准VVC中的帧内编码模式。但是这些基于深度学习的图像压缩方法依赖对数据的泛化，缺少对图像内容的自适应性。当测试数据的分布与训练数据的分布差距较大时，会产生域偏移问题，导致压缩性能的下降。
[0003]目前，在深度图像压缩中，解决这个问题的方法大多是基于在线更新的方法。由于编码器网络在解码过程中不参与运算，所以可以让网络针对测试样本进行过拟合来提升对单个图像的适应性。为了保证接收端重建出相同的图像，这类方法只更新编码端的组件，没有发掘出解码端对于图像内容的适应能力。同时，为了进一步挖掘解码端的适应能力，另一类方法把整个自编码器都进行更新，并将解码端网络参数的变化一同压缩、传输给接收端。这类方法涉及到模型压缩，相对比较复杂，并且这两类方法都需要基于单个样本对网络进行大量的反向传播，非常耗时。
[0004]除此之外，深度图像压缩网络通常对所有目标码率的模型都使用相同的网络结构，产生相同维度的隐含层特征和超先验信息，使得目标码率较低的模型产生的隐含层特征和超先验信息中存在冗余的元素；且图像中不同位置将比特转化为重建质量的能力也是不同的，而在为所有空间位置分配相同的元素数量时没有适应图像的内容。
[0005]因此，如何提供一种新的内容自适应的图像压缩方法，以克服上述问题，是本领域技术人员亟需解决的问题。

技术实现思路

[0006]有鉴于此，本专利技术的目的在于提供一种内容自适应的深度图像压缩方法，通过从隐含层特征和解码器这两部分提供内容自适应性，本专利技术公开的方法不需要编码时额外的在线更新步骤就可以提升深度图像压缩方法的性能，
[0007]为了实现上述目的，本专利技术采用如下技术方案：
[0008]一方面，本专利技术公开了一种内容自适应的深度图像压缩方法，包括编码和解码，
[0009]所述编码步骤包括：
[0010]提取待压缩图像的特征，量化后，生成多个等级的特征，每个等级的特征对应一个通道宽度，
[0011]计算所述待压缩图像的空间位置使用不同所述等级的特征时产生的率
‑
失真损失，选取所述率
‑
失真损失最小的特征对应的通道宽度作为所述空间位置的通道宽度，得到
通道适配后的特征；
[0012]所述解码步骤包括：
[0013]通过解码器网络对所述通道适配后的特征进行解码，
[0014]所述解码器网络包括图像特性信息提取网络和重建卷积层，所述重建卷积层中设有条件空间特征变换层；
[0015]所述图像特性信息提取网络，用于根据所述特征生成图像特性信息，
[0016]所述条件空间特征变换层根据所述图像特性信息生成变换参数，并利用所述变换参数对所述重建卷积层上采样后的特征进行调制，得到调制后的特征；
[0017]所述重建卷积层根据所述调制后的特征重建所述待压缩图像。
[0018]优选的，所述提取待压缩图像特征，包括通过编码器网络对所述待压缩图像进行映射得到的隐含层特征，以及使用超先验编码器对所述隐含层特征提取的空间依赖信息，所述空间依赖信息为超先验；
[0019]优选的，所述量化是采用四舍五入的方法将所述特征量化为离散值形式；
[0020]优选的，所述每个等级的特征将超出所述等级对应所述通道宽度的元素置为0；
[0021]优选的，所述编码步骤还包括将所述适配后的特征编码为比特流；
[0022]在通过所述解码器解码之前，使用算术编码算法从所述比特流中还原出量化后的所述超先验，通过熵模型参数估计网络计算出所述隐含层特征的概率分布参数后，使用算术编码算法从所述比特流中还原出量化后的所述隐含层特征；
[0023]优选的，所述解码过程包括：
[0024]S1、通过图像特性信息提取网络，从还原的量化后的所述隐含层特征和量化后的所述超先验中提取图像特性信息，并对所述图像特性信息进行上采样，得到不同分辨率的图像特性信息，所述不同分辨率的图像特性信息的数量与所述条件空间特征变换的数量相同；
[0025]S2、所述条件空间特征变换层根据对应所述分辨率的所述图像特性信息生成变换参数；
[0026]S3、所述重建卷积层中的上采样层对还原的所述隐含层特征进行上采样，并对上采样后的特征，由所述条件空间特征变换层利用所述变换参数进行调制，得到调制后的上采样特征；
[0027]S4、所述重建卷积层中的图像重建层根据所述调制后的上采样特征，重建所述待压缩图像；
[0028]优选的，在所述重建卷积层中每个上采样层后面设置条件空间特征变换层；
[0029]优选的，与基于在线更新的编码端内容自适应方法相结合，形成新的内容自适应方案。
[0030]经由上述的技术方案可知，本专利技术公开提供了一种内容自适应的深度图像压缩方法，与现有技术相比，其有益效果至少包括：
[0031](1)基于率
‑
失真损失的选择策略，为隐含层特征的每一个空间位置选择最佳的质量等级，从隐含层特征层面实现内容自适应性；并从通道维度上丢弃多余的元素，减少隐含层特征中的冗余，从而达到节约比特的效果；
[0032](2)通过条件特征变换层生成的变换参数对图像重建过程中的特征图进行调制，
使图像的内容特性信息参与到解码过程，以此提升解码器对图像内容的适应能力。
附图说明
[0033]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0034]图1为本专利技术提供的图像压缩方法流程示意图；
[0035]图2为本专利技术提供的隐含特征层内容自适应的通道丢弃模块操作流程图；
[0036]图3为本专利技术提供的内容自适应的解码器网络结构示意图；
[0037]图4为图3中条件空间特征变换模块和Resblock模块的结构示意图；
[0038]图5为本专利技术提供的在Kodak数据集上应用本专利技术图像压缩方法的结果；
[0039]图6为本专利技术提供的在Tecnick数据集上应用本专利技术图像压缩方法的结果；
[0040]图7为本专利技术提供的在Kodak数据集上，基于MS
‑
SSIM指标进行实验的结果；
[0041]图8为本专利技术提供的采用BD节约率进行评估的结果。...

【技术保护点】

【技术特征摘要】
1.一种内容自适应的深度图像压缩方法，其特征在于，包括编码和解码，所述编码步骤包括：提取待压缩图像的特征，量化后，生成多个等级的特征，每个等级的特征对应一个通道宽度，计算所述待压缩图像的空间位置使用不同所述等级的特征时产生的率
‑
失真损失，选取所述率
‑
失真损失最小的特征对应的通道宽度作为所述空间位置的通道宽度，得到通道适配后的特征；所述解码步骤包括：通过解码器网络对所述通道适配后的特征进行解码，所述解码器网络包括图像特性信息提取网络和重建卷积层，所述重建卷积层中设有条件空间特征变换层；所述图像特性信息提取网络，用于根据所述特征生成图像特性信息，所述条件空间特征变换层根据所述图像特性信息生成变换参数，并利用所述变换参数对所述重建卷积层上采样后的特征进行调制，得到调制后的特征；所述重建卷积层根据所述调制后的特征重建所述待压缩图像。2.根据权利要求1所述的一种内容自适应的深度图像压缩方法，其特征在于，所述提取待压缩图像特征，包括通过编码器网络对所述待压缩图像进行映射得到的隐含层特征，以及使用超先验编码器对所述隐含层特征提取的空间依赖信息，所述空间依赖信息为超先验。3.根据权利要求1所述的一种内容自适应的深度图像压缩方法，其特征在于，所述量化是采用四舍五入的方法将所述特征量化为离散值形式。4.根据权利要求1所述的一种内容自适应的深度图像压缩方法，其特征在于，所述每个等级的特征将超出所述等级对应所述通道宽度的元素置为0。5.根据...

【专利技术属性】
技术研发人员：潘冠博，胡智昊，盛律，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：