一种图像主观优化编解码方法技术

本发明专利技术公开了一种图像主观优化编解码方法，包括：编码部分：通过卷积网络提取输入的原始图像数据的初级特征；通过第一量化模块对所述初级特征进行变换，得到二级特征；通过超先验概率模型，对所述二级特征进行概率估计，结合拉普拉斯概率模型得到码率估计结果，通过熵编码算法以及拉普拉斯概率，对二级特征进行无损熵编码，得到比特流；解码部分：通过熵解码算法以及拉普拉斯概率，对所述比特流进行解码，获得二级特征，通过反卷积网络对所述二级特征进行非线性变换，获得重建图像。上述方法通过图像主观优化方式，提升重建图像的质量，并且可以提升压缩性能，减少了图像存储空间，减少了不必要的传输费用。了不必要的传输费用。了不必要的传输费用。

【技术实现步骤摘要】
一种图像主观优化编解码方法


[0001]本专利技术涉及图像编解码
，尤其涉及一种图像主观优化编解码方法。

技术介绍

[0002]传统的图像编解码中对于图像重构质量对优化大多偏向于客观指标的，例如，使用PSNR(Peak Signal to Noise Ratio，峰值信噪比)，它是一种评价图像的客观标准；但是，客观指标并不能代表人眼真正关注的质量。
[0003]如图1所示，MSE为均方误差，PSNR与MSE成线性关系，在MSE相同的情况下不同成像的质量参差不齐，因此，客观指标并不能直接代表了人眼主观观察下对重建图像质量的评价。
[0004]有鉴于此，有必要引入主观指标来优化图像编解码方案，以提升重建图像的质量。

技术实现思路

[0005]本专利技术的目的是提供一种图像主观优化编解码方法，可以提升重建图像的质量。
[0006]本专利技术的目的是通过以下技术方案实现的：
[0007]一种图像主观优化编解码方法，包括：
[0008]构建图像编解码模型；
[0009]训练所述图像编解码模型：输入原始图像至所述图像编解码模型，获得重建图像与两个码率估计结果，训练包含三个阶段，第一阶段损失包括：重建图像与原始图像的失真，以及两个码率估计结果计算的率损失；第二阶段损失包括：第一阶段损失，以及重建图像与原始图像的VGG网络处理中间层的L1损失；第三阶段损失包括：第二阶段的损失，以及重建图像与原始图像的GAN网络的损失；每一阶段使用相应阶段的损失训练指定次数后进入下一阶段，第三阶段训练完毕后，获得训练后的图像编解码模型；
[0010]利用训练后的图像编解码模型对输入图像进行编解码，获得重建图像。
[0011]由上述本专利技术提供的技术方案可以看出，通过图像主观优化方式，提升重建图像的质量，并且可以提升压缩性能，减少了图像存储空间，减少了不必要的传输费用。
附图说明
[0012]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0013]图1为本专利技术
技术介绍
提供的MSE相同的情况下不同成像的质量示意图；
[0014]图2为本专利技术实施例提供的一种图像主观优化编解码方法的框架图；
[0015]图3为本专利技术实施例提供的DownResGDNblock的示意图；
[0016]图4为本专利技术实施例提供的DownResCNblock的示意图；
[0017]图5为本专利技术实施例提供的残差块的示意图；
[0018]图6为本专利技术实施例提供的超先验编码器的示意图；
[0019]图7为本专利技术实施例提供的超先验解码器的示意图；
[0020]图8为本专利技术实施例提供的split＝＝1时的channelSplitMaskcnn模块原理图；
[0021]图9为本专利技术实施例提供的split>1时的channelSplitMaskcnn模块原理图；
[0022]图10为本专利技术实施例提供的超先验概率模型中的原理图
[0023]图11为本专利技术实施例提供的UpResGDNblock的示意图；
[0024]图12为本专利技术实施例提供的UpResCNblock的示意图；
[0025]图13为本专利技术实施例提供的ShortResblock的示意图。
具体实施方式
[0026]下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。
[0027]首先对本文中可能使用的术语进行如下说明：
[0028]术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等)，应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
[0029]除另有明确的规定或限定外，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如：可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本文中的具体含义。
[0030]下面对本专利技术所提供的一种图像主观优化编解码方法进行详细描述。本专利技术实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本专利技术实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。
[0031]本专利技术实施例提供一种图像主观优化编解码方法，主要包括：构建图像编解码模型、训练所述图像编解码模型，以及利用训练后的图像编解码模型对输入图像进行编解码三部分。
[0032]1、构建图像编解码模型。
[0033]如图2所示，展示了图像主观优化编解码方法的整体框架，主要包括卷积网络、超先验概率模型与反卷积网络。
[0034]2、训练所述图像编解码模型。
[0035]本专利技术实施例中，训练时，利用重建图像与原始图像的失真，并结合码率估计结果，构建率失真损失函数，利用所述率失真损失函数优化卷积网络、超先验概率模型与反卷积网络中的参数；具体而言，需要进行参数优化的部分为图2中除去Quant F、Quant Z、LMM、
bit_coder、split、concat之外的所有部分；其中的，Quant F与Quant Z表示两个量化模块，前者输出中间图像特征F，后者输出量化特征Z，LMM表示混合拉普拉斯模型，split表示分割操作，concat表示拼接操作。
[0036]1)输入原始图像，通过卷积网络提取图像初级特征，通过卷积网络提取图像初级特征。
[0037]2)所述超先验概率模型包含两个支路，两个支路的输入均为图像初级特征；第一个支路中对所述图像初级特征进行量化，获得中间图像特征F，并输入至通道可分割掩码模块(ChannelSplitMaskcnn)，由所述通道可分割掩码模块结合来自第二支路的经过分割操作后的辅助信息生成第一概率参数A，利用第一概率参数A对中间图像特征F进行码率估计，获得第一码率估计结果；第二支路中，所述图像初级特征输入至超先验编码器(hyper analysis)，获得超先验特征并通过量化，得到量化特征Z，再经混合拉普拉斯模型(LMM)生成第二概率参数B，利用第二概率参数B对量化特征Z进行码率估计，获得第二码率估计结果，并且还将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像主观优化编解码方法，其特征在于，包括：构建图像编解码模型；训练所述图像编解码模型：输入原始图像至所述图像编解码模型，获得重建图像与两个码率估计结果，训练包含三个阶段，第一阶段损失包括：重建图像与原始图像的失真，以及两个码率估计结果计算的率损失；第二阶段损失包括：第一阶段损失，以及重建图像与原始图像的VGG网络处理中间层的L1损失；第三阶段损失包括：第二阶段的损失，以及重建图像与原始图像的GAN网络的损失；每一阶段使用相应阶段的损失训练指定次数后进入下一阶段，第三阶段训练完毕后，获得训练后的图像编解码模型；利用训练后的图像编解码模型对输入图像进行编解码，获得重建图像。2.根据权利要求1所述的一种图像主观优化编解码方法，其特征在于，所述图像编解码模型包括：卷积网络、超先验概率模型与反卷积网络；通过训练优化卷积网络、超先验概率模型与反卷积网络中的参数。3.根据权利要求2所述的一种图像主观优化编解码方法，其特征在于，所述卷积网络包括：Space2Depth层、第一残差块、DownResGDNblock、第二残差块、DownResCNblock、第三残差块、DownResGDNblock与第四残差块。4.根据权利要求3所述的一种图像主观优化编解码方法，其特征在于，所述DownResGDNblock包括：三个卷积层、一个LeakyRelu激活层、一个GDN激活层与一个残差链接层；其中，第一个卷积层和第二个卷积层的输入均为第一残差块或者第三残差块的输出，第二个卷积层、LeakyRelu激活层、第三个卷积层、GDN激活层及残差链接层依次连接，并且第一个卷积层还与残差链接层连接；所述DownResCNblock包括：三个卷积层、一个LeakyRelu激活层、一个channelnorm层与一个残差链接层；其中，第一个卷积层和第二个卷积层的输入均为第二残差块的输出，第二个卷积层、LeakyRelu激活层、第三个卷积层、channelnorm层及残差链接层依次连接，并且第一个卷积层还与残差链接层连接。5.根据权利要求2所述的一种图像主观优化编解码方法，其特征在于，所述反卷积网络包括依次设置的ShortResblock层、第五残差块、UpResGDNblock、第六残差块、UpResCNblock、第七残差块、UpResGDNblock、第八残差块与Depth2Space层；其中，所述ShortResblock层包含依次设置的多个ShortResblock。6.根据权利要求5所述的一种图像主观优化编解码方法，其特征在于，所述UpResGDNblock包括：两个反卷积层、一个卷积层、一个LeakyRelu激活层、一个iGDN激活层与一个残差链接层；其中，第一个反卷积层与iGDN激活层的输入均为第五残差块或者第七残差块的输出，iGDN激活层、第二个反卷积层、LeakyRelu激活层、卷积层与残差链接层依次连接，并且第一个反卷积层还与残差链接层连接；所述UpResCNblock包括：两个反卷积层、一个卷积层、一个LeakyRelu激活层、一个iGDN激活层与一个残差链接层；其中，第一个反卷积层与iGDN激活层的输入均为第六残差块的输出，iGDN激活层、第二个反卷积层、LeakyRelu激活层、卷积层与残差链接层依次连接，并且第一个反卷积层还与残差链接层连接；所述ShortResblock包括：两个LeakyRelu激活层、两个卷积层与一个残差链接层；其中，第一个LeakyRelu激活层、第...

【专利技术属性】
技术研发人员：张子文，武祥吉，陈也达，袁庆祝，冯溢，
申请(专利权)人：上海双深信息技术有限公司，
类型：发明
国别省市：