深度学习编解码网络的训练方法与装置制造方法及图纸

本发明专利技术公开了一种深度学习编解码网络的训练方法与装置，训练阶段引入可移除的用于辅助训练的基于卷积的辅助模块，对解码部分的反卷积后的特征再卷积提取出重建的中间特征，与最终重建图像经过卷积得到下采样后的特征计算特征损失，特征损失对于提升PSNR，MS

【技术实现步骤摘要】
深度学习编解码网络的训练方法与装置


[0001]本专利技术涉及图像编解码
，尤其涉及一种深度学习编解码网络的训练方法与装置。

技术介绍

[0002]目前学术界基于深度学习的图像编解码模型，在BPP(像素深度)，PSNR(峰值信噪比)，MS
‑
SSIM(多层级结构相似性)以及各种主观指标上均超越了传统JPEG、JPEG2000，BPG，H265，H266的效果。
[0003]目前，深度学习编解码网络大多通过率失真损失进行训练，训练效果不佳，训练后深度学习编解码网络的图像重建效果还有待提升。通用的率失真损失并没有很好的利用图像解码层的中间特征，使得图像解码质量并不理想。

技术实现思路

[0004]本专利技术的目的是提供一种深度学习编解码网络的训练方法与装置，可以提升图像重建的效果。
[0005]本专利技术的目的是通过以下技术方案实现的：
[0006]一种深度学习编解码网络的训练方法，所述深度学习编解码网络包括：编码部分、超先验概率模型与解码部分，包括：
[0007]第一阶段：设置多个基于卷积的辅助模块，其中一个基于卷积的辅助模块的输入为解码部分中第一个反卷积层的输入，其余每一基于卷积的辅助模块的输入为第一个反卷积层至倒数第二个反卷积层之间单个反卷积层的输出，设置一个卷积模块，其输入为解码部分的输出；将原始图像输入至深度学习编解码网络，计算率失真损失，以及利用所有基于卷积的辅助模块输出的特征与所述卷积模块输出的特征计算特征损失，结合率失真损失与特征损失构建第一阶段的损失函数对所述深度学习编解码网络进行训练；
[0008]第二阶段：移除卷积模块与所有基于卷积的辅助模块，将原始图像输入至深度学习编解码网络，计算率失真损失作为第二阶段的损失函数对第一阶段训练后的深度学习编解码网络进行训练。
[0009]一种深度学习编解码网络的训练装置，所述深度学习编解码网络包括：编码部分、超先验概率模型与解码部分，包括：
[0010]第一训练单元，应用于第一阶段，所述第一阶段包括：设置多个基于卷积的辅助模块，其中一个基于卷积的辅助模块的输入为解码部分中第一个反卷积层的输入，其余每一基于卷积的辅助模块的输入为第一个反卷积层至倒数第二个反卷积层之间单个反卷积层的输出，设置一个卷积模块，其输入为解码部分的输出；将原始图像输入至深度学习编解码网络，计算率失真损失，以及利用所有基于卷积的辅助模块输出的特征与所述卷积模块输出的特征计算特征损失，结合率失真损失与特征损失构建第一阶段的损失函数对所述深度学习编解码网络进行训练；
[0011]第二训练单元，应用于第二阶段，所述第二阶段包括：移除卷积模块与所有基于卷积的辅助模块，将原始图像输入至深度学习编解码网络，计算率失真损失作为第二阶段的损失函数对所述深度学习编解码网络进行训练。
[0012]一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
[0013]其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
[0014]一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
[0015]由上述本专利技术提供的技术方案可以看出，训练阶段引入可移除的基于卷积的辅助模块，对解码部分的反卷积后的特征再卷积提取出重建的中间特征，与最终重建图像经过卷积得到下采样后的特征计算特征损失，特征损失对于提升PSNR，MS
‑
SSIM指标有提升效果，由于充分考虑到了中间层特征对于重建图的影响，因此对于图像重建的效果也有所提升。
附图说明
[0016]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0017]图1为本专利技术实施例提供的一种深度学习编解码网络的训练方法的流程图；
[0018]图2为本专利技术实施例提供的深度学习编解码网络的训练原理图；
[0019]图3为本专利技术实施例提供的基于卷积的辅助模块的结构示意图；
[0020]图4为本专利技术实施例提供的一种深度学习编解码网络的训练系统的示意图；
[0021]图5为本专利技术实施例提供的一种处理设备的示意图。
具体实施方式
[0022]下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。
[0023]首先对本文中可能使用的术语进行如下说明：
[0024]术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等)，应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
[0025]下面对本专利技术所提供的一种深度学习编解码网络的训练方法与装置进行详细描述。本专利技术实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本专利技术实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。本专利技术实
施例中所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
[0026]实施例一
[0027]本专利技术实施例提供一种深度学习编解码网络的训练方法，待训练的深度学习编解码网络主要包括：编码部分、超先验概率模型与解码部分，网络各个部分中所涉及的具体结构可参照常规技术，本专利技术不做赘述。
[0028]本专利技术实施例中，深度学习编解码网络的训练包括两个阶段。
[0029]第一阶段：设置多个基于卷积的辅助模块，其中一个基于卷积的辅助模块的输入为解码部分中第一个反卷积层的输入，其余每一基于卷积的辅助模块的输入为第一个反卷积层至倒数第二个反卷积层之间单个反卷积层的输出，设置一个卷积模块，其输入为解码部分的输出；将原始图像输入至深度学习编解码网络，计算率失真损失，以及利用所有基于卷积的辅助模块输出的特征与所述卷积模块输出的特征计算特征损失，结合率失真损失与特征损失构建第一阶段的损失函数对所述深度学习编解码网络进行训练；
[0030]第二阶段：移除卷积模块与所有基于卷积的辅助模块，将原始图像输入至深度学习编解码网络，计算率失真损失作为第二阶段的损失函数对第一阶段训练后的深度学习编解码网络进行训练。
[0031]以上两个阶段都涉及率失真损失，下面简述率失真损失的计算流程：将原始图像输入至深度学习编解码网络，通过编码部分获得所述原始图像的图像特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习编解码网络的训练方法，所述深度学习编解码网络包括：编码部分、超先验概率模型与解码部分，其特征在于，包括：第一阶段：设置多个基于卷积的辅助模块，其中一个基于卷积的辅助模块的输入为解码部分中第一个反卷积层的输入，其余每一基于卷积的辅助模块的输入为第一个反卷积层至倒数第二个反卷积层之间单个反卷积层的输出，设置一个卷积模块，其输入为解码部分的输出；将原始图像输入至深度学习编解码网络，计算率失真损失，以及利用所有基于卷积的辅助模块输出的特征与所述卷积模块输出的特征计算特征损失，结合率失真损失与特征损失构建第一阶段的损失函数对所述深度学习编解码网络进行训练；第二阶段：移除卷积模块与所有基于卷积的辅助模块，将原始图像输入至深度学习编解码网络，计算率失真损失作为第二阶段的损失函数对第一阶段训练后的深度学习编解码网络进行训练。2.根据权利要求1所述的一种深度学习编解码网络的训练方法，其特征在于，所有基于卷积的辅助模块的结构相同；单个基于卷积的辅助模块包括：依次设置的第一个卷积层、激活层与第二卷积层。3.根据权利要求1所述的一种深度学习编解码网络的训练方法，其特征在于，利用所有基于卷积的辅助模块输出的特征与所述卷积模块输出的特征计算特征损失包括：将所有基于卷积的辅助模块输出的特征记为特征集合{x1,x2,...,x
n
}，其中，x
i
表示第i个基于卷积的辅助模块输出的特征，i＝1,2,...,n，n表示基于卷积的辅助模块的数目；将卷积模块输出的特征记为对特征按照特征集合{x1,x2,...,x
n
}中每一特征的大小进行下采样，获得下采样特征集合其中，下采样特征与第i个基于卷积的辅助模块输出的特征x
i
的大小相同；利用特征集合{x1,x2,...,x
n
}与下采样特征集合计算特征损失，表示为：其中，L
‑
LOSS表示特征损失，MSE表示均方误差。4.根据权利要求1或3所述的一种深度学习编解码网络的训练方法，其特征在于，所述第一阶段的损失函数表示为：RD
‑
LOSS1＝R
‑
LOSS+λ1D
‑
LOSS+λ2L
‑
LOSS其中，RD
‑
LOSS1表示第一阶段的损失函数，L
‑
LOSS表示特征损失；R
‑
LOSS与D
‑
LOSS分别表示率损失与失真损失，二者构成率失真损失；λ1与λ2分别表示调节失真损失与特征损失占比的超参数。5.一种深度学习编解码网络的训练装置，所述深度学习编解码网络包括：编码部分、超先验概率模型与解码部分，其特征在于，包括：第一训练单元，应用于第一阶段，所述第一阶段包括：设置多个基于卷积的辅助模块，其中一个基...

【专利技术属性】
技术研发人员：阮海航，武祥吉，陈也达，
申请(专利权)人：上海双深信息技术有限公司，
类型：发明
国别省市：