一种基于残差图像条件生成对抗网络的比特深度增强方法技术

本发明专利技术公开了一种基于残差图像条件生成对抗网络的比特深度增强方法，包括：将低比特深度图像的零填充图像作为生成器的输入，学习生成残差图像；构建鉴别器网络，采用跨步卷积层对特征图进行下采样，将提取的高级特征连接到一个维度，用于区分生成器生成的重建残差图和原始残差图像；将内容一致损失和对抗损失之和作为总的损失函数；通过优化器的梯度下降损失函数来训练生成器中各个卷积层和批量归一化层的参数，在总的损失函数的下降幅度不超过阈值之后，保存生成器及鉴别器中所有层的参数；将测试集中的低比特深度图像输入保存的生成器网络中，输出残差图像，再与输入低比特深度图像的零填充图像相加，最终重建高比特深度图像。

【技术实现步骤摘要】
一种基于残差图像条件生成对抗网络的比特深度增强方法
本专利技术涉及比特深度增强领域，尤其涉及一种基于残差图像条件生成对抗网络的比特深度增强方法。
技术介绍
随着科学技术的发展，电子产品迅速发展，人们对显示器的需求不断增长，以提供高质量的可视化，这就需要更多位数表示每个像素。然而，由于大多数现有图像和视频具有低比特深度(LBD)，为了适应这种差距，最经济的解决方案是低比特深度到高比特深度的增强显示，也就是将LBD图像转换为视觉上令人愉悦的高比特深度(HBD)图像，这实质上是去量化的过程。10位(即1,024色)和16位(即65,536色)监视器已被广泛用于各个专业领域。例如，在医学图像可视化方面，HBD和高分辨率监控器至关重要，因为需要清晰，明确地呈现复杂的细节，所以HBD数据和高分辨率监控器至关重要。传统方法(例如零填充或位复制)会引入伪轮廓伪影。有的方法使用过滤或插值方法，但是仅利用有限的相邻像素的信息，不能彻底消除伪轮廓。需要注意的是，逆色调映射方法[1][2]无法解决比特深度增强任务。这是因为逆色调映射的目的是使局部最小最大区域中的细节产生幻觉，而局部最小最大区域会由于相机传感器的过度或者不足而失真，而比特深度增强的目的是消除由线性量化导致的颜色不一致。已经有许多比特增强算法，比如逐像素解量化算法，包括零填充(ZP)，理想增益乘法(MIG)，位复制(BR)[3]和基于最小风险的分类(MRC)[4]，可按像素重建HBD图像独立计算。尽管这些算法效率很高，但是由于忽略了像素周围的结构特征，因此重建的HBD图像会出现轮廓伪影。为消除这些错误轮廓伪影，又提出了许多上下文感知算法，比如插值算法(包括内容自适应图像比特深度扩展(CA)[5]和轮廓区域重建(CRR)[6])。这些算法可以极大地消除错误的轮廓，但是局部最小或最大区域中的细节仍然会模糊不清。AC信号的最大后验估计[ACDC][7][8]从图形正弦处理的角度重构HBD图像，该过程通过最大后验估计来预测最可能的AC信号。ACDC非常耗时，并且在大坡度区域中的假轮廓仍然很明显。另外，从强度势场的角度提出了自适应反量化强度(IPAD)[9]，它利用了强度势场和HBD图像统计之间的内在联系，设计了一个非线性映射以估计HBD强度。尽管IPAD的性能优于其他无监督算法，但虚假轮廓并未完全消除。此外还有很多基于深度学习的监督算法，例如通过卷积神经网络(BE-CNN)进行比特深度增强[10]和通过合并深度神经网络的所有层级特征(BE-CALF)进行比特深度增强[11]。有效的CNN(卷积神经网络)框架经过精心设计，可以更好地重建HBD图像，并且通过保留精美细节极大地抑制了虚假轮廓。然而，这些算法是通过基于预训练的固定神经网络计算出的梯度下降感知损失[12]来训练的。如果可以对网络进行自适应训练，则深度学习算法的性能会更好。最近，GAN[13]及其变体[14][15]已被许多计算机视觉任务广泛采用，因为它们在生成照片级逼真的图像方面具有优越的性能。还提出了许多训练程序[16]-[18]，因为在对抗性训练生成器和鉴别器中找到纳什均衡是一项挑战。GAN(生成对抗网络)在各种图像增强任务方面通常胜过简单的深度生成网络，用于比特深度增强任务同样优秀。比特深度增强目前面临的主要挑战为：1)各领域对高质量的可视化要求越来越高，然而多数数字图像采集设备和主流图像都是低比特深度的；2)一般的比特深度增强算法恢复的高比特深度图像往往效果不佳，假轮廓明显，纹理模糊。
技术实现思路
本专利技术提供了一种基于残差图像条件生成对抗网络的比特深度增强方法，本专利技术基于条件生成对抗网络的学习框架，能够重建高质量的高比特深度图像，详见下文描述：一种基于残差图像条件生成对抗网络的比特深度增强方法，所述方法包括：将低比特深度图像的零填充图像作为生成器的输入，学习生成残差图像；构建鉴别器网络，采用跨步卷积层对特征图进行下采样，将提取的高级特征连接到一个维度，用于区分生成器生成的重建残差图和原始残差图像；将内容一致损失和对抗损失之和作为总的损失函数；通过优化器的梯度下降损失函数来训练生成器中各个卷积层和批量归一化层的参数，在总的损失函数的下降幅度不超过阈值之后，保存生成器及鉴别器中所有层的参数；将测试集中的低比特深度图像输入保存的生成器网络中，输出残差图像，再与输入低比特深度图像的零填充图像相加，最终重建高比特深度图像。其中，所述生成器是对称的卷积层和反卷积层结构，零填充图像作为生成器的输入，卷积层用于提取低比特深度图像的结构特征，反卷积层则基于提取的高级特征重建残差图像；所述生成器每两层之间的特征图进行级联以传递到下一层，不仅解决了反向传播中的梯度消失问题，并将底层内容直接传递到顶层。进一步地，将重建高比特深度图像与原始高比特深度图像之间的L2损失作为内容一致损失。所述内容一致损失为：其中，Fi代表VGG-19网络的第i层特征图，fi代表特征的大小，μ为比例系数，N提供全局和局部视野，IHBD代表真实高比特深度图，代表重建的高比特深度图像，Lcont代表感知损失，x～U(0,fi)代表x服从均匀分布。所述总的损失函数为：其中，pm定义为沿着从pres到pZP的相应点之间的直线的均匀样本，λ代表比例系数，是梯度公式，Ladv即对抗性损失，pres表示原始残差图像的分布，pzp是零填充图像分布，而G(x)～pimit是由生成器的重建残差图像D(G(x))代表零填充图像经过生成器生成的图像，再输入鉴别器之后的结果。本专利技术提供的技术方案的有益效果是：1、本专利技术设计了一个鉴别器来更好地评价重建性能，该鉴别器学习识别重构图像和真实图像，并对生成网络的训练进行指导；2、本专利技术设计了一个内容一致损失函数，解决生成对抗网络难以找到纳什均衡，生成器和鉴别器高度不稳定的问题，以帮助对抗训练，并使生成器重建更真实的高比特深度图像；3、本专利技术设计了一个条件鉴别器网络，没有直接对高比特深度图像进行区分，而是训练鉴别器识别重构后的残差图像，使其具有较好的结构特征；另外，本专利技术以低比特深度图像的零填充图像为条件输入到鉴别器中，其量化信息有助于鉴别输入的残差图像是重建的还是真实的。附图说明图1为一种基于残差图像条件生成对抗网络的比特深度增强方法的流程图；图2为一种基于残差图像条件生成对抗网络的比特深度增强方法的生成器网络结构图；图3为一种基于残差图像条件生成对抗网络的比特深度增强方法的鉴别器网络结构图；图4为一种基于残差图像条件生成对抗网络的比特深度增强方法的实验主观结果图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。由于在各个领域对可视化的质量提出了越来越高的要求，高比特深度的监视器近年来开始流行起来。然而，大多数的数字图像采集设备和主流图像都是低本文档来自技高网...

【技术保护点】
1.一种基于残差图像条件生成对抗网络的比特深度增强方法，其特征在于，所述方法包括：/n将低比特深度图像的零填充图像作为生成器的输入，学习生成残差图像；/n构建鉴别器网络，采用跨步卷积层对特征图进行下采样，将提取的高级特征连接到一个维度，用于区分生成器生成的重建残差图和原始残差图像；/n将内容一致损失和对抗损失之和作为总的损失函数；/n通过优化器的梯度下降损失函数来训练生成器中各个卷积层和批量归一化层的参数，在总的损失函数的下降幅度不超过阈值之后，保存生成器及鉴别器中所有层的参数；/n将测试集中的低比特深度图像输入保存的生成器网络中，输出残差图像，再与输入低比特深度图像的零填充图像相加，最终重建高比特深度图像。/n

【技术特征摘要】
1.一种基于残差图像条件生成对抗网络的比特深度增强方法，其特征在于，所述方法包括：
将低比特深度图像的零填充图像作为生成器的输入，学习生成残差图像；
构建鉴别器网络，采用跨步卷积层对特征图进行下采样，将提取的高级特征连接到一个维度，用于区分生成器生成的重建残差图和原始残差图像；
将内容一致损失和对抗损失之和作为总的损失函数；
通过优化器的梯度下降损失函数来训练生成器中各个卷积层和批量归一化层的参数，在总的损失函数的下降幅度不超过阈值之后，保存生成器及鉴别器中所有层的参数；
将测试集中的低比特深度图像输入保存的生成器网络中，输出残差图像，再与输入低比特深度图像的零填充图像相加，最终重建高比特深度图像。


2.根据权利要求1所述的一种基于残差图像条件生成对抗网络的比特深度增强方法，其特征在于，
所述生成器是对称的卷积层和反卷积层结构，零填充图像作为生成器的输入，卷积层用于提取低比特深度图像的结构特征，反卷积层则基于提取的高级特征重建残差图像；
所述生成器每两层之间的特征图进行级联以传递到下一层，不仅解决了反向传播中的梯度消失问题，并将底层内容直接传递到顶层...

【专利技术属性】
技术研发人员：于洁潇，范慧慧，刘婧，苏育挺，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12