基于生成对抗网络的高动态范围反色调映射方法及系统技术方案

本发明专利技术提供一种基于生成对抗网络的高动态范围反色调映射方法及系统，其中：读取原始高动态范围视频，切割转化为可用于训练的标准动态范围与高动态范围对应的数据集；建立一种基于卷积神经网络和跳跃式连接的生成对抗网络，将标准动态范围图像转化为高动态范围图像，即反色调映射；根据设定的综合目标函数，不断优化训练整个生成对抗网络，最终得到的网络可以完成从标准动态范围向高动态范围的映射。本发明专利技术改善了现有的非学习方法的非线性不足、参数调节复杂等问题，并考虑到高动态范围图像的一维特性和梯度特性，更好地实现了对高动态范围的反色调映射。

【技术实现步骤摘要】
基于生成对抗网络的高动态范围反色调映射方法及系统
本专利技术涉及一种图像处理
的方法，具体是一种基于生成对抗网络的高动态范围反色调映射方法及系统。
技术介绍
在当今的电视显示和拍摄
里，高动态范围(HDR)无疑是一大趋势。高动态范围是一种与现有显示技术截然不同的技术，这主要体现在它对于画面的改变方式上。在高动态范围的作用下，电视所呈现的色彩更加生动，黑色更深邃，画面中的物体也更加清晰明了。与此同时，画面的色调也会被扩大，由应用广泛的标准动态范围下的BT.709标准扩大至高动态范围的BT.2020标准。亮度是高动态范围的关键：市面上大多数的电视亮度在400尼特左右，部分机型达到了750尼特。但高动态范围电视的最高亮度可达1000尼特，亮度的提升可让场面显得更加真实，特别是户外场景。由于高动态范围内容的拍摄要求和拍摄代价极高，很难通过直接拍摄制作大量的高动态范围内容，因此利用现有的标准动态范围内容制作高动态范围内容成为一个很有价值的方向，这种转换被成为反色调映射。由于传统的方法都不是基于学习的方法，其本质在于分段映射，其方法非线性性能和可操作性不足。近几年出现的一些基于学习的方法，主要是针对亮度域的拓展，很少考虑到色域的拓展，因此导致观看体验不佳。
技术实现思路
本专利技术针对现有的反色调映射技术的缺陷，提供一种基于生成对抗网络的高动态范围反色调映射方法，该方法通过考虑亮度范围和色彩范围的拓展，同时采用生成对抗网络来弥补传统方法非线性的不足，设计了一种基于卷积神经网络的生成对抗模型，从而达到了视觉上和客观评价上更好的转换效果。本专利技术的第一目的是提供一种基于生成对抗网络的高动态范围反色调映射方法，包括：S1：读取原始高动态范围视频，剪切并转化为标准动态范围图像，与高动态范围图像组成有监督的数据集，作为后续的训练数据集和验证数据集；S2：建立基于卷积神经网络和跳跃式连接的生成对抗网络；S3：对所述生成对抗网络，建立由一维特征和梯度特征综合的目标损失函数，采用所述训练数据集不断训练优化，得到能完成反色调映射的生成对抗网络；S4：将所述验证数据集输入至能完成反色调映射的生成对抗网络模型，映射得出高动态范围图像。优选地，所述S1中，建立数据集时，通过HDRTools将已有的HDR视频按场景抽出单帧高动态范围图像，并分块切割成低分辨率的图像用于网络训练。进一步的，本专利技术部分实施例中是从4K分辨率的视频中截取出多幅512×512分辨率的高动态范围图像作为数据集中的高动态范围图像，再使用Reinhard色调映射算法，将高动态范围图像转化为标准动态范围图像，组成一一对应的数据集用于训练和验证。更优选地，所述数据集包含多组标准动态范围和高动态范围对应的图像用于训练模型，另外还有多组用于验证，其中高动态范围图像是10比特量化的exr格式文件，使用BT.2020标准色域，最高亮度为1000尼特；标准动态范围图像是8比特量化的png格式文件，使用BT.709标准色域，最高亮度为100尼特。为了在S3所述的训练中方便使用，图像载入时使用向量储存在h5文件中。以上数据集为本专利技术部分实施例时使用，也可选取其他高动态范围图像与其对应的标准动态范围图像构成数据集，但是需要使用同样的量化位数、色域范围和最高亮度。优选地，所述目标损失函数由图像的一维特征和各方向的梯度特征决定；设L、H分别表示标准动态范围输入和高动态范围输出，G、D分别表示生成器和判别器，则可以认为整个生成对抗网络的目标损失函数是一个极大极小问题：其中：表示生成器的内容损失函数，表示生成器和判别器的对抗损失函数，λ是超参数，控制两种损失函数成分的比重。可以被写为：α表示一维特征与梯度特征的权重，dx、dy分别表示图像中横纵方向的梯度。可以表示为：本专利技术设计的基于生成对抗网络的高动态范围反色调映射方法，在考虑到图像具有的一维特征的同时，还考虑到了高动态范围的梯度特征。具体地，反色调映射对应像素点的取值不仅由当前位置的标准动态范围像素点决定，还与周围像素点的变化趋势相关，因此使用对所计算像素点和周围像素点计算梯度特征，本专利技术中使用的是2范数，同时使用卷积操作使得这个操作效果更好。通过这个设定，在使用建立的训练数据集充分训练生成对抗网络之后，可以达到很好的视觉效果和评价得分。本专利技术第二目的在于提供一种基于生成对抗网络的高动态范围反色调映射系统，包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器用于调取所述程序指令以执行以上所述的基于生成对抗网络的高动态范围反色调映射方法。与现有技术相比，本专利技术具有如下的有益效果：本专利技术所述方法和系统在考虑了现有的基于学习方法中亮度拓展的同时，也兼顾了色域的拓展，有着更好的视觉效果。与广泛使用的非学习方法相比，本专利技术所述方法和系统有着更好的非线性性能和多尺度变换性能。在保证了反色调映射的理论完整同时，提高了映射结果的视觉效果和客观评价指标。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1是本专利技术一实施例方法的流程图；图2是本专利技术一实施例中生成对抗网络的网络结构框图；图3是本专利技术一实施例中生成结果与现有方法的效果对比。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变形和改进。这些都属于本专利技术的保护范围。参照图1所示，本专利技术的基于生成对抗网络的高动态范围反色调映射方法的流程图，其设计思路为：①读取原始高动态范围视频，剪切并转化为标准动态范围图像，与高动态范围图像组成有监督的数据集，用于③中训练和④中的验证；②以卷积神经网络为基础，建立生成对抗网络，其中生成器包含跳跃式连接，得到生成对抗网络经过③的训练即可完成反色调映射操作，在④中验证结果；③建立由一维特征和梯度特征综合的目标损失函数，采用①中建立的训练数据集，不断训练优化得到可以完成反色调映射的生成对抗网络模型；④将①中建立的用于验证的数据集输入至经①-③建立的生成对抗网络模型，映射得出高动态范围图像，并对输出结果进行评价。其中第①、②步建立数据集和生成对抗网络，第③步通过设定的目标损失函数训练得到能完成反色调映射的生成对抗网络模型，第④步对训练得到的生成对抗网络模型进行评估。下面介绍高动态范围反色调映射生成对抗网络模型的建立过程。以下通过具体实施例对上述各个步骤中涉及的详细技术操作进行说明，应当理解的是，以下仅仅是本专利技术部分实施例。1.高动态范围与标准动态范围对应的数据集的建立建立数据集时，将已有的HDR视频按场景，剪切并转化为标准动态范围图像。再使用Reinhard色调映射算法，将高动态范围图像转化为标准动态范围图像，组成一一对应的数据集用于训练和验证。在本专利技术部分实施例中，为了能够得到高质量的高动态范围图像，选用现有的高质量高动态范围演示片，其具有如下特征：10bit量化的exr格式文件、1000尼特峰值亮度、色域符合BT.2020标准，PQ曲线处理、使用HEVCMain10编码，颜色空间为YUV，采样率为4:2:0。然后通过HDRTools工具箱将以本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的高动态范围反色调映射方法，其特征在于，包括：S1：读取原始高动态范围视频，剪切并转化为标准动态范围图像，与高动态范围图像组成有监督的数据集，作为后续的训练数据集和验证数据集；S2：建立基于卷积神经网络和跳跃式连接的生成对抗网络；S3：对所述生成对抗网络，建立由一维特征和梯度特征综合的目标损失函数，采用所述训练数据集不断训练优化，得到能完成反色调映射的生成对抗网络模型；S4：将所述验证数据集输入至能完成反色调映射的生成对抗网络模型，映射得出高动态范围图像。

【技术特征摘要】
1.一种基于生成对抗网络的高动态范围反色调映射方法，其特征在于，包括：S1：读取原始高动态范围视频，剪切并转化为标准动态范围图像，与高动态范围图像组成有监督的数据集，作为后续的训练数据集和验证数据集；S2：建立基于卷积神经网络和跳跃式连接的生成对抗网络；S3：对所述生成对抗网络，建立由一维特征和梯度特征综合的目标损失函数，采用所述训练数据集不断训练优化，得到能完成反色调映射的生成对抗网络模型；S4：将所述验证数据集输入至能完成反色调映射的生成对抗网络模型，映射得出高动态范围图像。2.根据权利要求1所述的基于生成对抗网络的高动态范围反色调映射方法，其特征在于：所述S1中，建立数据集时，通过HDRTools将已有的HDR视频按场景抽出单帧高动态范围图像，并分块切割成低分辨率的图像用于网络训练。3.根据权利要求2所述的基于生成对抗网络的高动态范围反色调映射方法，其特征在于：所述S1中，从4K分辨率的视频中截取出多幅512×512分辨率的高动态范围图像作为数据集中的高动态范围图像，再使用Reinhard色调映射算法，将高动态范围图像转化为标准动态范围图像，组成一一对应的数据集用于训练和验证。4.根据权利要求1-3任一项所述的一种基于生成对抗网络的高动态范围反色调映射方法，其特征在于：所述数据集包含多组标准动态范围和高动态范围对应的图像用于训练模型，另外还有多组用于验证，其中：高动态范围图像是10比特量化的exr格式文件，使用BT.2020标准色域，最高亮度为1000尼特；标准动态范围图像是8比特量化的png格式文件，使用BT.709标准色域，最高亮度为100尼特；为了在S3所述训练中方便使用，图像载入时使用向量储存在h5文件中。5.根据权利要求1所述的一种基于生成对抗网络的高动态范围反色调映射方法，其特征在于：所述S2中，生成对抗网络...

【专利技术属性】
技术研发人员：宋利，宁士钰，解蓉，张文军，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31