一种色调映射方法、装置及电子设备制造方法及图纸

本说明书实施例提供一种色调映射方法、装置及电子设备。所述方法包括：获取一个或多个高动态范围图像，并判断所述高动态范围图像的存储形式；当所述高动态范围图像的存储形式为预定的存储形式时，将所述高动态范围图像分解为第一分量、第二分量以及第三分量；将所述第一分量和第二分量输入到预定的深度神经网络中，并利用所述深度神经网络分别对所述第一分量和第二分量进行映射，得到映射后的第一分量和第二分量；将所述映射后的第一分量以及第二分量与所述第三分量进行融合，得到融合后的与所述高动态范围图像相对应的低动态范围图像，以便完成色调映射。采用本申请的技术方案，能够降低色调映射图像的色差，更加鲁棒地完成色调映射。

A tone mapping method, device and electronic equipment

【技术实现步骤摘要】
一种色调映射方法、装置及电子设备
本说明书涉及数字图像处理
，尤其涉及一种色调映射方法、装置及电子设备。
技术介绍
随着高动态范围(HighDynamicRange，HDR)技术的飞速发展，各种高动态范围视频、图像等内容日益增多，高动态范围图像相比普通动态范围的图像，可以提供更多的动态范围和图像细节，因此高动态范围图像能够更好地还原真实环境中的视觉效果。然而，由于目前大多数多媒体设备仍然显示的是有限动态范围(即低动态范围)的图像，高动态范围图像无法在这类多媒体设备上正常显示，所以如何将高动态范围图像在这类设备上正常显示，即色调映射技术成为了数字图像处理领域中比较重要的技术。由于色调映射受限于多媒体设备的位深等条件，因此无法完全一致的在多媒体设备上重现高动态范围图像，于是如何在压缩动态范围的同时保留尽可能多的局部细节，即尽可能还原高动态范围图像成为了研究的重点。现有技术中，通过滤波器将高动态范围图像分为基本层和细节层，基础层包含图像的亮度等低频信息，细节层包含图像边缘等高频信息，对于基础层进行压缩，对细节层进行增强，最后融合成为低动态范围图像。然而，滤波的过程会引入光晕、伪影等噪声，并且这些噪声会对色调映射的结果产生严重影响，容易造成色差，降低图像的自然度，现有的色调映射方法无法鲁棒地完成高动态范围图像向低动态范围图像的转换。基于现有技术，需要提供一种能够避免噪声影响，降低图像色差，并且鲁棒地完成高动态范围图像向低动态范围图像转换的色调映射方案。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种色调映射方法、装置及电子设备，以解决现有技术存在的色调映射会产生色差，转换不够鲁棒的问题。为解决上述技术问题，本说明书实施例是这样实现的：本说明书实施例提供的一种色调映射方法，所述方法包括：获取一个或多个高动态范围图像，并对所述高动态范围图像的存储形式进行判断；当判断所述高动态范围图像的存储形式为预定的存储形式时，对所述高动态范围图像执行分解操作，得到所述高动态范围图像的第一分量、第二分量以及第三分量；将所述第一分量和第二分量输入到预定的深度神经网络中，并利用所述深度神经网络分别对所述第一分量和第二分量进行映射，得到映射后的第一分量和第二分量；将所述映射后的第一分量以及第二分量与所述第三分量进行融合，得到融合后的与所述高动态范围图像相对应的低动态范围图像，以便完成色调映射。可选地，所述对所述高动态范围图像执行分解操作之前，还包括：当判断所述高动态范围图像的存储形式为非预定的存储形式时，对所述高动态范围图像执行转换操作，以便将其转换为预定存储形式的高动态范围图像，并对所述转换后的高动态范围图像执行分解操作。可选地，所述预定的存储形式包括HSV颜色空间，所述对所述高动态范围图像执行分解操作，得到所述高动态范围图像的第一分量、第二分量以及第三分量，包括：对所述高动态范围图像所对应的HSV颜色空间中的分量进行提取，以便获取所述第一分量、第二分量以及第三分量；其中，所述第一分量包括饱和度信息，所述第二分量包括亮度信息，所述第三分量包括色相信息。可选地，所述预定的深度神经网络为生成对抗网络，所述生成对抗网络包括生成网络和判别网络，其中：所述生成网络基于U-Net网络建立，所述生成网络包括编码器和解码器，所述编码器内包含至少一个卷积块以及多个残差块，所述解码器内包含多个反卷积块；所述判别网络包括多个卷积块，每个所述卷积块内包含依次排列的卷积层、归一化层和激活层。可选地，所述生成对抗网络由预定的损失函数训练得到，所述损失函数包括生成对抗损失函数、均方误差函数和多尺度结构相似性损失函数中的一种或几种。可选地，所述将所述映射后的第一分量以及第二分量与所述第三分量进行融合，得到融合后的与所述高动态范围图像相对应的低动态范围图像，包括：将所述映射后的第一分量以及第二分量与所述第三分量进行叠加，得到符合预定存储形式的低动态范围图像。可选地，所述得到符合预定存储形式的低动态范围图像之后，还包括：对所述低动态范围图像执行转换操作，以便将其转换为RGB颜色空间所对应的低动态范围图像。本说明书实施例提供的一种色调映射装置，所述装置包括：获取模块，用于获取一个或多个高动态范围图像，并对所述高动态范围图像的存储形式进行判断；分解模块，用于当判断所述高动态范围图像的存储形式为预定的存储形式时，对所述高动态范围图像执行分解操作，得到所述高动态范围图像的第一分量、第二分量以及第三分量；映射模块，用于将所述第一分量和第二分量输入到预定的深度神经网络中，并利用所述深度神经网络分别对所述第一分量和第二分量进行映射，得到映射后的第一分量和第二分量；融合模块，用于将所述映射后的第一分量以及第二分量与所述第三分量进行融合，得到融合后的与所述高动态范围图像相对应的低动态范围图像，以便完成色调映射。可选地，所述装置还包括：第一转换模块，用于在对所述高动态范围图像执行分解操作之前，当判断所述高动态范围图像的存储形式为非预定的存储形式时，对所述高动态范围图像执行转换操作，以便将其转换为预定存储形式的高动态范围图像，并对所述转换后的高动态范围图像执行分解操作。可选地，所述预定的存储形式包括HSV颜色空间，所述分解模块具体用于：对所述高动态范围图像所对应的HSV颜色空间中的分量进行提取，以便获取所述第一分量、第二分量以及第三分量；其中，所述第一分量包括饱和度信息，所述第二分量包括亮度信息，所述第三分量包括色相信息。可选地，所述融合模块具体用于：将所述映射后的第一分量以及第二分量与所述第三分量进行叠加，得到符合预定存储形式的低动态范围图像。可选地，所述装置还包括：第二转换模块，用于在所述得到符合预定存储形式的低动态范围图像之后，对所述低动态范围图像执行转换操作，以便将其转换为RGB颜色空间所对应的低动态范围图像。本说明书实施例提供的一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述一种色调映射方法。本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：本专利技术通过获取一个或多个高动态范围图像，并判断高动态范围图像的存储形式，当高动态范围图像的存储形式为预定的存储形式时，将高动态范围图像分解为第一分量、第二分量以及第三分量；将第一分量和第二分量输入到预定的深度神经网络中，并利用深度神经网络分别对第一分量和第二分量进行映射，得到映射后的第一分量和第二分量；将映射后的第一分量以及第二分量与第三分量进行融合，得到融合后的与高动态范围图像相对应的低动态范围图像，以便完成色调映射。采用本申请的技术方案，能够避免噪声影响，降低色调映射后低动态范围图像的色差，实现更加鲁棒地完成高动态范围图像向低动态范围图像的转换。附图说明为了更清楚的说明本文档来自技高网...

【技术保护点】
1.一种色调映射方法，所述方法包括：/n获取一个或多个高动态范围图像，并对所述高动态范围图像的存储形式进行判断；/n当判断所述高动态范围图像的存储形式为预定的存储形式时，对所述高动态范围图像执行分解操作，得到所述高动态范围图像的第一分量、第二分量以及第三分量；/n将所述第一分量和第二分量输入到预定的深度神经网络中，并利用所述深度神经网络分别对所述第一分量和第二分量进行映射，得到映射后的第一分量和第二分量；/n将所述映射后的第一分量以及第二分量与所述第三分量进行融合，得到融合后的与所述高动态范围图像相对应的低动态范围图像，以便完成色调映射。/n

【技术特征摘要】
1.一种色调映射方法，所述方法包括：
获取一个或多个高动态范围图像，并对所述高动态范围图像的存储形式进行判断；
当判断所述高动态范围图像的存储形式为预定的存储形式时，对所述高动态范围图像执行分解操作，得到所述高动态范围图像的第一分量、第二分量以及第三分量；
将所述第一分量和第二分量输入到预定的深度神经网络中，并利用所述深度神经网络分别对所述第一分量和第二分量进行映射，得到映射后的第一分量和第二分量；
将所述映射后的第一分量以及第二分量与所述第三分量进行融合，得到融合后的与所述高动态范围图像相对应的低动态范围图像，以便完成色调映射。


2.如权利要求1所述的方法，所述对所述高动态范围图像执行分解操作之前，还包括：
当判断所述高动态范围图像的存储形式为非预定的存储形式时，对所述高动态范围图像执行转换操作，以便将其转换为预定存储形式的高动态范围图像，并对所述转换后的高动态范围图像执行分解操作。


3.如权利要求1所述的方法，所述预定的存储形式包括HSV颜色空间，所述对所述高动态范围图像执行分解操作，得到所述高动态范围图像的第一分量、第二分量以及第三分量，包括：
对所述高动态范围图像所对应的HSV颜色空间中的分量进行提取，以便获取所述第一分量、第二分量以及第三分量；其中，所述第一分量包括饱和度信息，所述第二分量包括亮度信息，所述第三分量包括色相信息。


4.如权利要求1所述的方法，所述预定的深度神经网络为生成对抗网络，所述生成对抗网络包括生成网络和判别网络，其中：
所述生成网络基于U-Net网络建立，所述生成网络包括编码器和解码器，所述编码器内包含至少一个卷积块以及多个残差块，所述解码器内包含多个反卷积块；
所述判别网络包括多个卷积块，每个所述卷积块内包含依次排列的卷积层、归一化层和激活层。


5.如权利要求4所述的方法，所述生成对抗网络由预定的损失函数训练得到，所述损失函数包括生成对抗损失函数、均方误差函数和多尺度结构相似性损失函数中的一种或几种。


6.如权利要求1所述的方法，所述将所述映射后的第一分量以及第二分量与所述第三分量进行融合，得到融合后的与所述高动态范围图像相对应的低动态范围图像，包括：
将所述映射后的第一分量以及第二分量与所述第三分量进行叠加，得到符合预定存储形式的低动态...

【专利技术属性】
技术研发人员：王荣刚，张宁，高文，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：广东;44