基于多分支编解码器神经网络的高动态范围图像生成方法技术

本发明专利技术公开了一种基于多分支编解码器神经网络的高动态范围图像生成方法，包括以下步骤：S1：采集HDR图像并进行清洗；S2：对清洗后的HDR图像进行预处理，得到LDR图像；S3：将LDR图像作为多分支编解码器神经网络模型的输入，并进行训练直至收敛；S4：利用训练后的多分支编解码器神经网络模型对输入测试图像进行测试，生成高动态范围图像。本发明专利技术提供了一种基于神经网络的高动态范围图像生成方法。该发明专利技术能将现实场景中捕获的单帧低动态范围图像通过多分支编解码器结构的神经网络后输出拥有高成像质量的高动态范围图像。像质量的高动态范围图像。像质量的高动态范围图像。

【技术实现步骤摘要】
基于多分支编解码器神经网络的高动态范围图像生成方法


[0001]本专利技术属于高动态图像生成
，具体涉及一种基于多分支编解码器神经网络的高动态范围图像生成方法。

技术介绍

[0002]近年来，高动态范围(HDR)图像相关技术在学术界和工业界得到了广泛的研究与应用。高动态范围图像涉及的技术主要有高动态范围图像获取、编码和显示等。针对高动态范围图像获取技术，最常见的方法是捕获同一场景的多帧不同曝光的低动态范围(LDR)图像后合成得到HDR图像。然而，以多帧LDR图像生成一帧高质量的HDR图像时，需要对多帧不同曝光的图像进行背景对齐并解决前景运动等问题，这些均对算法复杂度与重建效果产生不良影响。此外，现实中存在的大量图像都是单帧图像，且人们实际拍摄的大部分图像往往也是单曝光图像。随着相机性能提升，捕获到的单曝光图像拥有足够的信息用于重构高动态范围图像。因此，从单帧LDR图像生成HDR图像的方法也受到了研究人员的关注。
[0003]单曝光HDR图像成像的传统方法是以特定方法对单帧图像的亮度通道动态范围进行拉伸，从而得到具有高动态范围的HDR图像。主要算法可以被分为两类：基于相机响应函数(Camera Response Function,CRF)的方法与基于反色调映射算子(Inverse Tone Mapping,ITM)的方法。第一类方法是根据输入图像估计其对应的相机响应函数，再通过该函数作用于原辐照域的像素值得到目标HDR图像。第二类方法是主流的单帧HDR图像生成方法，通过对图像不同曝光区域使用分段映射函数或者以特定反色调映射算子进行计算，可使原LDR图像的动态范围得以扩展，并增强原图像成像不良区域的细节信息，使得生成的HDR图像拥有更好的视觉效果。
[0004]随着深度学习技术的发展，近年来，使用深度卷积神经网络生成HDR图像的方法开始出现。深度网络不仅可以代替传统方法中各种复杂算法实现LDR图像到HDR图像的非线性映射，还能改善传统方法泛化性不足且算法复杂难以在硬件上实现等缺点。在单曝光的HDR图像生成任务上，卷积神经网络通过对底层特征提取并组合，获得高层意义上的抽象特征表示，拥有强大的拟合能力。使用深度学习的方法对单帧图像不良区域的细节信息进行增强或恢复估计，能够极大再现单帧LDR图像所对应的原始场景信息，且相较于传统的HDR图像获取方法，训练完成的深度网络计算复杂度更小，实时性更优。

技术实现思路

[0005]本专利技术的目的是为了解决高动态图像生成的问题，提出了一种基于多分支编解码器神经网络的高动态范围图像生成方法。
[0006]本专利技术的技术方案是：一种基于多分支编解码器神经网络的高动态范围图像生成方法包括以下步骤：
[0007]S1：采集HDR图像并进行清洗；
[0008]S2：对清洗后的HDR图像进行预处理，得到LDR图像；
[0009]S3：将LDR图像作为多分支编解码器神经网络模型的输入，并进行训练直至收敛；
[0010]S4：利用训练后的多分支编解码器神经网络模型对输入测试图像进行测试，生成高动态范围图像。
[0011]本专利技术的有益效果是：本专利技术提供了一种基于神经网络的高动态范围图像生成方法。该专利技术能将现实场景中捕获的单帧低动态范围图像通过多分支编解码器结构的神经网络后输出拥有高成像质量的高动态范围图像。
[0012]进一步地，步骤S1中，采用多曝光方法生成HDR图像；进行清洗的方法为：利用人工或脚本剔除图像像素值为0区域超过阈值的坏像素和图像文件损坏的数据。
[0013]进一步地，步骤S2包括以下子步骤：
[0014]S21：对清洗后的HDR图像进行随机裁剪，并将HDR图像的尺寸调整为256*256；
[0015]S22：对调整尺寸后的HDR图像依次进行随机色调、饱和度调整、随机直方图裁剪和随机参数的色调映射，得到LDR图像。
[0016]上述进一步方案的有益效果是：在本专利技术中，高质量的HDR图像分辨率很大，为减轻计算上的负担，需要将原图进行随机裁剪，然后resize为固定尺寸的较小图片(本专利技术中模型使用的尺寸为256*256)，再对得到的图像进行随机色调、饱和度调整、随机直方图裁剪、随机参数的色调映射得到LDR图像。该系列操作需要控制生成质量适中的LDR图像，若生成LDR图像质量太差会导致网络无法正常收敛，质量太高使得网络效果不明显。
[0017]进一步地，步骤S2中，进行随机裁剪和随机直方图裁剪的裁剪对象为整幅图像RGB通道中像素值最高的前3％
‑
5％像素。
[0018]上述进一步方案的有益效果是：在本专利技术中，所使用的裁剪比例为整幅图片RGB通道中像素值最高的前3％～5％像素，这样的数据退化可被网络有效学习并能得到一定质量提升效果，并压制图像亮度，使得低曝光区域的值受限制于低范围内，并在8比特量化后出现一定信息丢失，供网络学习量化误差。
[0019]进一步地，步骤S3中，多分支编解码器神经网络模型包括编码器和解码器；
[0020]编码器包括细节信息处理网络、中频信息处理网络和全局信息处理网络；细节信息处理网络用于提取LDR图像的细节信息；中频信息处理网络用于提取LDR图像的中频特征信息；全局信息处理网络用于提取LDR图像的全局特征信息；
[0021]解码器包括信息融合网络；信息融合网络用于将级联后的细节信息、中频特征信息和全局特征信息进行融合。
[0022]上述进一步方案的有益效果是：在本专利技术中，编码器网络最终得到64通道大小1*1的特征信息，并使用复制操作得到64通道256*256大小的特征信息，用于最后解码。LDR图像输入网络，通过编码器的各个分支计算后，编码器各部分输出的特征信息进行融合。
[0023]进一步地，细节信息处理网络中，通道数分别为64和128，步长为1，卷积核填充值为1，形状为3*3；
[0024]中频信息处理网络中，通道数为64，步长为1，卷积核填充值为2，形状为3*3，稀疏卷积系数为2；
[0025]全局信息处理网络中，通道数为64，步长为1；第1组至第6组卷积核填充值为1，形状为3*3，第七组卷积核填充值为0，形状4*4。
[0026]上述进一步方案的有益效果是：在本专利技术中，细节信息处理网络中每个方块代表
一组卷积核，通道数(channel)分别为64与128，步长(stride)为1，填充值(padding)为1，形状为3*3；该部分关注像素级别的学习，完成细节信息提取。
[0027]中频信息处理网络中每个方块代表一组卷积核，通道数均为64，步长为1，填充值为2，形状为3*3，并使用系数为2的稀疏卷积扩大网络感受野，使得该部分网络提取输入LDR图像中频特征信息。
[0028]全局信息处理网络中每个方块代表一组卷积核，通道数均为64，其步长为1；前6组卷积核填充值为1，形状为3*3，最后一组卷积核填充值为0，形状4*4，使得该部分网络提取输入LDR图像全局特征信息。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多分支编解码器神经网络的高动态范围图像生成方法，其特征在于，包括以下步骤：S1：采集HDR图像并进行清洗；S2：对清洗后的HDR图像进行预处理，得到LDR图像；S3：将LDR图像作为多分支编解码器神经网络模型的输入，并进行训练直至收敛；S4：利用训练后的多分支编解码器神经网络模型对输入测试图像进行测试，生成高动态范围图像。2.根据权利要求1所述的基于多分支编解码器神经网络的高动态范围图像生成方法，其特征在于，所述步骤S1中，采用多曝光方法生成HDR图像；进行清洗的方法为：利用人工或脚本剔除图像像素值为0区域超过阈值的坏像素和图像文件损坏的数据。3.根据权利要求1所述的基于多分支编解码器神经网络的高动态范围图像生成方法，其特征在于，所述步骤S2包括以下子步骤：S21：对清洗后的HDR图像进行随机裁剪，并将HDR图像的尺寸调整为256*256；S22：对调整尺寸后的HDR图像依次进行随机色调、饱和度调整、随机直方图裁剪和随机参数的色调映射，得到LDR图像。4.根据权利要求3所述的基于多分支编解码器神经网络的高动态范围图像生成方法，其特征在于，所述步骤S2中，进行随机裁剪和随机直方图裁剪的裁剪对象为整幅图像RGB通道中像素值最高的前3％
‑
5％像素。5.根据权利要求1所述的基于多分支编解码器神经网络的高动态范围图像生成方法，其特征在于，所述步骤S3中，多分支编解码器神经网络模型包括编码器和解码器；所述编码器包括细节信息处理网络、中频信息处理网络和全局信息处理网络；所述细节信息处理网络用于提取LDR图像的细节信息；所述中频信息处理网络用于提取LDR图像的中频特征信息；所述全局信息处理网络用于提取LDR图像的全局特征信息；所述解码器包括信息融合网络；所述信息融合网络用于将级联后的细节信息、中频特征信息和全局特征信息进行融合。6.根据权利要求5所述的基于多分支编解码器神经网络的高动态范围图像生成方法，其特征在于，所述细节信息处理网络中，通道数分别为64和128，步长为1，卷积核填充值为1，形状为3*3；所述中频信息处理网络中，通道数为6...

【专利技术属性】
技术研发人员：霍永青，李翰林，甘静，刘耀辉，武畅，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：