基于双分支神经网络的单曝光高动态范围图像生成方法技术

本发明专利技术公开了一种基于双分支神经网络的单曝光高动态范围图像生成方法，将现实场景中捕获的单帧LDR图像通过带有双分支的神经网络后输出高曝光区域与低曝光区域拥有更高成像质量的HDR图像。本发明专利技术通过双分支神经网络模型的两个分支分别对单帧LDR图像的高曝光与低曝光区域进行处理，最终得到的HDR图像在高曝光有更自然的色彩以及更丰富的细节，且在低曝光区域的噪声也能被有效的抑制。

Single exposure high dynamic range image generation method based on two branch neural network

【技术实现步骤摘要】
基于双分支神经网络的单曝光高动态范围图像生成方法
本专利技术属于图像处理
，具体涉及一种基于双分支神经网络的单曝光高动态范围图像生成方法的设计。
技术介绍
近年来，高动态范围(HDR)成像技术不仅受到了学术界的重视，也受到工业界广泛的关注，研究人员提出了许多获取高动态范围图像的方法。最常见的一种方法是利用捕获于同一个场景的多幅不同曝光的低动态范围(LDR)图像生成一帧高质量的高动态范围图像。然而，人们实际捕获的绝大多数图像往往只具有单次曝光，现实中存在海量的单曝光图像。因此，研究人员开始专注于研究从单帧低动态范围图像生成高动态范围图像的方法，并取得了一些进展。从传统的方法来看，单曝光HDR图像生成简单来说是对单帧图像的亮度范围以特定方法进行扩展拉伸，从而得到具有高对比度的HDR图像。单曝光HDR图像生成方法也可被分为两类，基于相机响应函数(CameraResponseFunction，CRF)的方法与基于反色调映射(InverseToneMapping，ITM)的方法。第一类方法根据输入图像对相应的CRF进行估计，再通过CRF对原辐照域的像素值进行映射得到HDR图像。第二类方法是目前主流的单帧HDR生成技术的主要方法，该方法通过对图像不同曝光区域进行分段映射或者使用特定反色调映射算子进行处理，使得原LDR图像的动态范围得以扩展且能增强高曝光与低曝光区域的细节信息，从而得到视觉效果更优的HDR图像。随着深度学习的应用日渐深入和渗透，近年来，开始出现使用卷积神经网络生成HDR图像的方法。深度网络不仅可以代替传统方法中各种复杂的算子进行LDR图像到HDR图像的非线性映射，还能改善传统方法泛化性不足、算法复杂难以通过硬件实现等缺点。对于基于单曝光的HDR图像生成方式而言，卷积神经网络通过提取并组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，拥有强大的拟合能力。使用深度学习的方法对单帧图像高亮度区域和低亮度区域的细节信息进行增强或恢复估计，能够极大的还原出单帧LDR图像所对应的原始场景光照，且相对于众多传统的HDR图像重建方法，在得到一个训练完成的深度网络后，其计算复杂度要小得多，具有更好的实时性。现有的大多数高动态范围图像生成方法都集中在仅对高亮度区域进行图像扩展，若图像在低亮度区域因动态范围不足而质量得不到保证时，这往往无法增强或恢复出在图像暗亮度区域本应可见的一些细节。
技术实现思路
本专利技术的目的是为了解决现有高动态范围图像生成方法存在的问题，提出了一种基于双分支神经网络的单曝光高动态范围图像生成方法，既能同时对图像高亮度区域和低亮度区域进行比特增强，又考虑到图像成像机制，具有高效性能。本专利技术的技术方案为：基于双分支神经网络的单曝光高动态范围图像生成方法，包括以下步骤：S1、采集现有的HDR图像，构建HDR图像数据集。S2、对HDR图像数据集中的HDR图像进行预处理，得到训练LDR图像。S3、将训练LDR图像输入双分支神经网络模型，对双分支神经网络模型进行训练。S4、当双分支神经网络模型收敛后，向双分支神经网络模型输入测试LDR图像，输出得到HDR图像。S5、将双分支神经网络模型嵌入到移动设备或普通的PC端上，对其输出的HDR图像进行后处理。进一步地，步骤S1具体为：使用相机的环绕曝光拍摄多帧合成的HDR图像或者采集已有的HDR图像资源，并通过人工或脚本筛选数据，剔除掉有较多坏像素或不符合要求的HDR图像数据，将剩余HDR图像数据构成HDR图像数据集。进一步地，步骤S2包括以下分步骤：S21、对HDR图像数据集中的HDR图像进行随机裁剪，得到随机裁剪图像。S22、采用resize函数将随机裁剪图像处理为固定大小的图像。S23、对固定大小的图像进行色调、饱和度的随机调整以及随机直方图裁剪，得到随机直方图裁剪图像。S24、对随机直方图裁剪图像进行随机参数的色调映射，得到训练LDR图像。进一步地，步骤S21中随机裁剪的比例为整幅图片RGB三个通道中像素值最高的前3％～5％。进一步地，步骤S3中的双分支神经网络模型包括亮分支和暗分支，在对双分支神经网络模型进行训练时，亮分支和暗分支分别使用其对应的损失函数。亮分支损失函数的计算公式为：其中表示双分支神经网络输出值，Y表示GroundTruth值，下标i,c表示通道c中的第i个像素，w,h分别表示图像的宽与高，ε为防止log内值为0的调整系数，αL表示亮分支损失函数中色调损失的权重，表示的第i个像素从RGB域转到HSV域的H通道的值，Hi表示真实图像第i个像素从RGB域转到HSV域的H通道的值，表示第i个像素的亮分支掩模，其计算公式为：其中ta为判定图像区域是否为高曝光的阈值，Ii表示图像第i个像素的亮度，其计算公式为：Ii＝0.299Xri+0.587Xgi+0.114Xbi其中Xri,Xgi,Xbi分别表示第i个像素的RGB值。暗分支损失函数的计算公式为：其中αD表示暗分支损失函数中色调损失的权重，表示第i个像素的暗分支掩模，其计算公式为：其中tb为判定图像区域是否为欠曝光的阈值。双分支神经网络模型的损失函数的计算公式为：其中ω1,ω2分别为用于平衡亮分支损失函数值和暗分支损失函数值的权重。进一步地，步骤S4包括以下分步骤：S41、当双分支神经网络模型收敛后，向双分支神经网络模型输入测试LDR图像。S42、根据阈值ta和tb计算得到测试LDR图像的亮分支掩模和暗分支掩模。S43、将测试LDR图像转至HDR域，并分别输入至双分支神经网络模型的亮分支和暗分支中。S44、将亮分支掩模与亮分支的输出进行点乘，得到第一点乘结果，同时将暗分支掩模与暗分支的输出进行点乘，得到第二点乘结果。S45、根据亮分支掩模和暗分支掩模计算得到正常曝光掩模并将其与测试LDR图像转至HDR域的结果进行点乘，得到第三点乘结果。S46、将第一点乘结果、第二点乘结果和第三点乘结果进行求和，得到HDR图像并输出。进一步地，步骤S45中正常曝光掩模的计算公式为：其中下标i表示第i个像素。进一步地，步骤S5中对双分支神经网络模型输出的HDR图像进行后处理包括直方图调整和去噪。本专利技术的有益效果是：(1)本专利技术通过深度学习的方法对单帧LDR图像的高曝光与低曝光区域所丢失的细节信息进行估计来重建HDR图像，能够实现高曝光与低曝光区域的丢失信息估计与线性化，最后重建得到质量更优的HDR图像。(2)本专利技术通过双分支神经网络模型的两个分支分别对单帧LDR图像的高曝光与低曝光区域进行处理，最终得到的HDR图像在高曝光有更自然的色彩以及更丰富的细节，且在低曝光区域的噪声也能被有效的抑制。(3)本专利技术在将单帧LDR图像输入双分支神经网络模型之前首先本文档来自技高网...

【技术保护点】
1.基于双分支神经网络的单曝光高动态范围图像生成方法，其特征在于，包括以下步骤：/nS1、采集现有的HDR图像，构建HDR图像数据集；/nS2、对HDR图像数据集中的HDR图像进行预处理，得到训练LDR图像；/nS3、将训练LDR图像输入双分支神经网络模型，对双分支神经网络模型进行训练；/nS4、当双分支神经网络模型收敛后，向双分支神经网络模型输入测试LDR图像，输出得到HDR图像；/nS5、将双分支神经网络模型嵌入到移动设备或普通的PC端上，对其输出的HDR图像进行后处理。/n

【技术特征摘要】
1.基于双分支神经网络的单曝光高动态范围图像生成方法，其特征在于，包括以下步骤：
S1、采集现有的HDR图像，构建HDR图像数据集；
S2、对HDR图像数据集中的HDR图像进行预处理，得到训练LDR图像；
S3、将训练LDR图像输入双分支神经网络模型，对双分支神经网络模型进行训练；
S4、当双分支神经网络模型收敛后，向双分支神经网络模型输入测试LDR图像，输出得到HDR图像；
S5、将双分支神经网络模型嵌入到移动设备或普通的PC端上，对其输出的HDR图像进行后处理。


2.根据权利要求1所述的单曝光高动态范围图像生成方法，其特征在于，所述步骤S1具体为：使用相机的环绕曝光拍摄多帧合成的HDR图像或者采集已有的HDR图像资源，并通过人工或脚本筛选数据，剔除掉有较多坏像素或不符合要求的HDR图像数据，将剩余HDR图像数据构成HDR图像数据集。


3.根据权利要求1所述的单曝光高动态范围图像生成方法，其特征在于，所述步骤S2包括以下分步骤：
S21、对HDR图像数据集中的HDR图像进行随机裁剪，得到随机裁剪图像；
S22、采用resize函数将随机裁剪图像处理为固定大小的图像；
S23、对固定大小的图像进行色调、饱和度的随机调整以及随机直方图裁剪，得到随机直方图裁剪图像；
S24、对随机直方图裁剪图像进行随机参数的色调映射，得到LDR图像。


4.根据权利要求3所述的单曝光高动态范围图像生成方法，其特征在于，所述步骤S21中随机裁剪的比例为整幅图片RGB三个通道中像素值最高的前3％～5％。


5.根据权利要求1所述的单曝光高动态范围图像生成方法，其特征在于，所述步骤S3中的双分支神经网络模型包括亮分支和暗分支，在对双分支神经网络模型进行训练时，所述亮分支和暗分支分别使用其对应的损失函数；
亮分支损失函数的计算公式为：



其中表示双分支神经网络输出值，Y表示GroundTruth值，下标i,c表示通道c中的第i个像素，w,h分别表示图像的宽与高，ε为防止log内值为0的调整系数，αL表示亮分支损失函数中...

【专利技术属性】
技术研发人员：霍永青，叶年进，李翰林，武畅，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51