本发明专利技术公开了一种基于Raw域的双支路HDR视频重建算法，属于视频信号处理技术领域；一种基于Raw域的双支路HDR视频重建算法，具体包括如下步骤：S1、建立合成的Raw域视频HDR数据集；S2、基于S1设计双支路Raw视频HDR重建算法；S3、训练模型；S4、将测试集中低动态范围(LDR)的Raw视频序列输入到模型中，得到相应的高动态范围的输出结果；本发明专利技术在Raw域合成了第一个模拟真实噪声分布的视频HDR数据集，为夜晚或极端场景下HDR重建方法的训练和评估提供了基准数据集；同时利用所提出的内容增强模块，实现了困难场景下带噪LDR视频的动态范围扩展。展。展。
【技术实现步骤摘要】
一种基于Raw域的双支路HDR视频重建算法
[0001]本专利技术涉及视频信号处理
，尤其涉及一种基于Raw域的双支路HDR视频重建算法。
技术介绍
[0002]高动态范围(HDR)技术利用多张不同曝光的低动态范围(LDR)图片来扩展图像的动态范围，丰富图像细节和提高图像对比度。自然场景下的场景辐照度可能从10
‑5～109不等，而普通相机记录的照片可能只有8bit或10bit的位深度，无法完整捕获场景的亮度范围。相机捕获的动态范围小于场景的动态范围时，可能会使拍摄图像出现过曝或者欠曝的区域，影响视觉质量。
[0003]随着HDR技术的发展，从传统的基于统计方法的融合逐渐转向依赖于深度学习的方法重建HDR图像。这些深度学习的方法往往经历两个步骤，一是将不同时刻、不同曝光的LDR图像对齐，二是将对齐后的LDR图像融合为HDR图像。相较于图像HDR重建，视频HDR重建需要重建原始LDR帧序列中每一帧的HDR结果。现有的方法往往针对交替曝光的视频序列(如
‑
2EV，+2EV，
‑
2EV，
……
)，采用基于滑动窗口的方法输入三张或五张相邻的不同曝光的LDR帧，经过对齐和融合重建出中间帧的HDR结果。
[0004]以往的视频HDR重建方法往往直接处理sRGB图像，然而sRGB图像经过了相机内部复杂的图像处理管道(ISP)，如黑电平矫正、去马赛克、白平衡、伽马校正和色域转换等。这使得sRGB图像不仅损失了部分原始信息，同时一些非线性映射操作为HDR的重建带来了困难。而利用相机传感器输出的Raw域数据可以很好的解决上面的问题，Raw域数据含有更宽的bit位数，包含更丰富的场景信息，同时由于未经后续ISP处理的影响，Raw域数据具有更好的线性性质，更有利于实现HDR重建。
[0005]另一方面，对于过暗场景的HDR重建，往往需要考虑严重的噪声影响，Raw域数据能够更准确的建模噪声，从而令模型更好的学会真实场景的去噪，广泛应用于图像和视频去噪任务。同时现有的方法如Kalantari等人提出的Deep hdr video from sequences with alternating exposures.Computer Graphics Forum 38,193
–
205(2019)缺少针对过暗区域噪声的特殊设计，使得网络对于重建带噪图像的HDR表现不佳。Chen等人提出的Hdr video reconstruction:A coarse
‑
to
‑
fine network and a real
‑
world benchmark dataset.In:Proceedings of the IEEE/CVF International Conference on Computer Vision.pp.2502
–
2511(2021)采用两阶段处理对齐和融合，使得短曝光图像作参考时细节被过度平滑，而长曝光作参考时又保留噪声。
[0006]综合上述内容可以看出，基于深度学习的HDR图像和视频的重建方法往往受到噪声的限制，现有的方法主要在sRGB域对图像进行训练，无法建模真实的噪声情况；同时网络结构主要针对对齐和融合进行设计，缺乏处理噪声的模块，导致困难场景下的HDR重建质量较低；为了解决上述问题，本专利技术提出了一种基于Raw域的双支路HDR视频重建算法。
技术实现思路
[0007]本专利技术的目的在于建立一个Raw视频HDR数据集，并在此基础上提出了一种基于Raw域的双支路HDR视频重建算法以解决
技术介绍
中所提到的问题。
[0008]为了实现上述目的，本专利技术采用了如下技术方案：
[0009]一种基于Raw域的双支路HDR视频重建算法，具体包括以下步骤：
[0010]S1、建立合成的Raw域视频HDR数据集：建立Raw数据集，具体包括以下内容：
[0011]S101、源sRGB视频数据选择：选择Froehlich和Kronander等人拍摄的21个sRGB域HDR视频和高质量视频数据集Vimeo
‑
90K作为源sRGB视频数据。每个HDR视频通过选定的曝光参数重新曝光来模拟交替曝光LDR视频序列；
[0012]S102、Raw数据集建立：通过模拟相机成像管道流程，将sRGB视频转换为Raw视频数据集。具体步骤为：逆相机响应(CRF)曲线、模拟bayer格式、数据增强、重新曝光、添加噪声得到Raw域的HDR和LDR图像，将其作为Raw域的训练数据对；
[0013]S2、设计重建算法：基于S1中所得的数据对，采用LDR的Raw帧和HDR的Raw帧作为训练对来设计双支路Raw视频HDR重建算法；
[0014]S3、训练模型：基于S2中所设计的重建算法来搭建模型，并利用深度学习框架Pytorch平台训练模型，在整个数据集上迭代15个epcoh，随后减小学习率至0.00001，继续迭代直到损失收敛，得到最终模型；
[0015]S4、输出结果：将测试集中的低动态范围的Raw视频序列输入到S3中所得的最终模型中，得到相应的高动态范围的输出结果。
[0016]优选地，所述S102中提到模拟相机成像流程将sRGB视频转换为Raw视频，具体包括以下步骤：
[0017]S1021、对于Vimeo
‑
90K数据集，通过估计CRF曲线，将视频帧由非线性域转换到线性域；
[0018]S1022、将3通道sRGB帧下采样为四分之一分辨率的四个通道：红、绿、绿、蓝，按照GRBG的bayer格式组合为mosaic图像；
[0019]S1023、将mosaic图像转换为G、R、B、G的4通道图像，然后随机进行缩放、平移、旋转；
[0020]S1024、按照特定的曝光参数将Raw域HDR帧转换为Raw域LDR帧；
[0021]S1025、为Raw域LDR帧添加模拟的高斯和泊松噪声。
[0022]优选地，所述S2中提到的设计双支路Raw视频HDR重建算法，具体包括以下步骤：
[0023]S201、噪声估计：每次输入三帧连续的raw域LDR帧S201、噪声估计：每次输入三帧连续的raw域LDR帧利用噪声估计网络估计噪声水平图：
[0024][0025]S202、数据处理和特征提取：输入三帧连续的raw域LDR帧S202、数据处理和特征提取：输入三帧连续的raw域LDR帧和其对应的曝光系数t
i
‑1、t
i
、t
i+1
，利用曝光系数对输入LDR图像进行曝光校正，校正公式为：
[0026][0027]利用上述公式将输入映射到同一曝光水平；
[0028]然后经过特征提取模块，利用卷积提取特征：
[0029][0030]其中，F
i
表示第i帧提取的特征，输入的LDR图本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于Raw域的双支路HDR视频重建算法，其特征在于，具体包括以下步骤：S1、建立合成的Raw域视频HDR数据集：建立Raw数据集，具体包括以下内容：S101、源sRGB视频数据选择：选择若干个现有的sRGB域HDR视频和高质量视频数据集作为源sRGB视频数据，每个HDR视频通过选定的曝光参数重新曝光来模拟交替曝光LDR视频序列；S102、Raw数据集建立：通过模拟相机成像管道流程，将sRGB视频转换为Raw视频数据集，具体步骤为：获取逆相机响应曲线
→
模拟bayer格式
→
数据增强
→
重新曝光
→
添加噪声得到Raw域的HDR和LDR图像，将所得的Raw域的HDR和LDR图像作为Raw域的训练数据对；S2、设计重建算法：基于S1中所得的数据对，采用LDR的Raw帧I
iraw
和HDR的Raw帧H
iraw
作为训练对来设计双支路Raw视频HDR重建算法；S3、训练模型：基于S2中所设计的重建算法来搭建模型，并利用深度学习框架Pytorch平台训练模型，在整个数据集上迭代15个epcoh，随后减小学习率至0.00001，继续迭代直到损失收敛，得到最终模型；S4、输出结果：将测试集中的低动态范围的Raw视频序列输入到S3中所得的最终模型中，得到相应的高动态范围的输出结果。2.根据权利要求1所述的一种基于Raw域的双支路HDR视频重建算法，其特征在于，所述S102中提到模拟相机成像流程将sRGB视频转换为Raw视频数据集，具体包括以下步骤：S1021、对于高质量视频数据集，通过估计CRF曲线，将视频帧由非线性域转换到线性域；S1022、将3通道sRGB帧下采样为四分之一分辨率的四个通道：红、绿、绿、蓝，按照GRBG的bayer格式组合为mosaic图像；S1023、将mosaic图像转换为G、R、B、G的4通道图像，然后随机进行缩放、平移、旋转；S1024、按照特定的曝光参数将Raw域HDR帧转换为Raw域LDR帧；S1025、为Raw域LDR帧添加模拟的高斯和泊松噪声。3.根据权利要求1所述的一种基于Raw域的双支路HDR视频重建算法，其特征在于，所述S2中提到的设计双支路Raw视频HDR重建算...
【专利技术属性】
技术研发人员：岳焕景，彭昱博，杨敬钰，
申请(专利权)人：天津大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。