当前位置: 首页 > 专利查询>天津大学专利>正文

一种基于Raw域的双支路HDR视频重建算法制造技术

技术编号:36976938 阅读:47 留言:0更新日期:2023-03-25 17:56
本发明专利技术公开了一种基于Raw域的双支路HDR视频重建算法,属于视频信号处理技术领域;一种基于Raw域的双支路HDR视频重建算法,具体包括如下步骤:S1、建立合成的Raw域视频HDR数据集;S2、基于S1设计双支路Raw视频HDR重建算法;S3、训练模型;S4、将测试集中低动态范围(LDR)的Raw视频序列输入到模型中,得到相应的高动态范围的输出结果;本发明专利技术在Raw域合成了第一个模拟真实噪声分布的视频HDR数据集,为夜晚或极端场景下HDR重建方法的训练和评估提供了基准数据集;同时利用所提出的内容增强模块,实现了困难场景下带噪LDR视频的动态范围扩展。展。展。

【技术实现步骤摘要】
一种基于Raw域的双支路HDR视频重建算法


[0001]本专利技术涉及视频信号处理
,尤其涉及一种基于Raw域的双支路HDR视频重建算法。

技术介绍

[0002]高动态范围(HDR)技术利用多张不同曝光的低动态范围(LDR)图片来扩展图像的动态范围,丰富图像细节和提高图像对比度。自然场景下的场景辐照度可能从10
‑5~109不等,而普通相机记录的照片可能只有8bit或10bit的位深度,无法完整捕获场景的亮度范围。相机捕获的动态范围小于场景的动态范围时,可能会使拍摄图像出现过曝或者欠曝的区域,影响视觉质量。
[0003]随着HDR技术的发展,从传统的基于统计方法的融合逐渐转向依赖于深度学习的方法重建HDR图像。这些深度学习的方法往往经历两个步骤,一是将不同时刻、不同曝光的LDR图像对齐,二是将对齐后的LDR图像融合为HDR图像。相较于图像HDR重建,视频HDR重建需要重建原始LDR帧序列中每一帧的HDR结果。现有的方法往往针对交替曝光的视频序列(如

2EV,+2EV,

2EV,
……
),采用基于滑动窗口的方法输入三张或五张相邻的不同曝光的LDR帧,经过对齐和融合重建出中间帧的HDR结果。
[0004]以往的视频HDR重建方法往往直接处理sRGB图像,然而sRGB图像经过了相机内部复杂的图像处理管道(ISP),如黑电平矫正、去马赛克、白平衡、伽马校正和色域转换等。这使得sRGB图像不仅损失了部分原始信息,同时一些非线性映射操作为HDR的重建带来了困难。而利用相机传感器输出的Raw域数据可以很好的解决上面的问题,Raw域数据含有更宽的bit位数,包含更丰富的场景信息,同时由于未经后续ISP处理的影响,Raw域数据具有更好的线性性质,更有利于实现HDR重建。
[0005]另一方面,对于过暗场景的HDR重建,往往需要考虑严重的噪声影响,Raw域数据能够更准确的建模噪声,从而令模型更好的学会真实场景的去噪,广泛应用于图像和视频去噪任务。同时现有的方法如Kalantari等人提出的Deep hdr video from sequences with alternating exposures.Computer Graphics Forum 38,193

205(2019)缺少针对过暗区域噪声的特殊设计,使得网络对于重建带噪图像的HDR表现不佳。Chen等人提出的Hdr video reconstruction:A coarse

to

fine network and a real

world benchmark dataset.In:Proceedings of the IEEE/CVF International Conference on Computer Vision.pp.2502

2511(2021)采用两阶段处理对齐和融合,使得短曝光图像作参考时细节被过度平滑,而长曝光作参考时又保留噪声。
[0006]综合上述内容可以看出,基于深度学习的HDR图像和视频的重建方法往往受到噪声的限制,现有的方法主要在sRGB域对图像进行训练,无法建模真实的噪声情况;同时网络结构主要针对对齐和融合进行设计,缺乏处理噪声的模块,导致困难场景下的HDR重建质量较低;为了解决上述问题,本专利技术提出了一种基于Raw域的双支路HDR视频重建算法。

技术实现思路

[0007]本专利技术的目的在于建立一个Raw视频HDR数据集,并在此基础上提出了一种基于Raw域的双支路HDR视频重建算法以解决
技术介绍
中所提到的问题。
[0008]为了实现上述目的,本专利技术采用了如下技术方案:
[0009]一种基于Raw域的双支路HDR视频重建算法,具体包括以下步骤:
[0010]S1、建立合成的Raw域视频HDR数据集:建立Raw数据集,具体包括以下内容:
[0011]S101、源sRGB视频数据选择:选择Froehlich和Kronander等人拍摄的21个sRGB域HDR视频和高质量视频数据集Vimeo

90K作为源sRGB视频数据。每个HDR视频通过选定的曝光参数重新曝光来模拟交替曝光LDR视频序列;
[0012]S102、Raw数据集建立:通过模拟相机成像管道流程,将sRGB视频转换为Raw视频数据集。具体步骤为:逆相机响应(CRF)曲线、模拟bayer格式、数据增强、重新曝光、添加噪声得到Raw域的HDR和LDR图像,将其作为Raw域的训练数据对;
[0013]S2、设计重建算法:基于S1中所得的数据对,采用LDR的Raw帧和HDR的Raw帧作为训练对来设计双支路Raw视频HDR重建算法;
[0014]S3、训练模型:基于S2中所设计的重建算法来搭建模型,并利用深度学习框架Pytorch平台训练模型,在整个数据集上迭代15个epcoh,随后减小学习率至0.00001,继续迭代直到损失收敛,得到最终模型;
[0015]S4、输出结果:将测试集中的低动态范围的Raw视频序列输入到S3中所得的最终模型中,得到相应的高动态范围的输出结果。
[0016]优选地,所述S102中提到模拟相机成像流程将sRGB视频转换为Raw视频,具体包括以下步骤:
[0017]S1021、对于Vimeo

90K数据集,通过估计CRF曲线,将视频帧由非线性域转换到线性域;
[0018]S1022、将3通道sRGB帧下采样为四分之一分辨率的四个通道:红、绿、绿、蓝,按照GRBG的bayer格式组合为mosaic图像;
[0019]S1023、将mosaic图像转换为G、R、B、G的4通道图像,然后随机进行缩放、平移、旋转;
[0020]S1024、按照特定的曝光参数将Raw域HDR帧转换为Raw域LDR帧;
[0021]S1025、为Raw域LDR帧添加模拟的高斯和泊松噪声。
[0022]优选地,所述S2中提到的设计双支路Raw视频HDR重建算法,具体包括以下步骤:
[0023]S201、噪声估计:每次输入三帧连续的raw域LDR帧S201、噪声估计:每次输入三帧连续的raw域LDR帧利用噪声估计网络估计噪声水平图:
[0024][0025]S202、数据处理和特征提取:输入三帧连续的raw域LDR帧S202、数据处理和特征提取:输入三帧连续的raw域LDR帧和其对应的曝光系数t
i
‑1、t
i
、t
i+1
,利用曝光系数对输入LDR图像进行曝光校正,校正公式为:
[0026][0027]利用上述公式将输入映射到同一曝光水平;
[0028]然后经过特征提取模块,利用卷积提取特征:
[0029][0030]其中,F
i
表示第i帧提取的特征,输入的LDR图本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于Raw域的双支路HDR视频重建算法,其特征在于,具体包括以下步骤:S1、建立合成的Raw域视频HDR数据集:建立Raw数据集,具体包括以下内容:S101、源sRGB视频数据选择:选择若干个现有的sRGB域HDR视频和高质量视频数据集作为源sRGB视频数据,每个HDR视频通过选定的曝光参数重新曝光来模拟交替曝光LDR视频序列;S102、Raw数据集建立:通过模拟相机成像管道流程,将sRGB视频转换为Raw视频数据集,具体步骤为:获取逆相机响应曲线

模拟bayer格式

数据增强

重新曝光

添加噪声得到Raw域的HDR和LDR图像,将所得的Raw域的HDR和LDR图像作为Raw域的训练数据对;S2、设计重建算法:基于S1中所得的数据对,采用LDR的Raw帧I
iraw
和HDR的Raw帧H
iraw
作为训练对来设计双支路Raw视频HDR重建算法;S3、训练模型:基于S2中所设计的重建算法来搭建模型,并利用深度学习框架Pytorch平台训练模型,在整个数据集上迭代15个epcoh,随后减小学习率至0.00001,继续迭代直到损失收敛,得到最终模型;S4、输出结果:将测试集中的低动态范围的Raw视频序列输入到S3中所得的最终模型中,得到相应的高动态范围的输出结果。2.根据权利要求1所述的一种基于Raw域的双支路HDR视频重建算法,其特征在于,所述S102中提到模拟相机成像流程将sRGB视频转换为Raw视频数据集,具体包括以下步骤:S1021、对于高质量视频数据集,通过估计CRF曲线,将视频帧由非线性域转换到线性域;S1022、将3通道sRGB帧下采样为四分之一分辨率的四个通道:红、绿、绿、蓝,按照GRBG的bayer格式组合为mosaic图像;S1023、将mosaic图像转换为G、R、B、G的4通道图像,然后随机进行缩放、平移、旋转;S1024、按照特定的曝光参数将Raw域HDR帧转换为Raw域LDR帧;S1025、为Raw域LDR帧添加模拟的高斯和泊松噪声。3.根据权利要求1所述的一种基于Raw域的双支路HDR视频重建算法,其特征在于,所述S2中提到的设计双支路Raw视频HDR重建算...

【专利技术属性】
技术研发人员:岳焕景彭昱博杨敬钰
申请(专利权)人:天津大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1