脉冲相机融合普通相机重构高帧率高动态范围视频的方法技术

本发明专利技术公开了一种脉冲相机融合普通相机重构高帧率高动态范围视频的方法，包括以下步骤：S1、脉冲信号处理：对脉冲相机在时域内累积的光子进行积分获得脉冲重构图像，并进行光流估计；S2、彩色图像预处理：设置彩色工业相机不同曝光时间的循环交替曝光模式，对图像进行亮度矫正，并对模糊图像进行解模糊计算得到一组潜在图像，再对潜在图像重建彩色高帧率，获得无模糊图像；S3、脉冲引导的插帧与融合：使用基于循环卷积神经网络的融合插帧模块，对步骤S1中获取的脉冲重构图像进行上色，同时对步骤S2中求解得到的无模糊图像进行插帧，逐帧输出彩色HDR视频。本发明专利技术有效提高了融合图像的质量和帧率，实现高帧率高动态范围成像。实现高帧率高动态范围成像。实现高帧率高动态范围成像。

【技术实现步骤摘要】
脉冲相机融合普通相机重构高帧率高动态范围视频的方法


[0001]本专利技术涉及视频生成
，尤其涉及一种脉冲相机融合普通相机重构高帧率高动态范围视频的方法。

技术介绍

[0002]如何在高速运动场景中拍摄高帧率、高动态彩色视频都是底层成像领域难以完美解决的问题。这要求拍摄者的相机系统具有高帧率、高分辨率、高动态、低模糊等基本特性。然而，基于传统图像帧的商业相机在高速场景下依然存在数据冗余大和动态范围低的缺陷：以多个比特形式存在的连续视频帧存在大量冗余，受传输技术的限制，当相机以高帧率读出时，视频帧的分辨率会大大降低，采用片上储存虽然在一定程度上改善了这一问题，但数据的读出不具备实时性；受到帧率/快门极限的影响，高帧率必然限定了短曝光，进而导致相机对低光场景的感知能力差，增大快门时间又会导致帧率的下降，从而产生运动模糊和帧间信息跳变的问题。正是因为传统相机在高速场景下面临的缺陷，致使其在迫切需求的应用领域以及重大前沿基础科学探索领域都难以满足实际需求。
[0003]人类的眼睛能够看到的动态范围大概在10000：1的范围，但是普通相机的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种脉冲相机融合普通相机重构高帧率高动态范围视频的方法，其特征在于，包括以下步骤：S1、脉冲信号处理：对脉冲相机在时域内异步发放的光子进行积分获得脉冲重构图像，并计算脉冲光流场；S2、彩色图像预处理：设置彩色工业相机不同曝光时间的循环交替曝光模式，对图像进行亮度矫正，并对模糊图像进行解模糊计算得到一组潜在图像，再对潜在图像重建彩色高帧率，获得无模糊图像；S3、脉冲引导的插帧与融合：使用基于循环卷积神经网络的融合插帧模块，对步骤S1中获取的脉冲重构图像进行上色，同时对步骤S2中求解得到的无模糊图像进行插帧，逐帧输出彩色HDR视频。2.根据权利要求1所述的脉冲相机融合普通相机重构高帧率高动态范围视频的方法，其特征在于，步骤S1中，脉冲相机在时域内对不断发放光子的表示方法为：S(x，y)＝{s(x，y，t)}其中{
·
}表示集合，(x，y)是空间坐标，t是时间坐标，当像元对光子的积分达到设定阈值时，s的值为1，并置零等待下一次积分过程。3.根据权利要求1所述的脉冲相机融合普通相机重构高帧率高动态范围视频的方法，其特征在于，步骤S1中，脉冲流所包含的运动场信息通过图像重构获得，表示为：其中I
i
是t
i
时刻对应的脉冲重构图像，t
f
是积分时间窗口。4.根据权利要求1所述的脉冲相机融合普通相机重构高帧率高动态范围视频的方法，其特征在于，步骤S2中，彩色工业相机快门时间设定为1ms、4ms、12ms的循环交替曝光模式，帧率设定为60FPS。5.根据权利要求1所述的脉冲相机融合普通相机重构高帧率高动态范围视频的方法，其特征在于，步骤S2中，采用SG
‑
deblur模块对图像进行解模糊，模糊图像与潜在图像的关系为：其中B
blur
为模糊图像，N是需要求解的潜在图像数量，B
i
是第i张潜在图像；再经过SG
‑
interpolation模块重建1000FPS的彩色高帧率，获得无模糊图像。6.根据权利要求1所述的脉冲相机融合普通相机重构高帧率高动态范围视频的方法，其特征在于，步骤S3中，对脉冲重构图像进行超分辨，以使脉冲重构图像和彩色图像的空间分辨率匹配。7.根据权利要求1所述的脉冲相机融合普通相机重构高帧率高动态范围视频的方法，其特征在于，步骤S3中，采用PixelShuffle模块P(
·
)对脉冲重构图像进行特征提取和空间上采样，基于卷积神经网络的编码器对彩色图像进行特征提取，并将从脉冲重构图像提取的特征与彩色图像的特征进行融合，在采用基于ConvLSTM的循环卷积操作，保留时间域的信息，最后利用基于CNN的解码器获得脉冲重构图像I
i
对应的彩色图像C
i
。
8.根据权利要求1所述的脉冲相机融合普通相机重构高帧率高动态范围视频的方法，其特征在于，采用合成数据对步骤S3的神经网络进行训练，合成训练数据的步骤如下：a)设置彩色工业相机的帧率为80FPS，曝光时间依次为1ms、4ms、12ms，在低速运动场景拍摄视频序列，每组视频包含303张LDR图像，共拍摄160组训练数据和40组测试数据；b)对彩色图像进行时间维度的压缩，每3张彩色图像为一组，合成1张金标准HDR图像，每组共得到101张HDR图像，等效为0.101秒的高速视频；c)按照60FPS从合成的0.101秒视频中进行采样；共采集3张1ms图像帧，这三帧图像分别采集自第1、50、101组图像中的1ms曝光图像；共采集2张4ms图像帧，第一帧4ms图像采集自第17至20组中的4张4ms图像的平均值，第二帧4ms图像采集自第67至70组中的4张4ms图像的平均值；共采集2张12ms图像帧，第一帧12ms图像采集自第21至24组中的4张1...

【专利技术属性】
技术研发人员：施柏鑫，常亚坤，黄铁军，许超，周矗，洪雨辰，胡力文，
申请(专利权)人：北京大学，
类型：发明
国别省市：