【技术实现步骤摘要】
本专利技术涉及视频生成，尤其涉及一种基于事件相机辅助的暗光视频增强方法及装置。
技术介绍
1、近年来，快速迭代更新的手机摄像头让每个人都能够成为随手摄影师，无人机在社会和工业场景的大规模应用也促进其摄像能力不断提升。目前，光线不足时高速场景下的摄影问题仍是业界的难题。在摄影中，人们常用极快的快门速度来在避免产生模糊的情况下捕捉快速运动，然而这同时也带来了极低的信噪比。更慢的快门速度可以提高信噪比，但同时也带来了运动模糊。这个快门速度的权衡问题使用现有的去模糊或多曝光融合方法皆难以处理。在体育录像和电影制作等专业摄像领域，一个常见的选择是在场景中放置大型补光灯，但其在一般摄影场景中的使用受限于便携性和功耗需求。
2、为了通过计算的手段来增强暗光高速场景下所拍摄视频的质量，人们常常使用视频增强算法来处理拍摄得到的原始暗光视频，以此提高退化图像的质量。视频增强的关键是利用视频帧之间的冗余性，融合前后帧之间一致的信息从而提高视频质量。其性能在很大程度上取决于基于视频帧的光流估计算法的质量，该算法有两个基本假设：i)场景中同一点在时空上的平移非常小；ii)场景中同一点在运动过程中其亮度保持不变，即亮度恒定性。然而，对于特征不太明显且受到噪声污染的暗光视频帧，这两个假设变得非常脆弱，难以被用于建立场景中运动着的点的匹配关系。尽管近年来深度学习的出现让许多基于学习的暗光视频增强方法的性能提上了一个台阶，但在像素位移较大的快速运动场景，视频帧质量的提升仍然十分具有挑战性。
3、现有技术1(seeing dynamic s
4、(1)在左边的帧间对齐模块fa中，给定连续5帧暗光视频帧it+i，i∈[-2，2]，首先通过三层卷积层和两个下采样层提取出他们的特征来在时空上传播其互信息，然后将相邻帧的信息通过可变形卷积层逐步隐式扭曲到中间帧上，得到融合的特征
5、(2)在右下的噪声抑制模块fn中，特征被映射为噪声图nt，该噪声图通过以下自监督去噪损失函数来约束：
6、
7、其中i∈[-2，2]，是it+i的平均rgb值。
8、(3)在右上的光照增强模块fi中，特征被映射为光照图st，该光照图通过以下损失函数来约束：
9、
10、其中表示输入暗光视频中间帧所对应的正常光照视频帧。
11、(4)最后的结果通过下式得到：
12、
13、然而，由于暗光视频帧中的对比度和信噪比极低，直接从单张暗光视频帧估计对应的正常光照视频帧是一个极具不适定性的问题，现有技术通过在训练时额外加入光流的引导可以对提高增强后视频帧之间的稳定性带来一定效果，但无法很好地克服问题本身的不适定性。
14、基于多帧暗光视频帧之间的对齐和融合可以一定程度上克服暗光视频增强问题的不适定性，提高视频帧的信噪比，但是由于暗光下噪声大和本身对比度低的影响，视频帧的特征点幅值弱、帧间匹配关系难以建立，这会极大地影响结果的质量。
15、事件相机以高动态范围、低延迟和低功耗异步记录对数亮度变化，为暗光高速场景下的摄影问题提供了有前景的方向。事件相机具有微秒级别的高时间分辨率，对于运动估计具有独特的优势，能够为高速运动场景中的帧之间提供可靠的帧间相关性，从而辅助视频增强。事件相机没有曝光时间的概念，因此不受困于使用长曝光时间引起的强模糊和使用短曝光时间引起的低信噪比之间的两难问题。综上所述，利用事件的高时间分辨率和高动态范围信息来引导暗光视频增强是暗光高速场景下得到高质量视频的一个极具潜力的方向。
16、现有技术2(learning to see in the dark with events)，将暗光下用事件相机捕捉的具有高动态范围的事件转化为标准的清晰图像，使用无监督领域适应方法来回避收集成对的事件-图像训练数据的困难，显式将领域不变特征(例如场景结构)与领域特定特征(例如细节纹理)分开，以简化表示学习，另外使用一个细节增强分支以残差方式从领域不变表示中重构出特定于白天光照的特征，并通过排名损失进行正则化。实现过程的算法流程如图2所示。具体为：
17、(1)正常光照事件和暗光事件被输入到共享的编码器ec中，以提取它们的表示和同时，正常光照事件还被输入到私有编码器ep中，同时带有一个噪声通道，产生源领域特定的残差
18、(2)通过加法操作，通过与鉴别器d的对抗训练来保证调制后的正常光照特征和暗光特征位于一个领域共享的特征空间中。
19、(3)细节增强分支te从共享特征中重构出正常光照域特定的残差。
20、(4)最后，一个共享的解码器r使用领域特定和共享表示来重构强度图像。“r/f”代表实际或伪造的逻辑值。
21、现有技术2通过将事件相机捕捉到的具有高动态范围的事件流转换成对应的光强值来得到正常光照的视频帧，然而，事件异步记录亮度变化，而帧同步记录绝对亮度，他们之间的直接转换具有很大的不适定性，而噪声的存在进一步增加了其困难。
技术实现思路
1、本专利技术针对现有技术在暗光高速场景下由于特征点的弱幅值导致帧间匹配关系难以建立的的问题，提出一种基于事件相机辅助的暗光视频增强方法及装置，通过对场景中同一点建立匹配关系来引导时空一致帧间信息的互补融合，从而提高视频的信噪比，通过在特征空间中建立事件和帧之间的多尺度全对的相关性，以补偿由于模态之间的差别以及暗光条件下难以逐像素对齐而导致的事件和帧之间空间和模态不对齐问题。
2、为了实现上述目的，本专利技术提供如下技术方案：
3、本专利技术提供一种基于事件相机辅助的暗光视频增强方法，包括以下步骤：
4、s1、采用帧相机和事件相机的混合摄像系统获取连续多帧暗光视频帧序列以及这段时间内触发的对应事件信号et-n→t+n，其中n是时间半径，事件相机的空间分辨率h′×w′低于帧相机的空间分辨率h×w；
5、s2、利用两个模态特征编码器和分别从暗光视频帧lt和事件信号et→t+1中提取帧特征和事件特征
6、s3、帧特征和事件特征经过多模态相关性模块对齐，得到与帧特征空间对齐的事件特征以及联合估计的光流st→t+1；
7、s4、当前帧特征下一帧特征以及与当前帧特征空间对齐的事件特征在光流st→t+1的引导下通过时间相关性传播模块融合成噪声抑制的特征
8、s5、将帧特征和事件特征输入曝光估计模块得到曝光参数图pt，将曝光参数图pt应用于噪声抑制的特征经过解码器得到降噪帧再通过求逆得到最终的恢复帧it。
9、进一步地，步骤s3本文档来自技高网...
【技术保护点】
1.一种基于事件相机辅助的暗光视频增强方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于事件相机辅助的暗光视频增强方法，其特征在于，步骤S3中多模态相关性模块所提取的四维相关体建立步骤如下：
3.根据权利要求2所述的基于事件相机辅助的暗光视频增强方法，其特征在于，所述多模态相关性模块对四维相关体沿事件的空间维度进行三次池化因子为2的平均池化，从而获得在尺度为s上的相关体
4.根据权利要求1所述的基于事件相机辅助的暗光视频增强方法，其特征在于，步骤S3中，所述多模态相关性模块利用四维相关体将帧特征和事件特征对齐得到帧特征和事件特征对齐的特征的过程包括：
5.根据权利要求1所述的基于事件相机辅助的暗光视频增强方法，其特征在于，步骤S3中，所述多模态相关性模块利用四维相关体从帧特征和事件特征联合估计的光流St→t+1的过程包括：
6.根据权利要求5所述的基于事件相机辅助的暗光视频增强方法，其特征在于，在暗光视频帧Lt中的每个像素p的传感器坐标中距离中心p′的半径r的相关局部区域以共同估计来自事件Et→t+1和帧Lt
7.根据权利要求1所述的基于事件相机辅助的暗光视频增强方法，其特征在于，步骤S4中，通过时间相关性传播模块融合成噪声抑制的特征的过程包括：
8.根据权利要求1所述的基于事件相机辅助的暗光视频增强方法，其特征在于，步骤S4中，曝光估计模块使用参数为1/2.2的伽马曲线来近似相机响应函数，并选择曝光参数网络来预测曝光参数图Pt。
9.根据权利要求8所述的基于事件相机辅助的暗光视频增强方法，其特征在于，步骤S4中，通过曝光估计模块得到曝光参数图Pt的过程包括：
10.一种基于事件相机辅助的暗光视频增强装置，其特征在于，包括以下模块以实现权利要求1-9任一项所述的方法：
...【技术特征摘要】
1.一种基于事件相机辅助的暗光视频增强方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于事件相机辅助的暗光视频增强方法，其特征在于，步骤s3中多模态相关性模块所提取的四维相关体建立步骤如下：
3.根据权利要求2所述的基于事件相机辅助的暗光视频增强方法，其特征在于，所述多模态相关性模块对四维相关体沿事件的空间维度进行三次池化因子为2的平均池化，从而获得在尺度为s上的相关体
4.根据权利要求1所述的基于事件相机辅助的暗光视频增强方法，其特征在于，步骤s3中，所述多模态相关性模块利用四维相关体将帧特征和事件特征对齐得到帧特征和事件特征对齐的特征的过程包括：
5.根据权利要求1所述的基于事件相机辅助的暗光视频增强方法，其特征在于，步骤s3中，所述多模态相关性模块利用四维相关体从帧特征和事件特征联合估计的光流st→t+1的过程包括：
6.根据权利要求...
【专利技术属性】
技术研发人员：施柏鑫，梁锦秀，许勇，杨溢鑫，李博宇，段沛奇，
申请(专利权)人：北京大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。