一种针对两阶段卷积神经网络的视频降噪方法技术

本发明专利技术公开了一种针对两阶段卷积神经网络的视频降噪方法，包括以下步骤：将去噪过程分成两阶段，第一阶段采用盲空间去噪器对不同噪声进行去噪；第二阶段采用时间去噪块进行去噪以减少视频的闪烁情况；在第一阶段，目标是使用一个盲目的空间去噪器对输入帧进行单独去噪；在下一阶段使用时间去噪块前，首先采用光流技术，将相邻的T个帧扭曲到中心帧，然后将2T+1个对齐的帧串联起来，并送入一个时间去噪块进行去噪；对去噪视频重复运行这一流程至遍历测试数据集的全部视频序列的全部视频帧。本发明专利技术利用相邻帧的时间信息的时间去噪块，将两个去噪块相结合，可以在去除不同类型的噪声基础上，消除视频闪烁问题，提高去噪视频的质量。提高去噪视频的质量。提高去噪视频的质量。

【技术实现步骤摘要】
一种针对两阶段卷积神经网络的视频降噪方法


[0001]本专利技术涉及计算机视觉领域，特别涉及一种针对两阶段卷积神经网络的视频降噪方法。

技术介绍

[0002]视频信号产生噪声的主要原因是在对其进行采集、压缩、传输等过程中受到所使用的设备、周围环境以及传输信道等因素的干扰而产生了数字失真。视频噪声会导致接受到的视频信号质量严重下降，这不仅会让视频观感变差，还大大增加后续对视频图像的处理分析的难度。因此，视频降噪算法的研究有着广泛的应用价值和实际意义。
[0003]深度学习的进展使卷神经网络(CNN)在图像和视频降噪领域大受欢迎。经过几十年的研究，大量优秀的算法已经被开发出来，特别是针对高斯噪声的去除。大多数CNN降噪器都应用了一个判别性学习框架，这种框架使用关于噪声分布和清洁噪声的先验知识进行训练。然而，图像噪声的形成是一个复杂的过程，所以现实中的噪声很难建模。当噪声分布预先知道的时候，那些用自我监督策略训练的模型在合成实验中可以很好的工作。但是这些方法在处理真实世界中未知分布的噪声时，效果往往会变得十分糟糕。为了缓解这个问题，一些方法使用被多个不同分布和水平的噪声破坏的复合训练集进行训练，比如Dn CNN
‑
B。这种方法虽然在一定程度上缓解了训练和测试时噪声分布不匹配的问题，但基于CNN的去噪器需要大量的无噪声图像对进行训练，而要在现实生活中获得足够多的无噪声图像对是十分困难的。对于静止图像，一些研究试图通过对某一场景中数百幅噪声图像进行平均来获得无噪声图像。另一方面，也有研究提出提出通过改变曝光时间来使拍摄的图片接近于无噪声。但这样的解决方案是昂贵的，而且在实践中获得这样的图像对十分麻烦和烦琐。另一个想法是结合合成和真实的嘈杂图像来训练网络，如CBDNet。这类模型不能完全学习真实照片中的噪声，因此其去噪性能依赖于合成噪声和真实噪声之间的配合。Lehtinen等人发现，用噪声
‑
噪声图像对训练一个模型，与用噪声
‑
无噪声图像对进行训练产生的性能几乎相同。由此，他们提出了一个被称为Noise2Noise的方法。此方法需要对同一场景进行多个独立的噪声观测，因此限制了其应用。对于视频降噪，在每个场景捕获多个噪声观测值更加困难。最近，Ehret等人从noise2noise中得到启发，提出了一种全盲视频降噪方法。它使用了帧到帧的策略来微调一个预先训练好的模型，以达到从视频中去除未知噪声的效果。这种方法的局限性在于，它没有考虑到相邻帧之间的时间信息。此外，该方法使用光流将一个帧扭曲到另一个帧，以产生独立的噪声观察。然而，由于光流计算误差，对应于两个独立噪声观测的干净图像是不同的。这不符合Noise2noise理论对同一底层洁净图像的两个独立的噪声观测的要求。
[0004]在本专利技术中，基于Ehret等人的工作，提出了一个新的深度盲视频去噪模型来克服以上的限制。该方法被由两个块组成。其中一个区块用于盲空间去噪，它能够在未知噪声模型的情况下去除噪声。一个正则化项被引入以解决两个噪声观测值之间的真实差异，这两个观测值是由一个扭曲的帧和一个原始噪声图像组成的噪声图像。另一个区块是时间去噪
块，通过充分利用视频中前后信息的相关性，以达到对视频噪声去除的最好效果。

技术实现思路

[0005]本专利技术要解决的技术问题是：针对未知噪声下的视频去噪任务，设计了一种将空间去噪块与时间去噪块相结合的两阶段去噪网络，该网络不仅能够在没有先验知识的情况下去除多种类型的噪声，还可以消除视频闪烁，提高去噪视频质量。
[0006]为了实现以上技术目的，本专利技术采用如下技术方案：
[0007]一种针对两阶段卷积神经网络的视频降噪方法，包括以下步骤：将去噪过程分成两阶段，第一阶段采用盲空间去噪器对不同噪声进行去噪；第二阶段采用时间去噪块进行去噪以减少视频的闪烁情况；在第一阶段，目标是使用一个盲目的空间去噪器对输入帧进行单独去噪；在下一阶段使用时间去噪块前，首先采用光流技术，将相邻的T个帧扭曲到中心帧，然后将2T+1个对齐的帧串联起来，并送入一个时间去噪块进行去噪；对去噪视频重复运行这一流程至遍历测试数据集的全部视频序列的全部视频帧。
[0008]进一步地，所述的针对两阶段卷积神经网络的视频降噪方法，包括以下步骤：
[0009]步骤1：生成一对同一场景的噪声图像，假设视频第t帧图像x
t
，则和它形成图像对的图像选取它的前一帧即第t
‑
1帧图像；
[0010]步骤2：将第t帧图像x
t
的噪声观测值记为f
t
，将第t
‑
1帧图像的噪声记为f
t
‑1，将f
t
和f
t
‑1输入到光流网络，使用网络将前一帧图像扭曲到当前帧，计算第t帧和第t
‑
1帧之间的因光流扭曲的噪声观测值w(f
t
‑1)；
[0011]步骤3：将图像f
t
、f
t
‑1和w(f
t
‑1)输入到去噪网络F
θ
，分别得到f
t
、f
t
‑1和w(f
t
‑1)去噪后的图像F
θ
(f
t
)、F
θ
(f
t
‑1)和F
θ
(w(f
t
‑1))；
[0012]步骤4：使用图像对(f
t
、w(f
t
‑1))，通过最小化损失来训练网络，其中E代表的是期望计算；
[0013]步骤5：由理论知识可知，图像x
t
与w(f
t
‑1)并非完全相等，其图像之间存在非零间隙ε，即所以对步骤4中的式子引入一个约束：
[0014]E{f
t
‑
F
θ
(w(f
t
‑1))
‑
F
θ
(w(f
t
)+w(F
θ
(f
t
‑1))}＝0
[0015]其中，w(F
θ
(f
t
‑1))是对F
θ
(f
t
‑1)和w(f
t
‑1)图像对进行光流估计得到的观测值；
[0016]步骤6：整合步骤4和步骤5，将寻找网络最优参数的过程表示为一下约束问题：
[0017][0018]s.t.E{f
t
‑
F
θ
(w(f
t
‑1))
‑
F
θ
(w(f
t
)+w(F
θ
(f
t
‑1))}＝0；
[0019]步骤7：将约束条件进行正则化添加到损失函数中，即引入正本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对两阶段卷积神经网络的视频降噪方法，其特征在于，包括以下步骤：将去噪过程分成两阶段，第一阶段采用盲空间去噪器对不同噪声进行去噪；第二阶段采用时间去噪块进行去噪以减少视频的闪烁情况；在第一阶段，目标是使用一个盲目的空间去噪器对输入帧进行单独去噪；在下一阶段使用时间去噪块前，首先采用光流技术，将相邻的T个帧扭曲到中心帧，然后将2T+1个对齐的帧串联起来，并送入一个时间去噪块进行去噪；对去噪视频重复运行这一流程至遍历测试数据集的全部视频序列的全部视频帧。2.根据权利要求1所述的针对两阶段卷积神经网络的视频降噪方法，其特征在于，包括以下步骤：步骤1：生成一对同一场景的噪声图像，假设视频第t帧图像x
t
，则和它形成图像对的图像选取它的前一帧即第t
‑
1帧图像；步骤2：将第t帧图像x
t
的噪声观测值记为f
t
，将第t
‑
1帧图像的噪声记为f
t
‑1，将f
t
和f
t
‑1输入到光流网络，使用网络将前一帧图像扭曲到当前帧，计算第t帧和第t
‑
1帧之间的因光流扭曲的噪声观测值w(f
t
‑1)；步骤3：将图像f
t
、f
t
‑1和w(f
t
‑1)输入到去噪网络F
θ
，分别得到f
t
、f
t
‑1和w(f
t
‑1)去噪后的图像F
θ
(f
t
)、F
θ
(f
t
‑1)和F
θ
(w(f
t
‑1))；步骤4：使用图像对(f
t
、w(f
t
‑1))，通过最小化损失来训练网络，其中E代表的是期望计算；步骤5：由理论知识可知，图像x
t
与w(f
t
‑1)并非完全相等，其图像之间存在非零间隙ε，即所以对步骤4中的式子引入一个约束：E{f
t
‑
F
θ
(w(f
t
‑1))
‑
F
θ
(w(f
t
)+w(F
θ
(f
t
‑1))}＝0其中，w(F
θ
(f
t
‑1))是对F
θ

【专利技术属性】
技术研发人员：李福生，万优，鲁欣，张焕龙，赵彦春，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：