一种基于半盲估计的噪声自适应视频去噪方法技术

本发明专利技术公开了一种基于半盲估计的噪声自适应视频去噪方法。该方法包括如下步骤：(1)构建基于物理噪声模型的半盲噪声分析神经网络模块；(2)构建包含异分布噪声的视频数据集，并对半盲噪声分析神经网络模块进行预训练；(3)构建循环式时间大跨度视频去噪神经网络模块；(4)将半盲噪声分析神经网络模块与视频去噪神经网络模块级联，并使用包含异分布噪声的视频数据集对级联后的模块进行端到端训练。本发明专利技术基于半盲噪声分析模块，对异分布噪声进行分布参数分析和估计，并利用分布参数指引视频去噪模块处理不同相机的异种分布噪声，充分提高了视频去噪算法在不同相机中应用的适应性和泛化性。化性。化性。

【技术实现步骤摘要】
一种基于半盲估计的噪声自适应视频去噪方法


[0001]本专利技术涉及计算视觉领域，尤其涉及一种基于半盲估计的噪声自适应视频去噪方法。

技术介绍

[0002]在低光环境下拍摄视频是具有相当大的挑战性的。低光环境下视频噪声表现得非常明显，对原本的视频信号产生极大干扰，使我们很难从中获取到需要的场景信息。另外，噪声分布极其复杂，包含了多种性质、表现不一的成分，比如光子到达、光电转换的随机涨落引起的的散粒噪声，晶体材料表面缺陷形成的泄漏电流和载流子热扩散引起的暗电流，读出电路中产生的读出噪声，还有电路波动、异步激发引起的行噪声，尤其在比较极端的光照下，无法用简单的概率分布去描述这种随机性的干扰。
[0003]对于不同相机，由于特定的电路设计或参数设定，各个噪声成分虽然基本服从同一分布，但是分布参数数值存在较大差异，所以形成的整体噪声随着相机或相机参数设置的变化，呈现异分布的特点，分布变化差异较大。现有的神经网络算法，只能针对特定相机或分布的噪声图像进行处理。其主要步骤是先基于物理噪声模型对特定相机的图像进行噪声分布参数标定，利用标定好的参数合成针对性的训练数据，来训练去噪网络。该类方法标定过程复杂繁琐，并且对于处理不同相机的噪声视频或图像，需要重标定和重训练，极大地浪费时间和计算资源。

技术实现思路

[0004]针对以上现有技术的困境，本专利技术的目的在于提出一种基于半盲估计的异分布噪声自适应视频去噪方法，通过对噪声分布参数进行自动分析估计，实现单个网络对不同相机的不同分布的视频噪声的去除。
[0005]本专利技术采用的技术方案如下：
[0006]一种基于半盲估计的噪声自适应视频去噪方法，该方法先对异分布噪声进行分布参数分析和估计，并利用所述分布参数指引视频去噪神经网络处理不同相机的异种分布噪声。
[0007]进一步地，该方法包括如下步骤：
[0008]步骤1，构建基于物理噪声模型的半盲噪声分析神经网络模块；
[0009]步骤2，构建包含异分布噪声的视频数据集，并对所述半盲噪声分析神经网络模块进行预训练；
[0010]步骤3，构建循环式时间大跨度视频去噪神经网络模块，通过双支路处理快慢两种帧率的视频序列，捕捉视频中不同尺度的时间特征；
[0011]步骤4，将所述半盲噪声分析神经网络模块与所述视频去噪神经网络模块级联，并使用步骤2构建的包含异分布噪声的视频数据集对级联后的模块进行端到端训练。
[0012]进一步地，所述步骤1中，采用物理噪声模型来对真实相机噪声进行建模：
[0013]y
i
＝T(K
c
·
β
c
·
(S
i
+D
i
+R
i
))，c∈{r，g，b}
[0014]其中，y
i
表示图像位置i处的像素值，T表示截断操作，K
c
表示全局增益，表示服从高斯分布的条纹噪声，方差为表示服从泊松分布的散粒噪声，方差和均值为N
e
，表示服从泊松分布的暗电流噪声，方差和均值为N
d
，表示服从高斯分布的读出噪声，方差为
[0015]构建包括若干长短期记忆模块的半盲噪声分析神经网络模块，对给定噪声视频，联合时空信息估计8个噪声模型参数
[0016]进一步地，所述步骤3中，将待去噪的视频序列V
F
＝{I1，I2，I3,I4,
…
}按照时间间隔d进行时间下采样，得到低帧率视频序列V
S
＝{I1，I
1+d
，I
1+2d
，I
1+3d
,
…
}，其中F表示快帧率，I表示帧，S表示低帧率；
[0017]构建基于长短期记忆模块LSTM的循环式快路编码器E
F
、慢路编码器E
S
来提取不同尺度地时间特征以及融合解码器D
SF
来重建清晰视频帧；将视频序列V
F
和V
S
分别与噪声模型参数进行通道合并，分别送入编码器E
F
和E
S
提取不同时间尺度的特征和当时间t∈{1,1+d，1+2d，1+3d,
…
}时，将特征和进行融合,并送入融合解码器D
SF
得到去噪结果y
t
，当时间时，将特征送入融合解码器D
SF
得到去噪结果y
t
。
[0018]进一步地，所述步骤4中，将所述半盲噪声分析神经网络模块估计的噪声参数进行空间复制，得到特征图，并将所述特征图与噪声图像通道合并，得到融合特征图，再将所述融合特征图送入到所述视频去噪神经网络模块进行处理，最后得到去噪结果。
[0019]本专利技术中采用的物理噪声模型包含了对截断效应、RGB通道不一致性、条纹噪声、散粒噪声、暗电流以及读出噪声的建模，能精确描述低光照下或者曝光不足的条件下相机噪声的性质，通过构建半盲噪声分析神经网络模块，对给定相机视频或图像进行噪声构成分析，得到一系列噪声分布参数，并以噪声分布参数指引视频去噪神经网络模块，进行不同相机噪声的自适应去噪。相比于现有的方案，本专利技术构建的半盲噪声分析神经网络模块优势在于，融入噪声物理来源和分布特性的先验，因此对噪声分析更加准确；其次，摆脱传统手动标定的复杂流程，只需输入待去噪图像，即可自动完成噪声分析；最后，该模块输出可作为去噪模块的指引，帮助完成来自不同相机的异种分布噪声的去除，实现快速的单网络适用多相机的目标。
附图说明
[0020]图1为本专利技术的流程示意图；
[0021]图2为半盲噪声分析神经网络模块示意图；
[0022]图3为循环式时间大跨度视频去噪神经网络模块示意图；
[0023]图4为视频去噪神经网络中的(a)编码器和(b)解码器示意图。
具体实施方式
[0024]下面将结合附图及具体实施例对本专利技术进行详细描述。
[0025]本实施例提供一种基于半盲估计的噪声自适应视频去噪方法，如图1所示，基于半盲噪声分析模块对异分布噪声进行分布参数分析和估计，并利用分布参数指引视频去噪模块处理不同相机的异种分布噪声，充分提高了视频去噪算法在不同相机中应用的适应性和泛化性。该方法具体包括如下步骤：
[0026]步骤1，构建基于物理噪声模型的半盲噪声分析神经网络模块；
[0027]采用物理噪声模型来对真实相机噪声进行建模：
[0028]y
i
＝T(K
c
·
β
c
·
(S
i
+D
i
+R
i
))，c∈{r，g，b}
[0029]，其中的y
i
表示图像位置i处的像素值，T表示截断操作，K
c
表示全局增益，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于半盲估计的噪声自适应视频去噪方法，其特征在于，该方法先对异分布噪声进行分布参数分析和估计，并利用所述分布参数指引视频去噪神经网络处理不同相机的异种分布噪声。2.根据权利要求1所述一种基于半盲估计的噪声自适应视频去噪方法，其特征在于，该方法包括如下步骤：步骤1，构建基于物理噪声模型的半盲噪声分析神经网络模块；步骤2，构建包含异分布噪声的视频数据集，并对所述半盲噪声分析神经网络模块进行预训练；步骤3，构建循环式时间大跨度视频去噪神经网络模块，通过双支路处理快慢两种帧率的视频序列，捕捉视频中不同尺度的时间特征；步骤4，将所述半盲噪声分析神经网络模块与所述视频去噪神经网络模块级联，并使用步骤2构建的包含异分布噪声的视频数据集对级联后的模块进行端到端训练。3.根据权利要求2所述的一种基于半盲估计的噪声自适应视频去噪方法，其特征在于，所述步骤1中，采用物理噪声模型来对真实相机噪声进行建模：y
i
＝T(K
c
·
β
c
·
(S
i
+D
i
+R
i
)),c∈{r,g,b}其中，y
i
表示图像位置i处的像素值，T表示截断操作，K
c
表示全局增益，表示服从高斯分布的条纹噪声，方差为表示服从高斯分布的条纹噪声，方差为表示服从泊松分布的散粒噪声，方差和均值为N
e
，表示服从泊松分布的暗电流噪声，方差和均值为N
d
，表示服从高斯分布的读出噪声，方差为构建包括若干长短期记忆模块的半盲噪声分析神经网络模块，对给定噪声视频，联合时空信息估计8个...

【专利技术属性】
技术研发人员：岳涛，陈鑫，胡雪梅，
申请(专利权)人：南京大学，
类型：发明
国别省市：