用于视频的降噪方法及其装置制造方法及图纸

本发明专利技术公开了一种用于视频的降噪方法及其装置，该降噪方法包括以下步骤：接收到以时间顺序排列的T个视频帧，每个视频帧均由M行N列个像素构成；将T个前景视频帧分解成T个前景视频帧和T个背景视频帧；对T个前景视频帧和T个背景视频帧进行降噪处理，之后，将降噪之后的T个前景视频帧和T个背景视频帧合并为降噪之后的T个视频帧。综上所述，该降噪方法能够完成视频降噪。成视频降噪。成视频降噪。

【技术实现步骤摘要】
用于视频的降噪方法及其装置


[0001]本专利技术涉及视频降噪
，尤其涉及用于视频的降噪方法及其装置。

技术介绍

[0002]在实际实践中，对于纯净视频(未受到噪音污染的视频数据)的收集是比较困难的甚至有些视频数据无法获取，因此基于监督学习的视频降噪方法通常难以应用在实际当中。在现有技术中，有许多的基于监督学习方法的视频降噪技术被提出，然而由于监督学习先天具备上述的缺点，因此无法大规模使用。因此，需要设计一种无监督学习的降噪方法。

技术实现思路

[0003]有鉴于此，本专利技术的主要目的在于提供一种用于视频的降噪方法及其装置。
[0004]为达到上述目的，本专利技术的技术方案是这样实现的：一种用于视频的降噪方法，包括以下步骤：接收到以时间顺序排列的T个视频帧Y1，Y2，...，Y
T
，每个视频帧Y
i
均由M行N列个像素构成；其中，T，M，N和i均为自然数，且T≥2，1≤i≤T；创建T个前景视频帧F1，F2，...，F
T
和T个背景视频帧B1，B2，...，B
T
，且F1＝0，B1＝Y1；基于partialSVD对视频帧Y1进行处理，即U1,X1,V1＝partialSVD(B1,r)，其中，U1是M行M列矩阵，V1是N行N列矩阵，X1是M行N列对角矩阵，r为预设秩值；初始化m＝1且t＝2，持续执行第一操作：将m值增加1，U
t
,X
t
,V
t
＝incSVD(Yr/>t
,U
t
‑1,X
t
‑1,V
t
‑1)，持续执行n次第二操作，当m≥预设阀值R时，dwnSVD(1,U
t
,X
t
,V
t
)，当m＝1，之后，将t值增加1；第二操作具体包括：B
t
＝U
t
’
*X
t
*V
tT
，U
t
’
为U
t
的M行1至r列元素组成，V
tT
为V
t
的转置，F
t
＝sgn(Y
t
‑
B
t
)*max(0，|Y
t
‑
B
t
|
‑
γ)，其中，γ为预设参数，sgn()为符号函数；且在第二次操作已经执行了n次时，执行U
t
,X
t
,V
t
＝repSVD(Y
t
，F
t
，U
t
，X
t
，V
t
)；对T个前景视频帧F1，F2，...，F
T
进行降噪处理，并且对T个背景视频帧B1，B2，...，B
T
进行降噪处理，之后，将降噪之后的T个前景视频帧F1，F2，...，F
T
和T个背景视频帧B1，B2，...，B
T
合并为降噪之后的T个视频帧。
[0005]作为本专利技术实施例的一种改进，所述“对T个前景视频帧F1，F2，...，F
T
进行降噪处理，并且对T个背景视频帧B1，B2，...，B
T
进行降噪处理”具体包括：获取预设的轻量级神经网络，将所述T个前景视频帧F1，F2，...，F
T
输入所述轻量级神经网络进行降噪处理，将所述T个背景视频帧B1，B2，...，B
T
输入所述轻量级神经网络进行降噪处理；所述轻量级神经网络由多个干净图像和与之匹配的噪声图像训练而成；所述轻量级神经网络包括：SqueezeNet神经网络、ShuffleNet神经网络、MnasNet神经网络、MobileNet神经网络、CondenseNet神经网络、ESPNet神经网络、ChannelNets神经网络、PeleeNet神经网络、IGC神经网络、FBNet神经网络、EfficientNet神经网络、GhostNet神经网络、WeightNet神经网络、MicroNet神经网络和U
‑
NET神经网络。
[0006]作为本专利技术实施例的一种改进，所述“所述轻量级神经网络由多个干净图像和与之匹配的噪声图像训练而成”具体包括：将多个噪声图像化输入到深度神经网络D
θ
，并输出
与每个噪声图像相匹配的干净图像，之后，基于多个干净图像和与之匹配的噪声图像，训练所述轻量级神经网络。
[0007]作为本专利技术实施例的一种改进，所述“对T个前景视频帧F1，F2，...，F
T
进行降噪处理”具体包括：将T个前景视频帧F1，F2，...，F
T
划分为多个前景视频帧组，每个前景视频帧组均包含有多个前景视频帧，基于光流法，对每个前景视频帧组中的多个前景视频帧进行降噪处理。
[0008]作为本专利技术实施例的一种改进，所述“基于光流法，对每个前景视频帧组中的多个前景视频帧进行降噪处理”具体包括：对每个前景视频帧组均进行以下处理：从所述前景视频帧组中选择一个关键前景视频帧，计算所述前景视频帧组中所有前景视频帧相对于所述关键前景视频帧的光流信息，基于所述光流信息，将所有前景视频帧相对于所述关键前景视频帧进行配准处理，之后，对配准之后的所有前景视频帧进行降噪处理。
[0009]本专利技术实施例还提供了一种用于视频的降噪装置，包括以下模块：数据获取模块，用于接收到以时间顺序排列的T个视频帧Y1，Y2，...，Y
T
，每个视频帧Y
i
均由M行N列个像素构成；其中，T，M，N和i均为自然数，且T≥2，1≤i≤T；初始化模块，用于创建T个前景视频帧F1，F2，...，F
T
和T个背景视频帧B1，B2，...，B
T
，且F1＝0，B1＝Y1；基于partialSVD对视频帧Y1进行处理，即U1,X1,V1＝partialSVD(B1,r)，其中，U1是M行M列矩阵，V1是N行N列矩阵，X1是M行N列对角矩阵，r为预设秩值；前后景提取模块，用于初始化m＝1且t＝2，持续执行第一操作：将m值增加1，U
t
,X
t
,V
t
＝incSVD(Y
t
,U
t
‑1,X
t
‑1,V
t
‑1)，持续执行n次第二操作，当m≥预设阀值R时，dwnSVD(1,U
t
,X
t
,V
t
)，当m＝1，之后，将t值增加1；第二操作具体包括：B
t
＝U
t
’
*X
t
*V
tT
，U
t
’
为U
t<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于视频的降噪方法，其特征在于，包括以下步骤：接收到以时间顺序排列的T个视频帧Y1，Y2，...，Y
T
，每个视频帧Y
i
均由M行N列个像素构成；其中，T，M，N和i均为自然数，且T≥2，1≤i≤T；创建T个前景视频帧F1，F2，...，F
T
和T个背景视频帧B1，B2，...，B
T
，且F1＝0，B1＝Y1；基于partialSVD对视频帧Y1进行处理，即U1，X1，V1＝partialSVD(B1，r)，其中，U1是M行M列矩阵，V1是N行N列矩阵，X1是M行N列对角矩阵，r为预设秩值；初始化m＝1且t＝2，持续执行第一操作：将m值增加1，U
t
，X
t
，V
t
＝incSVD(Y
t
，U
t
‑1，X
t
‑1，V
t
‑1)，持续执行n次第二操作，当m≥预设阀值R时，dwnSVD(1，U
t
，X
t
，V
t
)，当m＝1，之后，将t值增加1；第二操作具体包括：B
t
＝U
t
’
*X
t
*V
tT
，U
t
’
为U
t
的M行1至r列元素组成，V
tT
为V
t
的转置，F
t
＝sgn(Y
t
‑
B
t
)*max(0，|Y
t
‑
B
t
|
‑
γ)，其中，γ为预设参数，sgn()为符号函数；且在第二次操作已经执行了n次时，执行U
t
，X
t
，V
t
＝repSVD(Y
t
，F
t
，U
t
，X
t
，V
t
)；对T个前景视频帧F1，F2，...，F
T
进行降噪处理，并且对T个背景视频帧B1，B2，...，B
T
进行降噪处理，之后，将降噪之后的T个前景视频帧F1，F2，...，F
T
和T个背景视频帧B1，B2，...，B
T
合并为降噪之后的T个视频帧。2.根据权利要求1所述的降噪方法，其特征在于，所述“对T个前景视频帧F1，F2，...，F
T
进行降噪处理，并且对T个背景视频帧B1，B2，...，B
T
进行降噪处理”具体包括：获取预设的轻量级神经网络，将所述T个前景视频帧F1，F2，...，F
T
输入所述轻量级神经网络进行降噪处理，将所述T个背景视频帧B1，B2，...，B
T
输入所述轻量级神经网络进行降噪处理；所述轻量级神经网络由多个干净图像和与之匹配的噪声图像训练而成；所述轻量级神经网络包括：SqueezeNet神经网络、ShuffleNet神经网络、MnasNet神经网络、MobileNet神经网络、CondenseNet神经网络、ESPNet神经网络、ChannelNets神经网络、PeleeNet神经网络、IGC神经网络、FBNet神经网络、EfficientNet神经网络、GhostNet神经网络、WeightNet神经网络、MicroNet神经网络和U
‑
NET神经网络。3.根据权利要求2所述的降噪方法，其特征在于，所述“所述轻量级神经网络由多个干净图像和与之匹配的噪声图像训练而成”具体包括：将多个噪声图像化输入到深度神经网络D
θ
，并输出与每个噪声图像相匹配的干净图像，之后，基于多个干净图像和与之匹配的噪声图像，训练所述轻量级神经网络。4.根据权利要求2所述的降噪方法，其特征在于，所述“对T个前景视频帧F1，F2，...，F
T
进行降噪处理”具体包括：将T个前景视频帧F1，F2，...，F
T
划分为多个前景视频帧组，每个前景视频帧组均包含有多个前景视频帧，基于光流法，对每个前景视频帧组中的多个前景视频帧进行降噪处理。5.根据权利要求4所述的降噪方法，其特征在于，所述“基于光流法，对每个前景视频帧组中的多个前景视频帧进行降噪处理”具体包括：对每个前景视频帧组均进行以下处理：从所述前景视频帧组中选择一个关键前景视频帧，计算所述前景视频帧组中所有前景视频帧相对于所述关键前景视频帧...

【专利技术属性】
技术研发人员：马强，程志威，周少华，
申请(专利权)人：苏州工业园区智在天下科技有限公司，
类型：发明
国别省市：