一种视频降噪装置、方法及终端制造方法及图纸

本发明专利技术公开了一种视频降噪装置、方法及终端。所述装置包括噪声标定模块、训练数据生成模块和视频降噪模块，噪声标定模块用于标定真实条件下噪声的噪声模型；训练数据生成模块用于根据噪声模型生成噪声图像，噪声图像与无噪声的干净图像合成有噪声的视频图像，有噪声的视频图像与无噪声的干净图像构成视频对；视频降噪模块用于将当前帧图像、历史帧图像以及噪声标准差图输入到降噪网络模型中，降噪网络模型对当前帧进行降噪处理并输出去噪后的当前帧图像。本发明专利技术避免了人工采集同场景下有噪声图像和无噪声图像对的高昂时间成本和人力成本，且可表示不同区域的噪声大小，从而引导网络进行有差别的去噪。络进行有差别的去噪。络进行有差别的去噪。

【技术实现步骤摘要】
一种视频降噪装置、方法及终端


[0001]本专利技术属于计算机视觉
，具体涉及一种视频降噪装置、方法及终端。

技术介绍

[0002]近年来，各种各样的拍摄设备被广泛应用于安防、教育、工业质检等领域。然而，在暗光条件下，拍摄到的视频往往信噪比低，噪声颗粒感强，这严重制约了拍摄设备在夜间的效果。
[0003]现有方法可分为传统的滤波算法和基于深度学习的算法。传统的滤波算法包含高斯滤波、中值滤波、双边滤波等，优点是所需计算资源少和容易部署。但这些算法在面对高强度的噪声时往往存在降噪不完全和细节丢失严重等问题；基于深度学习的算法的优点是去噪能去得更完全、细节也能保留的更多，但缺点是所需算力资源较多，而且目前的深度学习算法在训练时是采用合成数据的方法，往往使用简单的固定方差的高斯噪声，这与所拍摄到的视频的实际的噪声不同，这使得在合成数据上表现良好的模型面对真实数据时，效果要弱上许多。
[0004]因此，针对上述两种视频降噪算法存在的降噪不完全、细节丢失严重和所需算力资源较多等问题，需要专利技术一种新型的视频降噪方案，以克服现有视频降噪算法存在的不足。

技术实现思路

[0005]本专利技术的主要目的在于提供一种视频降噪装置、方法及终端，从而克服现有技术的不足。
[0006]为实现前述专利技术目的，本专利技术采用的技术方案包括：一种视频降噪装置，包括：
[0007]噪声标定模块，用于标定真实条件下噪声的噪声模型；
[0008]训练数据生成模块，与所述噪声标定模块相连，用于根据所述噪声模型生成噪声图像，所述噪声图像与无噪声的干净图像合成有噪声的视频图像，所述有噪声的视频图像与无噪声的干净图像构成视频对；
[0009]视频降噪模块，与所述训练数据生成模块相连，用于将所述有噪声的视频图像的当前帧图像、前一帧去噪后的历史帧图像以及由所述噪声模型生成的当前帧图像的噪声标准差图输入到降噪网络模型中，所述降噪网络模型对所述当前帧进行降噪处理并输出去噪后的当前帧图像。
[0010]在一优选实施例中，所述噪声标定模块包括：
[0011]图片拍摄模块，用于对正常光照条件下的标定板拍摄至少一组图片；
[0012]均值和方差计算模块，用于将所述图片裁剪出多个色块，计算各个所述色块的均值和方差；
[0013]拟合关系曲线模块，用于拟合所述均值和方差的关系曲线，依此构建亮度和噪声强度的关系的噪声模型。
[0014]在一优选实施例中，所述图片拍摄模块拍摄多组图片，所述均值和方差计算模块对应得到多组均值和方差，对所述多组均值和方差求平均值。
[0015]在一优选实施例中，所述训练数据生成模块包括：
[0016]视频解码模块，用于对无噪声的视频流进行解码，得到所述无噪声的干净图像；
[0017]视频图像合成模块，用于将所述均值和方差的关系曲线与所述无噪声的干净图像根据所述噪声模型合成所述有噪声的视频图像；
[0018]视频对构成模块，用于将所述有噪声的视频图像按照时序关系重新堆叠为噪声图像列表，以及将无噪声的干净图像也按照时序关系重新堆叠为干净图像列表，两者构成列表对。
[0019]在一优选实施例中，所述均值和方差的关系曲线拟合为直线方程y＝kx+b，其中，直线方程的斜率k为泊松噪声的缩放系数，直线方程的坐标点b为高斯噪声的方差。
[0020]在一优选实施例中，所述视频降噪模块包括：
[0021]特征关联模块，用于将所述历史帧图像与当前帧图像进行空间对齐；
[0022]所述降噪网络模型，用于接收空间对齐后的所述历史帧图像、当前帧图像和所述噪声标准差图，并对所述当前帧图像进行降噪处理并输出去噪后的当前帧图像。
[0023]在一优选实施例中，所述去噪网络对RGB域的图像直接降噪或对RAW域的图像进行降噪。
[0024]另一方面，本专利技术实施例还提供了一种视频降噪方法，包括：
[0025]S1，标定真实条件下噪声的噪声模型；
[0026]S2，根据所述噪声模型生成噪声图像，所述噪声图像与无噪声的干净图像合成有噪声的视频图像，所述有噪声的视频图像与无噪声的干净图像构成视频对；
[0027]S3，将所述有噪声的视频图像的当前帧图像、前一帧去噪后的历史帧图像以及由所述噪声模型生成的当前帧图像的噪声标准差图输入到降噪网络模型中，所述降噪网络模型对所述当前帧进行降噪处理并输出去噪后的当前帧图像。
[0028]在一优选实施例中，所述S1包括：
[0029]S11，对正常光照条件下的标定板拍摄至少一组图片；
[0030]S12，将所述图片裁剪出多个色块，计算各个所述色块的均值和方差；
[0031]S13，拟合所述均值和方差的关系曲线，依此构建亮度和噪声强度的关系的噪声模型。
[0032]在一优选实施例中，所述S2包括：
[0033]S21，对无噪声的视频流进行解码，得到所述无噪声的干净图像；
[0034]S22，将所述均值和方差的关系曲线与所述无噪声的干净图像根据所述噪声模型合成所述有噪声的视频图像；
[0035]S23，将所述有噪声的视频图像按照时序关系重新堆叠为噪声图像列表，以及将无噪声的干净图像也按照时序关系重新堆叠为干净图像列表，两者构成列表对。
[0036]在一优选实施例中，所述S3包括：
[0037]S31，将所述历史帧图像与当前帧图像进行空间对齐；
[0038]S32，接收空间对齐后的所述历史帧图像、当前帧图像和所述噪声标准差图，并对所述当前帧图像进行降噪处理并输出去噪后的当前帧图像。
[0039]又一方面，本专利技术实施例还提供了一种视频降噪终端，所述终端用于执行上述的视频降噪方法。
[0040]与现有技术相比较，本专利技术的有益效果至少在于：本专利技术通过固定图像的部分噪声参数后对噪声进行标定，得到噪声的方差数据，利用该数据能人工合成大量逼真的有噪声图像进行训练，避免人工采集同场景下有噪声图像和无噪声图像对的高昂时间成本和人力成本。同时将当前的标准差图作为额外输入送入网络，可表示不同区域的噪声大小，从而引导网络进行有差别的去噪。
附图说明
[0041]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]图1是本专利技术的视频降噪方法的流程示意图；
[0043]图2是本专利技术噪声标定模块的原理示意图；
[0044]图3是本专利技术训练数据生成模块的原理示意图；
[0045]图4是本专利技术视频降噪模块的原理示意图；
[0046]图5是本专利技术视频降噪装置的结构框图；
[0047]图6是本专利技术视频降噪终端的结构框图。
具体实施方式
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频降噪装置，其特征在于，所述装置包括：噪声标定模块，用于标定真实条件下噪声的噪声模型；训练数据生成模块，与所述噪声标定模块相连，用于根据所述噪声模型生成噪声图像，所述噪声图像与无噪声的干净图像合成有噪声的视频图像，所述有噪声的视频图像与无噪声的干净图像构成视频对；视频降噪模块，与所述训练数据生成模块相连，用于将所述有噪声的视频图像的当前帧图像、前一帧去噪后的历史帧图像以及由所述噪声模型生成的当前帧图像的噪声标准差图输入到降噪网络模型中，所述降噪网络模型对所述当前帧进行降噪处理并输出去噪后的当前帧图像。2.根据权利要求1所述的一种视频降噪装置，其特征在于，所述噪声标定模块包括：图片拍摄模块，用于对正常光照条件下的标定板拍摄至少一组图片；均值和方差计算模块，用于将所述图片裁剪出多个色块，计算各个所述色块的均值和方差；拟合关系曲线模块，用于拟合所述均值和方差的关系曲线，依此构建亮度和噪声强度的关系的噪声模型。3.根据权利要求2所述的一种视频降噪装置，其特征在于，所述训练数据生成模块包括：视频解码模块，用于对无噪声的视频流进行解码，得到所述无噪声的干净图像；视频图像合成模块，用于将所述均值和方差的关系曲线与所述无噪声的干净图像根据所述噪声模型合成所述有噪声的视频图像；视频对构成模块，用于将所述有噪声的视频图像按照时序关系重新堆叠为噪声图像列表，以及将无噪声的干净图像也按照时序关系重新堆叠为干净图像列表，两者构成列表对。4.根据权利要求2所述的一种视频降噪装置，其特征在于，所述均值和方差的关系曲线拟合为直线方程y＝kx+b，其中，直线方程的斜率k为泊松噪声的缩放系数，直线方程的坐标点b为高斯噪声的方差。5.根据权利要求2所述的一种视频降噪装置，其特征在于，所述视频降噪模块包括：特征关联模块，用于将所述历史帧图像与当前帧图像进行空间对齐；所...

【专利技术属性】
技术研发人员：徐宁远，庄佳衍，
申请(专利权)人：中国科学院宁波材料技术与工程研究所，
类型：发明
国别省市：