结合卷积神经网络和轻型自适应中值滤波视频降噪方法技术

本发明专利技术公开了一种结合卷积神经网络和轻型自适应中值滤波视频降噪方法，该方法针对传统自适应中值滤波因高密度椒盐噪声情况下需要自适应选择滤波模板而增加时间开销的问题，简化传统自适应中值滤波算法，选择固定尺寸的滤波模板，缓解高密度噪声污染情况下自适应选择滤波模板尺寸增加时间开销的问题，同时也能滤除大部分噪声，且在弱噪声情况下能够尽量保留图像细节。然后将轻型自适应中值过滤的操作合并到卷积神经网络中，利用深层卷积神经网络有效挖掘图像特征的优点，训练成为一个可以统一处理各级椒盐噪声模型。本发明专利技术适用于图像未知噪声水平的椒盐噪声去除，达到有效抑制视频图像中的椒盐噪声，恢复出高质量的视频图像目的。的。的。

【技术实现步骤摘要】
结合卷积神经网络和轻型自适应中值滤波视频降噪方法


[0001]本专利技术涉及视频处理
，特别涉及一种结合卷积神经网络和轻型自适应中值滤波视频降噪方法，用于去除视频椒盐噪声。

技术介绍

[0002]视频图片在网络采集、传输及接收的全过程中，由于处在复杂的各种外部环境中，存在各种干扰，这些复杂的干扰因素都有可能会对图像形成噪声。而椒盐噪声是一种常见的图像脉冲污染，一般来说，被椒盐噪声污染的像素会被数字化成最大或最小强度。椒盐噪声污染产生的主要原因是图像采集和记录过程中出现的误差。例如，廉价、低成本的传感器广泛应用于监控摄像头，导致像素的A/D转换易出现故障，恶劣的天气和通信信道的质量不佳都会成为产生椒盐噪声的诱因。这些噪点对后续的图像识别，边缘检测，目标跟踪等任务都有很大的负面影响，因此在图像预处理过程中，抑制图像中椒盐噪声实现高质量图像的恢复是一个非常重要的环节。
[0003]对于椒盐噪声污染的图像，中值滤波被认为是最有效的降噪方法，但是中值滤波在没有考虑局部特征的情况下会导致图像模糊。因此，为了解决这一局限性，很多基于中值滤波的改进方法也被提出，例如加权中值滤波、中央加权中值滤波、方向加权中值滤波和开关中值滤波等，但以上方法在图像被低密度椒盐噪声污染时，可以较好的恢复图像，但无法很好处理图像被高密度椒盐噪声污染的情况。针对此问题，自适应中值滤波器被提出，它能够滤除高密度的椒盐噪声，但它不能很好的保留图像细节且以高计算时间为代价。

技术实现思路

[0004]本专利技术要解决的技术问题是：提供一种结合卷积神经网络和轻型自适应中值滤波视频降噪方法，来有效抑制视频图像中的椒盐噪声，恢复出高质量的视频图像。
[0005]为实现上述目的，本专利技术首先针对传统自适应中值滤波因高密度椒盐噪声情况下需要自适应选择滤波模板而增加时间开销的问题，提出轻型自适应中值滤波算法。其次，将轻型自适应中值滤波算法看成一种神经网络操作，成为轻型自适应中值滤波层，并和降噪卷积神经网络进行结合。先利用轻型自适应中值滤波层对噪声视频图像进行滤波得到初步降噪视频图像，然后将初步降噪视频图像输入降噪卷积神经网络进行训练，使通过降噪卷积神经网络学习得到的模型从初步降噪视频图像中学习噪声的分布。最后将待降噪的噪声视频图像输入到轻型自适应中值滤波层和训练好的模型中，通过计算得到降噪后的视频图像。
[0006]进一步的，本专利技术提出的一种结合卷积神经网络和轻型自适应中值滤波视频降噪方法具体包括如下步骤：
[0007]步骤1：简化传统自适应中值滤波算法，得到轻型自适应中值滤波算法；
[0008]步骤2：将轻型自适应中值滤波算法看成一种神经网络操作，生成轻型自适应中值滤波层；
[0009]步骤3：获取训练数据集，所述训练数据集中的每一个训练样本包括一张噪声视频图像及其对应的无噪声视频图像，将所述训练数据集中的任意一张噪声视频图像y作为轻型自适应中值滤波层的输入，经过轻型自适应中值滤波层处理后得到初步降噪视频图像y
med
；
[0010]步骤4：构建降噪卷积神经网络；
[0011]步骤5：将L1范数作为所述降噪卷积神经网络的损失函数；
[0012]步骤6：将初步降噪视频图像y
med
作为所述降噪卷积神经网络的输入，将噪声视频图像y与其对应的无噪声视频图像x作为网络标签，对所述降噪卷积神经网络进行训练，得到初步降噪视频图像y
med
到噪声分布v的映射关系；
[0013]步骤7：对所述训练数据集中的所有噪声视频图像均执行完步骤3
‑
步骤6的操作称为一轮迭代，取当轮迭代中所有噪声视频图像的初步降噪视频图像到其噪声分布的映射关系的算术平均数作为当轮迭代初步噪声视频图像与噪声分布的映射关系；当迭代次数达到预设值50时，停止训练，得到所述降噪卷积神经网络中最终的初步噪声视频图像与噪声分布的映射关系R
final
(*)，进而得到训练好的降噪卷积神经网络。
[0014]步骤8：将待降噪的噪声视频图像通过轻型自适应中值滤波层得到初步降噪视频图像然后将初步降噪视频图像输入到训练好的降噪卷积神经网络得到噪声分布然后将初步降噪视频图像减去训练好的降噪卷积神经网络输出的噪声分布得到降噪后的视频图像
[0015]具体地，所述步骤1中的轻型自适应中值滤波算法为基于传统自适应中值滤波算法的简化算法。对噪声视频的每一帧图像利用轻型自适应中值滤波算法处理包括：
[0016]将椒盐噪声污染的任意一帧噪声视频图像作为当前待处理噪声视频图像y；
[0017]对于当前待处理噪声视频图像y中位于第i行第j列的像素点y
i,j
，选择以y
i,j
为中心的大小w＝3
×
3的滤波模板S；
[0018]计算滤波模板S内所有像素的最大值中值和最小值
[0019]如果则表明y
i,j
不是噪声点，保留。否则用代替；
[0020]针对当前待处理噪声视频图像y中的每个像素点做上述同样的操作，最后输出初步降噪
[0021]视频图像y
med
。对于y
med
中的每个像素点有：
[0022][0023]具体地，所述步骤2中轻型自适应中值滤波层以滑动窗口形式处理噪声视频图像所有像素的全部特征通道。
[0024]具体地，所述步骤3中噪声视频图像y经过轻型自适应中值滤波层处理后的y
med
为：
[0025]y
med
＝f(y)
[0026]这里y为噪声视频图像，f(*)为对噪声视频图像y中每个像素执行轻型自适应中值滤波算法处理。
[0027]具体地，所述步骤4中所述降噪卷积神经网络包括17层，其中，第0层为卷积层与激活层的组合，第1层到15层的每层为卷积层、归一化层与激活层的组合，第16层为卷积层。
[0028]具体地，所述步骤4中所述降噪卷积神经网络中所有卷积层的卷积核大小为3
×
3，步长为1，所有激活层采用ReLu函数，所有归一化层采用Batch Normalize函数。
[0029]具体地，所述步骤5中的降噪卷积神经网络的损失函数L1范数为：
[0030][0031]其中，x
i
′
为与噪声视频图像y对应的无噪声视频图像x的第i'个像素值，y
i
′
为噪声视频图像y的第i'个像素值，为y经过轻型自适应中值滤波层后输出的第i'个像素值，N为噪声视频图像y中的像素值的总个数，||*||1代表1
‑
范数，R(*)表示与其噪声分布的映射关系。
[0032]具体地，所述步骤8降噪后的视频图像为：
[0033][0034]本专利技术提出了一种结合卷积神经网络和轻型自适应中值滤波视频降噪方法，用于去除图像椒盐噪声，将传统自适应中值滤波进行简化并将其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合卷积神经网络和轻型自适应中值滤波视频降噪方法，其特征在于，该方法具体包括如下步骤：步骤1：简化传统自适应中值滤波算法，得到轻型自适应中值滤波算法；步骤2：将轻型自适应中值滤波算法看成一种神经网络操作，生成轻型自适应中值滤波层；步骤3：获取训练数据集，所述训练数据集中的每一个训练样本包括一张噪声视频图像及其对应的无噪声视频图像，将所述训练数据集中的任意一张噪声视频图像y作为轻型自适应中值滤波层的输入，经过轻型自适应中值滤波层处理后得到初步降噪视频图像y
med
；步骤4：构建降噪卷积神经网络；步骤5：将L1范数作为所述降噪卷积神经网络的损失函数；步骤6：将初步降噪视频图像y
med
作为所述降噪卷积神经网络的输入，将噪声视频图像y与其对应的无噪声视频图像x作为网络标签，对所述降噪卷积神经网络进行训练，得到初步降噪视频图像y
med
到噪声分布v的映射关系；步骤7：对所述训练数据集中的所有噪声视频图像均执行完步骤3
‑
步骤6的操作称为一轮迭代，取当轮迭代中所有噪声视频图像的初步降噪视频图像到其噪声分布的映射关系的算术平均数作为当轮迭代初步噪声视频图像与噪声分布的映射关系；当迭代次数达到预设值k时，停止训练，得到所述降噪卷积神经网络中最终的初步噪声视频图像与噪声分布的映射关系R
final
(*)，进而得到训练好的降噪卷积神经网络；步骤8：将待降噪的噪声视频图像通过轻型自适应中值滤波层得到初步降噪视频图像然后将初步降噪视频图像输入到训练好的降噪卷积神经网络得到噪声分布然后将初步降噪视频图像减去训练好的降噪卷积神经网络输出的噪声分布得到降噪后的视频图像2.根据权利要求1所述的结合卷积神经网络和轻型自适应中值滤波视频降噪方法，其特征在于，将所述训练数据集中的任意一张噪声视频图像y作为轻型自适应中值滤波层的输入，经过轻型自适应中值滤波层处理后得到初步降噪视频图像y
med
具体包括：对于噪声视频图像y中位于第i行第j列的像素点y
i,j
，选择以y
i,j
为中心的大小w＝3
×
3的滤波模板S；计算滤波模板S内所有像素的最大值中值和最小值如果则表明y
i,j
不是噪声点，保留y
i,j
的值；否则...

【专利技术属性】
技术研发人员：鲁欣，李福生，赵彦春，杨婉琪，吴泽桂，张伟业，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：