基于偏微分方程学习网络的图像去噪方法、设备及终端技术

本发明专利技术属于图像处理技术领域，公开了一种基于偏微分方程学习网络的图像去噪方法、设备及终端，包括：图像去噪数据集获取与输入，通过偏微分方程学习网络，输出预测去噪图像时间序列，与真实去噪图像时间序列对比得到损失，最小化损失来训练参数，然后将随机积分理论引入，构建改进的数值求解器用于计算偏微分方程的解，最终网络输出图像去噪数据集对应偏微分方程以及方程的解，然后将训练好的网络与去噪后处理模块结合用于图像去噪，得到去噪结果。本发明专利技术能够解决基于偏微分方程图像去噪算法参数调节困难问题，以及改进了现有数值求解器的误差问题，提升解的精度，最后利用去噪后处理模块的图像解构操作，可以得到更具有竞争力的去噪结果。的去噪结果。的去噪结果。

【技术实现步骤摘要】
基于偏微分方程学习网络的图像去噪方法、设备及终端


[0001]本专利技术属于图像处理
，尤其涉及一种基于偏微分方程学习网络的图像去噪方法、设备及终端。

技术介绍

[0002]目前，图像是人类在社会活动中获取、传递信息的主要媒介之一，成为了人类感知世界、进而改造世界的一种重要途径。但在图像获取、传输过程中不可避免地会出现噪声污染，它会严重降低获取图像视觉质量，为了改善图像质量、提高读取图像数据的效率，有必要在分析和利用图像之前，对获取的噪声图像进行加工处理，恢复出真实世界的重要信息。随着计算机技术的发展与普及，图像去噪算法在最近几十年内不断发展，更是被广泛应用于生物医学、遥感航天、工业设计等重要的国防、科技领域。
[0003]传统图像去噪算法主要有以均值滤波、中值滤波为代表的图像平滑，将图像用窗口滑动处理，窗口内的像素进行简单的数值计算处理；但是它是对图像整体进行处理，没有保留图像的特征。以空域相关性和小波阈值滤波为代表小波变换，它是根据信号和噪声的小波系数在不同尺度上具有不同性质的机理,构造相应的规则,在小波域采用其他数学方法对含噪信号的小波系数进行处理；但是如果阈值选择不当，去除噪声的同时还会出现模糊图像边缘的负面效应。以 Kalman滤波和差分滤波为代表的线性和非线性滤波，在线性或非线性状态空间表示的基础上对有噪声的输入和观测信号进行处理，求取系统状态或真实信号；然而算法需要很多先验条件，尤其是关于噪声的时刻均值和协方差，限制了在实际应用中的灵活性。以各向同性扩散、各向异性扩散、变分方法为代表的基于偏微分方程算法，有面向过程和面向对象两种方法；然而算法需要根据人们的经验来定义算法方程形式，并且花费大量时间来探索最合适的参数配置。除此之外，近年来也出现了基于模型的图像去噪算法和基于神经网络的图像去噪算法。基于模型去噪算法有K.Dabov等人的BM3D算法，它是将图像根据特征分成3D组，再对各组进行滤波处理，最后融合3D组得到最终的滤波图像。但是BM3D算法有几个缺点：优化算法通常很耗时，不能直接用于去除空间变异噪声；需要手动制作的图像先验(例如稀疏性和非局部自相似性)，这些先验信息可能不足以描述复杂图像结构。基于神经网络的去噪算法有H.C.Burger等人利用多层感知机MLP进行图像去噪，目的是从噪声
‑
结果图像对的训练集中学习底层图像先验。后来为了提取潜在特征并加以利用，卷积神经网络 (Convolutional Neural Network,CNN)被更广泛的利用。K.Zhang提出的去噪卷积神经网络(Denoising Convolutional NeuralNetwork,DnCNN)，将批量归一化、矫正线性单元和残差学习合并到CNN模型中，用来完成图像去噪工作。J. Chen提出的生成对抗网络盲去噪器(Generative Convolutional Blind Denoising, GCBD)，引用GAN来解决未配对噪声图像问题。D.Valsesia提出了一种图卷积去噪网络(Graph
‑
Convolutional Denoising Network,GCDN)，用于捕获自相似信息。但是现有的基于神经网络去噪算法灵活性有限，而且学习模型通常是针对特定噪声水平而定制，网络训练最重要的数据集没有统一标准，难以获取。除此之外，基于模型的算法和基于神经网络的算法都无法总结出其相应
的物理规律，这是图像去噪算法亟待解决的问题。随着视觉传感器的增加，图像噪声的构成更为复杂，参数调整变得越来越困难；现实图像数据在时间样本数据上获取困难，且往往只有少量数据，无法满足网络的训练；在纹理边缘复杂的图像上去噪难度大。
[0004]通过上述分析，现有技术存在的问题及缺陷为：传统图像去噪算法需要根据人们的经验来定义算法方程形式，并且花费大量时间来探索最合适的参数配置，在图像去噪应用上有一定局限性；基于模型和神经网络的图像去噪算法难以获取其训练所需的大量高质量数据集，且模型计算量较大、泛化能力弱。

技术实现思路

[0005]针对现有技术存在的问题，本专利技术提供了一种基于偏微分方程学习网络的图像去噪方法、设备及终端。
[0006]本专利技术是这样实现的，一种基于偏微分方程学习网络的图像去噪方法包括：图像去噪数据集获取与输入，通过偏微分方程学习网络，输出预测去噪图像时间序列，与真实去噪图像时间序列对比得到损失，最小化损失来训练参数，然后将随机积分理论引入，构建改进的数值求解器用于计算偏微分方程的解，最终网络输出图像去噪数据集对应偏微分方程以及方程的解，然后将训练好的网络与去噪后处理模块结合用于图像去噪，得到去噪结果。
[0007]进一步，所述基于偏微分方程学习网络的图像去噪方法具体包括：
[0008](1)图像去噪数据集的获取和输入：获取图像去噪数据集，将图像去噪数据集中的时间序列数据逐一依次输入偏微分方程学习网络；
[0009](2)构建并训练偏微分方程学习网络：偏微分方程学习网络由多个Block 组成，图像去噪时间序列数据通过多个Block，每个Block都输出预测去噪图像时间序列与真实去噪图像时间序列进行比较，计算损失函数对损失函数进行梯度下降最小化，完成一次参数训练，多个Block进行分层训练；
[0010](3)通过改进数值求解器得到输出：训练完成后，将参数输出得到图像去噪数据集对应的偏微分方程形式，以及通过引入随机积分理论的改进数值求解器的偏微分方程解；
[0011](4)利用偏微分方程学习网络和去噪后处理模块进行图像去噪：将需要去噪的噪声图像输入训练好的偏微分方程学习网络，然后通过去噪后处理模块，最后输出去噪后的干净图像。
[0012]进一步，步骤(1)图像去噪数据集的获取和输入中，为了获取图像去噪数据集，在原始干净图像数据集中添加模拟白噪声得到模拟噪声数据集，然后用现存基于偏微分方程的图像去噪方法进行去噪，得到一系列中间时刻去噪结果和最终去噪结果，组成空间大小为N
×
M，时间长度为T的图像去噪数据集。
[0013]进一步，步骤(2)构建并训练偏微分方程学习网络中，Block越多，网络越深，网络在一定深度时，其训练效果达到最好。
[0014]进一步，所述偏微分方程学习网络的Block结构包括：
[0015]第一步，计算偏微分方程候选项库偏微分项：
[0016]已知偏微分方程是包含未知函数偏微分的方程，其通用形式为：
[0017][0018]其中t表示时间，x和y表示空间，...是偏微分项，应用切比雪夫多项式插值法求Block输入数据的偏微分项，作为偏微分方程候选项库的一部分；
[0019]第二步，构建偏微分方程候选项库：
[0020]在候选项库中还加入了图像的边缘特征，经过对多个边缘算子进行对比，使用边缘停止函数表示，其中k为常数，为图像的梯度；将候选项库中的偏微分项和边缘特征项进行排列组合，加入候选项库中，候选项库构建完成；
[0021]第三步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于偏微分方程学习网络的图像去噪方法，其特征在于，所述基于偏微分方程学习网络的图像去噪方法包括：图像去噪数据集获取与输入，通过偏微分方程学习网络，输出预测去噪图像时间序列，与真实去噪图像时间序列对比得到损失，最小化损失来训练参数，然后将随机积分理论引入，构建改进的数值求解器用于计算偏微分方程的解，最终网络输出图像去噪数据集对应偏微分方程以及方程的解，然后将训练好的网络与去噪后处理模块结合用于图像去噪，得到去噪结果。2.如权利要求1所述的基于偏微分方程学习网络的图像去噪方法，其特征在于，所述基于偏微分方程学习网络的图像去噪方法具体包括：(1)图像去噪数据集的获取和输入：获取图像去噪数据集，将图像去噪数据集中的时间序列数据逐一依次输入偏微分方程学习网络；(2)构建并训练偏微分方程学习网络：偏微分方程学习网络由多个Block组成，图像去噪时间序列数据通过多个Block，每个Block都输出预测去噪图像时间序列与真实去噪图像时间序列进行比较，计算损失函数对损失函数进行梯度下降最小化，完成一次参数训练，多个Block进行分层训练；(3)通过改进数值求解器得到输出：训练完成后，将参数输出得到图像去噪数据集对应的偏微分方程形式，以及通过引入随机积分理论的改进数值求解器的偏微分方程解；(4)利用偏微分方程学习网络和去噪后处理模块进行图像去噪：将需要去噪的噪声图像输入训练好的偏微分方程学习网络，然后通过去噪后处理模块，最后输出去噪后的干净图像。3.如权利要求2所述的基于偏微分方程学习网络的图像去噪方法，其特征在于，步骤(1)图像去噪数据集的获取和输入中，为了获取图像去噪数据集，在原始干净图像数据集中添加模拟白噪声得到模拟噪声数据集，然后用现存基于偏微分方程的图像去噪方法进行去噪，得到一系列中间时刻去噪结果和最终去噪结果，组成空间大小为N
×
M，时间长度为T的图像去噪数据集。4.如权利要求2所述的基于偏微分方程学习网络的图像去噪方法，其特征在于，步骤(2)构建并训练偏微分方程学习网络中，Block越多，网络越深，网络在一定深度时，其训练效果达到最好。5.如权利要求2所述的基于偏微分方程学习网络的图像去噪方法，其特征在于，所述偏微分方程学习网络的Block结构包括：第一步，计算偏微分方程候选项库偏微分项：已知偏微分方程是包含未知函数偏微分的方程，其通用形式为：其中t表示时间，x和y表示空间，是偏微分项，应用切比雪夫多项式插值法求Block输入数据的偏微分项，作为偏微分方程候选项库的一部分；
第二步，构建偏微分方程候选项库：在候选项库中还加入了图像的边缘特征，经过对多个边缘算子进行...

【专利技术属性】
技术研发人员：王斌，赵鎏勃，赵楚媚，郭盛林，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：