一种具有细节信息学习能力的图像去噪方法技术

本发明专利技术公开了一种具有细节信息学习能力的图像去噪方法，包括以下步骤：1）构建具有细节信息学习能力的图像去噪模型；2）使用该图像去噪模型对噪声图像进行去噪，获得干净图片；3）所述图像去噪模型先将噪声从噪声图像中分离，接着所述图像去噪模型从分离的噪声中学习丢失的图像细节信息；4）最后，所述图像去噪模型将学习的图像细节信息补充入干净图片，获得最终的去噪后的清晰图像。本发明专利技术提供一种新的图像去噪方法，能够有效地避免了光晕，振铃和马赛克效应，以及模糊和伪影现象，表现具有竞争力的去噪效果以及良好的视觉效果，同时还具有很强的泛化能力，可在超声图像，激光图像等真实图像去噪任务中表现出先进的去噪性能。

An image denoising method with the ability of learning detailed information

【技术实现步骤摘要】
一种具有细节信息学习能力的图像去噪方法
本专利技术涉及机器视觉的图像处理
，具体是指一种具有细节信息学习能力的图像去噪方法。
技术介绍
图像去噪的目的是从噪声图像中去除噪声并使图像清晰。近年来，图像去噪方法主要有传统的图像先验法和深度学习法。其中，传统的图像先验方法的去噪性能取决于研究者的先验知识，如非局部自相似模型和稀疏模型。基于深度学习，效果较突出的是张等人提出的DnCNN(DenoisingnoiseCNN)。该网络利用残差学习策略成功地避免了光晕，振铃和马赛克效应。Chen等人利用数量固定的梯度下降推断步骤，提出了一个可学习的非线性反应扩散(TrainableNonlinearReactionDiffusion，TNRD)去噪模型。该模型在捕获图像结构特征时局限于特定形式的先验信息。Cha等人提出了一种自适应的全卷积图像去噪网络。该网络使用了一种基于上下文关系的像素点映射的方法保留了比TNRD更多的图像细节信息，但极易出现伪影现象。Chen等人基于生成对抗网络提出了一种盲目去噪模型。这个模型由于具有用于区分噪声图像和去噪后的图像的对抗网络，可克服伪影现象，但对抗网络容易生成错误的图像细节信息。为了加强网络顶层特征的图像细节表达能力，Mao等人提出了编码—解码卷积去噪网络。该网络通过编码卷积层和解码反卷积层之间的跳线连接结构，提高了由顶到底的梯度传播效率，还在一定程度上缓解了特征传播过程中严重缺失细节信息的问题。传统的图像先验方法，有两个明显的缺点。第一，去噪后的图像难以保留图像细节信息，从而容易产生模糊的视觉效果和伪影现象。第二，由研究人员的先验知识设计的模型难以充分有效地获得噪声图像中干净部分的特征。基于深度学习，着重于尽量减少去噪时图像细节的丢失，而从未考虑如何学习已经丢失的图像细节，仍然不能有效的解决图像细节信息的缺失问题。
技术实现思路
针对现有技术的不足，本专利技术的目的在于提供一种能够有效地对图像细节进行学习，成功地避免了光晕，振铃和马赛克效应，以及模糊和伪影现象，表现具有竞争力的去噪效果以及良好的视觉效果，同时还具有很强的泛化能力，可在超声图像，激光图像等真实图像去噪任务中表现出先进的去噪性能的图像去噪方法。为了实现上述目的，本专利技术通过下述技术方案实现：一种具有细节信息学习能力的图像去噪方法，包括以下步骤：(1)构建具有细节信息学习能力的图像去噪模型；(2)使用该图像去噪模型对噪声图像进行去噪，获得干净图片；(3)所述图像去噪模型先将噪声从噪声图像中分离，接着所述图像去噪模型从分离的噪声中学习丢失的图像细节信息；(4)最后，所述图像去噪模型将学习的图像细节信息补充入干净图片，获得最终的去噪后的清晰图像。为更好的实现本专利技术的图像去噪方法，进一步地，所述步骤(1)中，具有细节信息学习能力的图像去噪模型的具体构建过程如下：(1.1)分析用于图像细节学习的最小化问题并根据残差卷积神经网络，构建能够体现图像细节表征能力的残差单元RU；(1.2)利用残差单元RU对噪声特征映射n进行建模，构建噪声特征映射产生块NGB，所述噪声特征映射产生块NGB将噪声从噪声图像中分离；(1.3)利用残差单元RU对图像细节信息特征映射I进行建模，构建图像细节信息特征映射产生块IDGB，所述图像细节信息特征映射产生块IDGB学习去噪过程中丢失的图像细节信息；(1.4)将噪声特征映射产生块NDB的输出特征映射，作为图像细节信息特征映射产生块IDGB的输入特征映射，建立噪声特征映射产生块NGB与图像细节信息特征映射产生块IDGB端对端的卷积神经网络，即N-ID图像去噪模型，利用N-ID图像去噪模型对去噪过程中去除图像细节进行学习，然后表现到去噪后的图像中。为更好的实现本专利技术的图像去噪方法，进一步地，所述步骤(1)中的残差单元RU包括减性残差单元RU-和加性残差单元RU+。为更好的实现本专利技术的图像去噪方法，进一步地，所述噪声特征映射产生块NGB通过减性残差单元RU-对噪声特征映射块构建而成。为更好的实现本专利技术的图像去噪方法，进一步地，所述步骤(1.2)中，利用减性残差单元RU-与噪声特征映射n所构建的模型为：n(yi；θ)＝yi-x'n(yi；θ)＝θiH1(yi)+bi其中，yi为噪声图像，x′为缺失了大量细节信息的特征映射，H(yi)为噪声特征映射块，θi和bi为线性参数，噪声特征映射块H(yi)和PU-共同构建了噪声特征映射产生块NGB。为更好的实现本专利技术的图像去噪方法，进一步地，所述噪声特征映射块H(yi)具有四个残差组合，每个残差组包含五个残差块，所述噪声特征映射产生块NGB具有21个卷积层的结构，前20层，为卷积核大小为3，步长为1，零填充为1，卷积核数量为64的卷积；为了控制输出特征映射的维度，第21层为卷积核大小为3，步长为1，零填充为1，卷积核数量为3的卷积。为更好的实现本专利技术的图像去噪方法，进一步地，所述图像细节信息特征映射产生块IDGB通过加性残差单元RU+与图像细节信息特征映射块进行建模构建而成。为更好的实现本专利技术的图像去噪方法，进一步地，所述步骤(1.3)中，利用加性残差单元RU+对图像细节信息特征映射I所构建模型为：I(yi；θ)＝I(yi；θ)+x'I(yi；θ)＝θiH(yi)+bi其中，x′为缺失了大量细节信息的特征映射，H(yi)为图像细节信息特征映射块，θi和bi为线性参数，图像细节信息特征映射块H(yi)和PU+共同构建了图像细节信息特征映射产生块IDGB。为更好的实现本专利技术的图像去噪方法，进一步地，所述图像细节信息特征映射块H(yi)具有二个残差组合，每个残差组包含五个残差块，所述图像细节信息特征映射产生块IDGB具有11个卷积层的结构，前10层，为卷积核大小为3，步长为1，零填充为1，卷积核数量为64的卷积；为了控制输出特征映射的维度，第11层为卷积核大小为3，步长为1，零填充为1，卷积核数量为3的卷积。为更好的实现本专利技术的图像去噪方法，进一步地，在图像去噪完成后，获得最终的去噪后的清晰图像后，使用显卡硬件对该去图像去噪方法进行测试评估，所述显卡硬件的型号为GTX1080，输入图片的大小均为512×512。本技术方案的核心是对去噪过程中丢失的图像细节特征进行学习，先从一个最小化问题出发，从理论上分析出去噪后图像大量缺失细节信息的原因，再根据残差神经网络的加和减两种表征方式，研究表征噪声和细节的残差单元RU。噪声图像服从一个退化模型y＝x+v，其中，y为噪声图像，x为干净图像，v是加性高斯白噪声(AdditiveWhiteGaussianNoise，AWGN)，其标准差为σ。不同于直接学习干净图像的方法，DnCNN方法采用残差学习策略去学习一个噪声映射n(y)≈v，最终获得去噪后的图像x'＝y-n(y)。在利用模型预测噪声时，噪声映射n中包含图像细节信息I'和绝大部分加性高斯白噪声v'，在去噪后本文档来自技高网...

【技术保护点】
1.一种具有细节信息学习能力的图像去噪方法，其特征在于，包括以下步骤：/n(1)构建具有细节信息学习能力的图像去噪模型；/n(2)使用该图像去噪模型对噪声图像进行去噪，获得干净图片；/n(3)所述图像去噪模型先将噪声从噪声图像中分离，接着所述图像去噪模型从分离的噪声中学习丢失的图像细节信息；/n(4)最后，所述图像去噪模型将学习的图像细节信息补充入干净图片，获得最终的去噪后的清晰图像。/n

【技术特征摘要】
1.一种具有细节信息学习能力的图像去噪方法，其特征在于，包括以下步骤：
(1)构建具有细节信息学习能力的图像去噪模型；
(2)使用该图像去噪模型对噪声图像进行去噪，获得干净图片；
(3)所述图像去噪模型先将噪声从噪声图像中分离，接着所述图像去噪模型从分离的噪声中学习丢失的图像细节信息；
(4)最后，所述图像去噪模型将学习的图像细节信息补充入干净图片，获得最终的去噪后的清晰图像。


2.根据权利要求1所述的一种具有细节信息学习能力的图像去噪方法，其特征在于，所述步骤(1)中，具有细节信息学习能力的图像去噪模型的具体构建过程如下：
(1.1)分析用于图像细节学习的最小化问题并根据残差卷积神经网络，构建能够体现图像细节表征能力的残差单元RU；
(1.2)利用残差单元RU对噪声特征映射n进行建模，构建噪声特征映射产生块NGB，所述噪声特征映射产生块NGB将噪声从噪声图像中分离；
(1.3)利用残差单元RU对图像细节信息特征映射I进行建模，构建图像细节信息特征映射产生块IDGB，所述图像细节信息特征映射产生块IDGB学习去噪过程中丢失的图像细节信息；
(1.4)将噪声特征映射产生块NDB的输出特征映射，作为图像细节信息特征映射产生块IDGB的输入特征映射，建立噪声特征映射产生块NGB与图像细节信息特征映射产生块IDGB端对端的卷积神经网络，即N-ID图像去噪模型，利用N-ID图像去噪模型对去噪过程中去除图像细节进行学习，然后表现到去噪后的图像中。


3.根据权利要求2所述的一种具有细节信息学习能力的图像去噪方法，其特征在于，所述步骤(1)中的残差单元RU包括减性残差单元RU-和加性残差单元RU+。


4.根据权利要求3所述的一种具有细节信息学习能力的图像去噪方法，其特征在于，所述噪声特征映射产生块NGB通过减性残差单元RU-对噪声特征映射块构建而成。


5.根据权利要求4所述的一种具有细节信息学习能力的图像去噪方法，其特征在于，所述步骤(1.2)中，利用减性残差单元RU-与噪声特征映射n所构建的模型为：
n(yi；θ)＝yi-x'
n(yi；θ...

【专利技术属性】
技术研发人员：叶远征，沈复民，孔繁昊，奚兴，张艳明，
申请(专利权)人：成都考拉悠然科技有限公司，
类型：发明
国别省市：四川;51