基于可学习曲率图的图像增强方法与系统技术方案

本发明专利技术提出了一种基于可学习曲率图的图像增强方法与系统，属于计算机科学图像处理的技术领域。其中图像增强方法包括：步骤1、构建两阶段去噪模型；步骤2、将待分析的图像数据传输至去噪模型；步骤3、在第一阶段，利用去噪模型执行特征提取，获得噪声等级估计和噪声分布估计；步骤4、基于获得的噪声等级估计和噪声分布估计，计算高斯曲率；步骤5、在第二阶段，基于高斯曲率利用去噪模型结合局部信息和全局信息，获得去噪后的图像数据；步骤6、输出去噪图像数据。本发明专利技术不仅可以有效去除图像的高斯噪声，而且通过模型训练可以提高不同噪声类型的去噪效果，具有较强的鲁棒性。具有较强的鲁棒性。具有较强的鲁棒性。

【技术实现步骤摘要】
基于可学习曲率图的图像增强方法与系统


[0001]本专利技术涉及计算机科学图像处理的
，特别涉及一种基于可学习曲率图的图像增强方法与系统。

技术介绍

[0002]随着影像技术和更高带宽的快速发展，人们对高准确度、高清晰图像的需求也日益提高。然而相机在拍摄、传播过程中受到硬件、环境、ISP处理等会产生各种各样未知噪声的污染，导致图像质量下降。
[0003]图像去噪是为了去除噪声，恢复真实的图像，对已知图像去噪的问题，在数学上是一个逆解过程，其解也不是唯一的。由于噪声、纹理及边缘等都属于高频信息，在去噪过程中，不可避免会损失一些细节特征。故而从已有信息中恢复有意义特征达到高质图像是当今各领域积极解决的重要问题。
[0004]经大量实验证明，基于卷积神经网络的特征提取对噪声去除具有较好的表现，但主要针对高斯噪声展开的研究，噪声形态单一，缺乏泛化性；同时前沿采用高斯分布或泊松分布的噪声等级估计已经达到较为准确的研究。但实际图像中的噪声类型复杂且未知，增加卷积层提高网络训练能力会加大计算负担，增加特征监督模块又会导致图像高频细节的丢失，这些都增加了图像去噪的技术难度。

技术实现思路

[0005]专利技术目的：提出一种基于可学习曲率图的图像增强方法与系统，以解决现有技术存在的上述问题。通过基于两阶段去噪模型对噪声进行分类，在增加特征监督的同时，增加曲率监督，实现在去噪的同时大大提升对细节纹理效果的把控。
[0006]技术方案：第一方面，提出了一种基于可学习曲率图的图像增强方法，该方法包括以下步骤：
[0007]步骤1、构建两阶段去噪模型；构建过程包括：
[0008]步骤1.1、构建用于执行特征提取，获得噪声等级估计和噪声分布估计的噪声估计子网络；
[0009]步骤1.2、构建用于基于噪声估计子网络的输出数据对真实图像执行去噪操作的去噪子网络。
[0010]步骤2、将待分析的图像数据传输至去噪模型；
[0011]步骤3、在第一阶段，利用去噪模型执行特征提取，获得噪声等级估计和噪声分布估计；
[0012]步骤4、基于获得的噪声等级估计和噪声分布估计，计算高斯曲率；
[0013]步骤5、在第二阶段，基于高斯曲率利用去噪模型结合局部信息和全局信息，获得去噪后的图像数据；
[0014]步骤6、输出去噪图像数据。
[0015]在第一方面的一些可实现方式中，噪声估计子网络按序包含：卷积层、注意力机制、卷积层、噪声输出模块、高斯曲率模块；去噪子网络包括：深层网络、浅层网络、残差模块、多尺度模块；深层网络用于提取输入混合图像的噪声残差特征；浅层网络用来进行多特征提取。
[0016]在第一阶段，噪声估计子网络采用卷积层为3*3的卷积核构建4层神经网络模型，并使用padding操作得到各层大小相等的网络特征；随后，在最后一个卷积层前采用注意力机制对噪声分布估计执行加权提取；最后，将高斯曲率作为先验，计算高斯曲率。
[0017]在第二阶段，将获得的高斯曲率、噪声等级估计、噪声图像输入去噪子网络，同时基于第一阶段得到的特定位置噪声进行处理。
[0018]在第一方面的一些可实现方式中，在构建完两阶段去噪模型后，还包括步骤1.3、对去噪模型执行性能优化训练。执行性能优化训练的过程包括以下步骤：
[0019]步骤1.3.1、构建图像测试集；
[0020]步骤1.3.2、利用图像测试集训练噪声估计子网络，获得优化后的网络参数、噪声等级估计、高斯曲率；
[0021]步骤1.3.3、将噪声等级估计、高斯曲率输入去噪子网络进行训练；
[0022]步骤1.3.4、将步骤1.3.3中的训练结果负反馈至噪声估计子网络中；
[0023]步骤1.3.5、噪声估计子网络根据接收到的结果对相关参数执行调节控制；
[0024]步骤1.3.6、构建损失函数，并根据损失函数的计算结果判断模型性能优化程度；
[0025]步骤1.3.7、当模型性能优化程度满足完成训练结束条件时，获得最终的网络模型参数，结束性能优化训练。
[0026]其中，噪声估计子网络训练中采用的损失函数L1包括：训练得到的噪声分布损失、噪声估计损失，即：
[0027][0028]式中，y
nl
表示真实图像的噪声等级；表示估计的噪声等级；y
nd
表示真实图像的噪声等级；表示估计的噪声等级。
[0029]去噪子网络训练中采用的损失函数L2包括：去噪子网络输出的预测值与干净图像的差值，即：
[0030][0031]式中，表示输出的预测图像；x表示干净图像。
[0032]第二方面，提出一种基于可学习曲率图的图像增强系统，用于实现一种基于可学习曲率图的图像增强方法，该系统包括以下模块：
[0033]模型构建模块，被设置为根据实际应用需求构建两阶段去噪模型；
[0034]第一数据分析模块，被设置为对待分析的图像数据执行特征提取，以及相关参数的获取；
[0035]第二数据分析模块，被设置为根据第一数据分析模块的输出数据执行图像去噪处理；
[0036]数据输出模块，被设置为输出第二数据分析模块的处理结果。
[0037]在第二方面的一些可实现方式中，在执行图像增强时，首先根据实际应用过程中
对图像需求，采用模型构建模块构建两阶段去噪模型；随后，利用第一数据分析模块对待分析的图像数据执行特征提取，获取噪声等级估计和噪声分布估计，同时引入高斯学习曲率，获得高斯曲率；然后，基于第一数据分析模块的输出结果，利用第二数据分析模块结合局部信息和全局信息，获得去噪后的图像数据；最后，通过数据输出模块输出去噪增强后的图像数据。
[0038]有益效果：本专利技术提出了一种基于可学习曲率图的图像增强方法与系统，针对真实噪声等级去噪易产生细节丢失，难以准确预估的现状，利用曲率学习对噪声分布进行估计，以获得较为准确去噪力度和纹理细节；同时结合残差网络和多尺度模块进行去噪，获得去噪后的高质量图像。本专利技术不仅可以有效去除图像的高斯噪声，而且通过模型训练可以提高不同噪声类型的去噪效果，具有较强的鲁棒性。
附图说明
[0039]图1为本专利技术的基于可学习曲率图的图像增强方法流程图。
[0040]图2为本专利技术的基于可学习曲率图的图像增强方法示意图。
具体实施方式
[0041]在下文的描述中，给出了大量具体的细节以便提供对本专利技术更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本专利技术可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本专利技术发生混淆，对于本领域公知的一些技术特征未进行描述。
[0042]实施例一
[0043]在一个实施例中，针对真实噪声等级去噪易产生细节丢失，难以准确预估的现状，提出一种基于可学习曲率图的图像增强方法，将数据处理过程划分成两个处理阶段，通过对图像噪声分布进行估计，获得更为准确的去噪力度和纹本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可学习曲率图的图像增强方法，其特征在于，包括以下步骤：步骤1、构建两阶段去噪模型；步骤2、将待分析的图像数据传输至去噪模型；步骤3、在第一阶段，利用去噪模型执行特征提取，获得噪声等级估计和噪声分布估计；步骤4、基于获得的噪声等级估计和噪声分布估计，计算高斯曲率；步骤5、在第二阶段，基于高斯曲率利用去噪模型结合局部信息和全局信息，获得去噪后的图像数据；步骤6、输出去噪图像数据。2.根据权利要求1所述的一种基于可学习曲率图的图像增强方法，其特征在于，构建所述两阶段去噪模型的过程包括：步骤1.1、构建噪声估计子网络；步骤1.2、构建去噪子网络；所述噪声估计子网络用于执行特征提取，获得噪声等级估计和噪声分布估计；所述去噪子网络用于基于噪声估计子网络的输出数据对真实图像执行去噪操作。3.根据权利要求2所述的一种基于可学习曲率图的图像增强方法，其特征在于，所述噪声估计子网络按序包含：卷积层、注意力机制、卷积层、噪声输出模块、高斯曲率模块；所述去噪子网络包括：深层网络、浅层网络、残差模块、多尺度模块；所述深层网络用于提取输入混合图像的噪声残差特征；所述浅层网络用来进行多特征提取。4.根据权利要求2所述的一种基于可学习曲率图的图像增强方法，其特征在于，在第一阶段，所述噪声估计子网络采用卷积层为3*3的卷积核构建4层神经网络模型，并使用padding操作得到各层大小相等的网络特征；随后，在最后一个卷积层前采用注意力机制对噪声分布估计执行加权提取；最后，将高斯曲率作为先验，计算高斯曲率。5.根据权利要求2所述的一种基于可学习曲率图的图像增强方法，其特征在于，在第二阶段，将获得的高斯曲率、噪声等级估计、噪声图像输入去噪子网络，同时基于第一阶段得到的特定位置噪声进行处理。6.根据权利要求2所述的一种基于可学习曲率图的图像增强方法，其特征在于，在构建完两阶段去噪模型后，还包括步骤1.3、...

【专利技术属性】
技术研发人员：程健，张一帆，李成华，张阳，
申请(专利权)人：中科南京人工智能创新研究院，
类型：发明
国别省市：