基于Transformer网络的噪声估计图像增强方法技术

本发明专利技术提出了一种基于Transformer网络的噪声估计图像增强方法。本发明专利技术构建特征提取分解子网络，利用卷积算子提取图像的局部信息，并且结合Transformer的全局建模能力，充分地发挥模型的表达能力，更好地提取图像特征，解决了现有技术仅依赖卷积层堆叠的参数冗余以及容易造成梯度消失的问题，本发明专利技术能够精确地保留图像细节，恢复出更加清晰的图像。本发明专利技术设计的噪声估计优化子网络对噪声进行拟合估计，采用残差结构进行去噪优化，简单有效地去除了增强后图像中的噪声，使得本发明专利技术能快速有效地进行去噪，且增强后图像变得更加平滑，提高了视觉效果和图像质量。高了视觉效果和图像质量。高了视觉效果和图像质量。

【技术实现步骤摘要】
115115540A)中提出一种无监督的低照度图像增强方法。该方法的实现步骤包括：收集训练数据集和测试数据集；构建基于光照信息引导的低光增强模型，并将训练数据集中的图像输入到低光增强模型中进行训练；基于光照信息引导的低光增强模型为包括生成器和判别器的生成式对抗网络；生成器包括光照估计模块和增强网络，光照估计模块生成单通道的光照信息图，用以指导所述增强网络的学习；增强网络以U
‑
net作为网络的基本块，在U
‑
net网络的不同尺度层添加光照信息图指导；将测试数据集中的图像输入到训练好的低光增强模型中，得到增强后的正常光图像。该方法采用生成对抗网络来进行图像增强，摆脱了有监督算法中需要获取成对图像数据的局限，并采用了对特征添加光照信息用以指导低光增强的过程来避免结构缺失与颜色偏差。但是，该方法仍然存在的不足之处是，采用U
‑
net作为网络的基本块，在不同尺度上多次提取特征，造成特征的冗余使用，降低了模型的效率。
[0005]西安理工大学在其申请的专利文献“基于Retinex模型的极低照度图像增强方法”(申请日：2022年04月2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer网络的噪声估计图像增强方法，其特征在于，构建基于Transformer的特征提取分解网络，以及噪声估计优化网络；该图像增强方法的步骤包括如下：步骤1，生成训练集：选取至少500张含有噪声的低光照度图像，将每张图像裁剪为128*128大小的图像块，对每个图像块进行数据增广，再将增广后的所有图像块转换为3*128*128的张量形式，将所有张量形式的图像块组成训练集；步骤2，构建基于Transformer的特征提取分解子网络：搭建由第一卷积层，第一Transformer层，第二Transformer层，第三Transformer层，第二卷积层、除法器依次串联组成的特征提取分解子网络；第一、第二卷积层的激活函数分别采用ReLU函数和Sigmoid函数实现，卷积核的尺寸分别设置为3*3和1*1，步长均设置为1；第一至第三Transformer层的通道数均设置为16；步骤3，构建噪声估计优化子网络：步骤3.1，搭建由第一卷积层、第二卷积层串联组成的噪声估计模块，第一、第二卷积层的激活函数均采用ReLU函数，卷积核尺寸分别设置为3*3和1*1，步长均设置为1；步骤3.2，搭建由第一卷积层、...

【专利技术属性】
技术研发人员：张静，曾繁玉，张治成，贾佳，李云松，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：