基于双路编解码器的低照度图像亮度增强及超分辨率方法技术

本发明专利技术涉及一种基于双路编解码器的低照度图像亮度增强及超分辨率方法，属于计算机视觉图像技术领域。第一步，通过共享参数的编码器对暗光图像进行特征提取，得到一组特征图；第二步，将特征图送入超分辨率解码器进行解码，得到超分辨率特征图；第三步，对第一步中编码器输出的特征图和第二步的超分辨率特征图分别进行池化得到两个特征向量，并使用注意力机制对其加权融合，然后送入低照度解码器进行解码。最后，对两个解码器的输出进行后处理，得到超分辨率后的对应图像。本发明专利技术设计合理，针对目前低照度增强方法的缺陷，将低照度增强和图像超分辨率任务相结合，提高了重建图像的视觉效果，整体在低照度增强和超分综合任务上取得了较好的效果。

【技术实现步骤摘要】
基于双路编解码器的低照度图像亮度增强及超分辨率方法
本专利技术属于计算机视觉图像
，尤其是一种基于双路编解码器的低照度图像亮度增强及超分辨率方法。
技术介绍
随着科学技术的进步，移动设备日益普及，图像的获取越来越便捷。但在图像采集的过程中，受限于拍照设备、拍摄环境及光照条件，往往会拍摄出难以看清的暗光图像，并且暗光图像的质量通常都较低。例如，监控摄像头拍摄出的图像虽然标出的分辨率较高，但其实质量很低，噪声严重，特别是夜晚情况下；手机拍摄时，环境光线不充足，拍摄出的图像太暗，甚至会导致图像中出现噪声、模糊和细节失真。这些问题不仅会影响图像的视觉效果，更会为后续的应用带来困难，因此常常需要一些后处理来进行图像增强，在恢复图像亮度的同时提高图像质量。但是现有的低照度增强方法往往只关注对图像亮度的恢复，而忽略了对图像质量的提升，包括细节的增强等。而现有的超分辨率方法大多数都是基于这样的一个前提，输入图像是高质量高分辨率的真值图像经过某种已知或未知的下采样方式得到的。这表示绝大多数超分辨率方法针对的输入图像都是正常光照下的图像，同时也是没有噪声的较本文档来自技高网...

【技术保护点】
1.基于双路编解码器的低照度图像亮度增强及超分辨率方法，其特征在于包括以下步骤：/n步骤1、在图像输入阶段，随机采用数据增强技术，变换样本内容；/n步骤2、将经过步骤1数据增强后的暗光图像输入网络，通过共享所有参数的编码器对输入暗光图像进行特征提取，编码器包括卷积、下采样等操作，其中卷积核的大小都是3×3，但是卷积的输出通道数分别为32、64、128、256和512。编码器输出一组特征图；/n步骤3、将步骤2的输出特征图先送入超分辨率解码器进行解码，该解码器包括卷积、转置卷积、上采样、特征图级联等操作；将四次上采样和卷积之后的特征图送入细节增强模块处理，同时采用跳连结构，及时补充低层次信息，得...

【技术特征摘要】
1.基于双路编解码器的低照度图像亮度增强及超分辨率方法，其特征在于包括以下步骤：
步骤1、在图像输入阶段，随机采用数据增强技术，变换样本内容；
步骤2、将经过步骤1数据增强后的暗光图像输入网络，通过共享所有参数的编码器对输入暗光图像进行特征提取，编码器包括卷积、下采样等操作，其中卷积核的大小都是3×3，但是卷积的输出通道数分别为32、64、128、256和512。编码器输出一组特征图；
步骤3、将步骤2的输出特征图先送入超分辨率解码器进行解码，该解码器包括卷积、转置卷积、上采样、特征图级联等操作；将四次上采样和卷积之后的特征图送入细节增强模块处理，同时采用跳连结构，及时补充低层次信息，得到超分辨率的特征图；
步骤4、将步骤2中编码器输出的特征图和步骤3中得到的超分辨率特征图送入低照度解码器进行解码。首先分别进行池化操作得到低照度特征向量和超分辨率特征向量，再对两个特征向量使用注意力机制进行加权融合，然后对其进行四次上采样和卷积，最终输出低照度的特征图；
步骤5、对步骤3和步骤4中得到的超分辨率特征图和低照度特征图分别进行上采样和降维卷积，其中上采样使用亚像素卷积，降维卷积的输出通道数和输入原始图像的通道数一致，分别得到超分辨率后的亮光图像和暗光图像。


2.根据权利要求1所述的基于双路编解码器的低照度图像亮度增强及超分辨率方法，其特征在于，所述步骤1的数据增强的具体方法包括以下步骤：
(1)若处于测试阶段，则直接进入权利要求1所述步骤2；若处于训练阶段，则进行以下操作；
(2)对输入的暗光图像以1/8的概率决定其数据增强方式，包括不翻转、垂直翻转、逆时针旋转90°、逆时针旋转90°并垂直翻转、旋转180°、旋转180°并垂直翻转、逆时针旋转270°、逆时针旋转270°并垂直翻转；
(3)在数据增强后的输入图像中，随机定位一个尺寸为128×128的图像块，将其输入网络模型中。


3.根据权利要求1所述的基于双路编解码器的低照度图像亮度增强及超分辨率方法，其特征在于，所述步骤2的具体细节包括以下内容：
(1)该编码器的网络结构形如字母V，共包含10层卷积层，每两个卷积层之后进行一次下采样，形成逐步下采样的结构，对输入暗光图像进行特征提取；
(2)每个卷积层的卷积核尺寸都为3×3，不改变特征图尺寸，但改变输出通道数分别至32、64、128、256和512，再使用最大值池化将特征图尺寸降低为原来的1/2，进行空间特征的压缩与融合，保留纹理内容，扩大卷积网络的感受野，提取更多语义信息；
(3)将五组卷积输出的所有特征图作为该阶段的输出。


4.根据权利要求1所述的基于双路编解码器的低照度图像亮度增强及超分辨率方法，其特征在于，所述步骤3的具体细节包括以下内容：
(1)超分辨率的解码器接收编码器输出的所有特征图作为输入，逐步卷积和上采样，共有四次上采样，与步骤2中的下采样一一对应；
(2)首先将第四次下采样后的特征图通过全局平均池化变为512维的特征向量，提炼出全局信息，再通过维度复制将其扩展为特征图，该特征图具有与第四次下采样前的特征图相同的尺寸和通道数；
(3)每一次上采样首先使用转置卷积，对特征图进行2倍上采样，并和编码器中对应层的具有相同尺寸的输出在通道维度上进行级联，及时补充在提取特征时由于下采样而丢失的空间信息，同时合并深层次语义特征信息；
(4)对级联后的特征图进行两次3×3的卷积，通道数维持不变，进一步重建图像信息，如此重复四次；
(5)将第四次上采...

【专利技术属性】
技术研发人员：姜竹青，刘畅，王雅楠，门爱东，王海婴，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11