【技术实现步骤摘要】
一种基于多任务融合的多相机低光照图像质量增强方法
本专利技术涉及计算摄像领域及图像处理
，具体涉及一种基于多任务融合的多相机低光照彩色图像质量增强方法。
技术介绍
低光照成像技术在自动驾驶、安防监控以及专业摄影等应用中均是一项重要且具挑战性的任务。拍摄时曝光时长过短或者环境光过弱等引起的光照条件不充分会导致捕获图像信噪比极低，且视觉感知质量严重下降。传统的直方图均衡和伽马校正算法可直接调整图像亮度通道的分布，提升亮度分布，但无法对图像的色彩饱和度进行补偿。基于“Retinextheory”理论的图像质量增强算法将拍摄到的图片分解为光照分量以及表征物体本身特性、与光照无关的反射分量，通过改善光照分量或者反射分量来恢复优曝光条件下的高质彩色图像。由于以上方法仅使用单帧源图像进行低光照条件下的增强，信息欠采样严重，这使得重建图像中的部分颜色表征不真实、纹理模糊。而当下多相机采集系统可经济有效地大大提升多维信息采集容量，在亿级像素采集、高帧率视频采集、多维光谱采集等光学系统中获得了大量应用。且由于图像处理算法的精进，较...
【技术保护点】
1.一种基于多任务融合的多相机低光照图像质量增强方法，其特征在于，该方法将同时获得的低分辨率次曝光彩色图像和高分辨率优曝光灰度图像，生成高分辨率下优曝光的高质彩色图像，具体包括如下步骤：/n步骤1，生成训练使用的图像块对：随机挑选同一场景下不同视点不同曝光时间的图片进行裁剪、褪色和加噪，获取训练所需要的低分辨率次曝光的彩色图像和高分辨率优曝光的单通道灰度图像，组成输入图像对，作为训练数据集；/n步骤2，构建级联的参考曝光补偿网络、参考着色网络以及参考超分辨率网络，用于对多相机低光照图像的质量进行增强；/n步骤3，构建损失函数，使用优化器依次单独训练参考曝光补偿网络、参考着色...
【技术特征摘要】
1.一种基于多任务融合的多相机低光照图像质量增强方法，其特征在于，该方法将同时获得的低分辨率次曝光彩色图像和高分辨率优曝光灰度图像，生成高分辨率下优曝光的高质彩色图像，具体包括如下步骤：
步骤1，生成训练使用的图像块对：随机挑选同一场景下不同视点不同曝光时间的图片进行裁剪、褪色和加噪，获取训练所需要的低分辨率次曝光的彩色图像和高分辨率优曝光的单通道灰度图像，组成输入图像对，作为训练数据集；
步骤2，构建级联的参考曝光补偿网络、参考着色网络以及参考超分辨率网络，用于对多相机低光照图像的质量进行增强；
步骤3，构建损失函数，使用优化器依次单独训练参考曝光补偿网络、参考着色网络和参考超分辨率网络，在各网络训练完成后利用训练数据集对整个级联网络进行端到端训练优化；
步骤4，使用优化后的级联网络对低光照条件下的多相机图片质量进行增强：输入多相机在低光照条件下同时获得的低分辨率次曝光彩色图像和高分辨率优曝光灰度图像，通过参考曝光补偿网络获得低分辨率优曝光的彩色图像，而后通过参考着色网络对降采样后的灰色图像进行着色，最后通过参考超分辨率网络对上色所得的低分辨率进行插值重建高分辨率优曝光的彩色图像，获得低光照下优质彩色图像。
2.根据权利要求1所述的一种基于多任务融合的多相机低光照图像质量增强方法，其特征在于，步骤2中，构建级联的参考曝光补偿网络、参考着色网络以及参考超分辨率网络的具体步骤包括：
步骤21，构建参考曝光补偿网络：首先使用半径较大的卷积核对图像进行大范围的特征理解，接着用堆叠的小卷积核和修正线性单元层进行局部特征非线性拟合，最后利用Sigmoid函数和额外的偏移层进行特征空间值域约束，获得曝光补偿后的低分辨率彩色图像；
步骤22，构建参考着色网络：首先利用光流估计模块计算输入图像对在亮度特征上的相关性，而后利用计算得到的参考位置进行从彩色图像到灰色图像在色彩空间上的偏移；接着，对于无法正确估计参考位置的区域利用堆叠的残差卷积模块进行色彩信息补偿，获得灰色图像上色后...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。