一种基于神经网络的高动态图像重建方法技术

本发明专利技术公开了一种基于神经网络的高动态图像重建方法。该方法的具体步骤如下：(1)将多个LDR域的图像按照亮度高低排列，并选取参考图像。(2)利用伽玛变换转换LDR域的图像得到HDR域的图像。(2)将HDR域和LDR域的图像输入到特征提取网络中提取不同尺度的HDR域和LDR域的图像特征。(3)将HDR域和LDR域的图像特征输入到金字塔对齐网络，利用HDR域特征来计算对齐所需的偏移量，用所得偏移对齐HDR域和LDR域的图像特征。(4)对齐后的HDR域和LDR域图像特征经过融合网络，得到重建的HDR图像。利用本方法可以较好地处理输入图像组中的物体运动和视差，重建高主观质量的无伪影的HDR图像。

【技术实现步骤摘要】
一种基于神经网络的高动态图像重建方法
本专利技术涉及计算摄像学领域，尤其涉及一种基于神经网络的高动态成像技术。
技术介绍
人眼对光线高度敏感且可捕获高动态范围的场景，而普通相机捕获的图像往往包含过曝或者欠曝区域，会丢失较多场景中的细节信息。高动态成像技术旨在生成接近人眼感知的场景的图像，现有的高动态成像方法主要包括两大类：基于硬件设计的方法和基于计算重建的方法。基于硬件设计的方法通过设计专用结构来捕获高光和暗部信息，生成高动态范围的图像。这类方法大多利用分束器或空间多曝光像素来设计。基于硬件的方法可以直接拍摄得到较高质量的高动态图像或视频，但这类设备往往需要严格的校准且价格昂贵，难以普遍使用。基于计算成像的方法利用一系列不同曝光的图像输入来合成高动态图像。由于场景中的物体运动，相机位置设置和拍摄者的运动等，输入图像组中往往包含和参考图像内容不一致的像素，这可能导致最终合成的高动态图像中出现伪影。现有的方法大多基于运动检测或者先光流对齐再融合的思路解决问题。其中，基于运动检测的方法先全局对齐背景，再根据参考图像检测其他图像中的运动本文档来自技高网...

【技术保护点】
1.一种基于神经网络的高动态图像重建方法，其特征在于，包括如下步骤：/n步骤1，将i个低动态范围域的图像按照亮度高低排列，记为{L

【技术特征摘要】
1.一种基于神经网络的高动态图像重建方法，其特征在于，包括如下步骤：
步骤1，将i个低动态范围域的图像按照亮度高低排列，记为{Li}，并从中选取一张图像作为参考图像；
步骤2，利用伽玛变换将步骤1的低动态范围域图像变换得到高动态范围域图像，记为{Hi}；
步骤3，将步骤1的低动态范围域图像与步骤2得到的高动态范围域图像输入同一个特征提取网络，得到不同尺度的低动态范围域图像特征和高动态范围域图像特征其中，s表示不同的尺度，s数值增大对应特征尺度减小；
步骤4，将步骤3提取的图像特征和输入到金字塔特征对齐网络，网络输出对齐的与输入图像尺寸相同的低动态范围域图像特征和高动态范围域图像特征
步骤5，将步骤4对齐的图像特征和经过掩膜融合网络，得到重建的参考图像视角的高动态范围域图像


2.根据权利要求1所述的一种基于神经网络的高动态图像重建方法，其特征在于，所述步骤4中，金字塔特征对齐网络仅利用高动态范围域的图像特征来计算可变形卷积层所需的偏移Δp，以此减小曝光差异对特征对齐的影响，具体步骤如下：
步骤41，确定金字塔的尺度数目，输入步骤3中提取图像特征和
步骤42，取最小尺度的高动态范围域图像特征输入卷积块ConM计算偏移Δps，用可变形卷积DConv对图像特征和进行粗对齐：





...

【专利技术属性】
技术研发人员：马展，蒲志远，郭珮瑶，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32