本发明专利技术提供了一种高动态范围图像重建方法和系统，构建基于双分支结构递归频带重建机制的高动态范围图像重建模型；采用公开样本集；构建训练样本集，对所述高动态范围图像进行训练，得到高动态范围图像生成模型；将大运动前景下多张连续不同曝光的低动态图像输入至所述高动态范围图像生成模型，得到对应的高动态范围图像。本发明专利技术基于双分支结构递归频带重建机制重建网络，有效解决在大运动前景下高动态范围重建算法容易产生鬼影效应和噪声的问题；通过对输入多曝光低动态范围图中本地特征和全局特征分别进行提取和融合，重建后的高动态范围图像质量更高，并引入递归频带重建机制，从低中高频分别对图像进行重建，网络能够更好的学习重建任务。更好的学习重建任务。更好的学习重建任务。
【技术实现步骤摘要】
高动态范围图像重建方法、系统、终端及存储介质
[0001]本专利技术涉及图像处理及重建
，具体地，涉及一种基于双分支结构递归频带重建机制的高动态范围图像重建的方法、系统、终端及存储介质。
技术介绍
[0002]高动态范围图像能够准确反映真实场景中的动态范围和图像细节，可广泛应用于电影电视、建筑、卫星气象、遥感探测、军事、医疗等领域。高动态范围图像通过专业设备最大限度地记录和显示原始场景的细节，这有利于研究人员分析数据，对改进当前的计算机视觉算法(图像分离、目标检测、超分辨率重建等)具有重要意义。然而，通过专业设备获取高动态范围图片的成本很高，这限制了高动态范围图像的发展。随着手机的普及，人们对普通相机和移动设备通过处理一些可能的极端场景(如强光和夜间)来获取高动态范围图像的算法提出了很高的要求。
[0003]如今，获取高动态范围图像的流行方法是通过融合具有不同曝光量的多个低动态范围图像的输入。通常，中等曝光的图像将被视为参考图像。其他不同曝光图像用于恢复和补充参考低动态范围图像中丢失的信息。这种具有手工特征的传统方法通过精确对齐低动态范围图像像素，可以生成可信的高动态范围图像。实际上，由于手持式相机的不稳定性和前景运动物体的移动性，多帧低动态范围图像在合成前往往无法直接对齐或对齐有偏差，传统方法合成的高动态范围图像存在伪影等缺陷，导致视觉效果差。
[0004]近年来，卷积神经网络在图像处理和计算机视觉领域取得了巨大成功。许多研究试图解决基于深度学习的高动态范围图像重建中复杂的色调映射问题。在2017年，Kalantari等人在N.K.Kalantari and R.Ramamoorthi,Deep high dynamic range imaging of dynamic scenes,ACM Trans.Graph.,36(4)(2017)1
‑
12,提出基于光流对齐LDR输入，然后将对齐的LDR图像送入网络进行合并和重建。同年，Wu等人在S.Wu,J.Xu,Y.
‑
W.Tai,and C.
‑
K.Tang,Deep high dynamic range imaging with large foreground motions,European Conference on Computer Vision(ECCV),(2018)117
‑
132,中提出了一种无需光流预处理的端到端高动态范围图像重建网络。然而，这些方法未能充分利用LDR输入的相关性并专门处理失准问题。特别是，在具有挑战性的大型运动场景中，生成的结果可能仍然有重影瑕疵。因此，如何消除重影伪影仍然是高动态范围图像重建任务中的一大挑战。
[0005]经过检索发现：
[0006]公开号为CN109919841A、公开日为2019年6月21日的中国专利技术专利申请《一种用于高动态范围图像联合上采样的导向图的合成方法》，基于训练图像对，将注意力网络应用于高动态范围去重影算法中，引导不同图像地融合，抑制图像地饱和与非对准区域；本专利技术创新性地提出了利用可学习的注意力网络来指导合并过程。利用注意力网络生成注意力映射，可以突出和参考图像互补的特征，来排除运动和严重饱和的区域，将具有注意力引导的低动态范围图像特征输入到融合网络中。利用空洞残差块来构造融合网络，有助于充分利
用来自不同卷积层的信息，从而从输入的低动态范围图像中保留更多的细节。该方法全程采用全尺寸的图像进行处理，卷积核感受野不够大，难以捕捉全局的特征，计算量偏大，导致处理一张图片的时间可能较长。
[0007]公开号为CN113160178A、公开号为2021年7月23日的中国专利技术专利申请《一种用于高动态范围图像联合上采样的导向图的合成方法》，本方法获取N张高分辨率待处理图片，并分别将所述N张高分辨率待处理图片进行压缩处理得到低分辨率待处理图片，并采用高动态范围图像合成方法得到低分辨率高动态范围图片。对获取的N张高分辨率待处理图片处理得到N张曝光图片，并给每张曝光图片计算一个额外因子γ，并采用HGI加权平均函数合成得到高动态范围图像联合上采样的导向图HGI；最后将高动态范围图像联合上采样的导向图HGI采用联合上采样算法得到高分辨率高动态范围图片。该方法采用了不同尺度的输入图像来提取特征，但仅仅使用HGI加权平均函数对图像进行处理，和泛化性和算法的对高动态范围的特化性不足，导致在去除动态伪影的效果并不理想。
技术实现思路
[0008]针对现有技术中的缺陷，本专利技术的目的是提供一种高动态范围图像重建方法、系统、终端及存储介质。
[0009]根据本专利技术的一个方面，提供一种高动态范围图像重建方法，包括：
[0010]构建基于双分支结构递归频带重建网络的高动态范围图像重建模型；
[0011]构建训练样本集；
[0012]采用所述训练样本集，对所述高动态范围图像重建模型进行训练，并采用频带混合损失函数对重建结果进行约束，得到训练好的高动态范围图像重建模型；
[0013]将不同曝光下连续拍摄的低动态范围图像输入至所述高动态范围图像重建模型，得到高动态范围图像。
[0014]优选地，所述构建基于双分支结构递归频带重建网络的高动态范围图像重建模型，包括：
[0015]采用卷积块，构建初步特征提取层，对多张低动态范围输入图像提取输入图像特征；
[0016]采用多个频带重建卷积块，构建提取所述输入图像特征的本地特征的本地特征编码器；
[0017]采用注意力机制卷积块，构建交互注意力机制，在多个独立的所述本地特征编码器间互换特征；
[0018]采用多个卷积核和下采样卷积核，构建全局特征分支，用于将多张所述低动态范围输入图像下采样到固定尺度；
[0019]采用多个频带重建卷积块，构建频带重建分支，其基于所述本地特征编码器、交互注意力机制和全局特征分支，实现从高维特征依序进行不同尺度的特征重建；
[0020]采用多个卷积块，构建重建输出层，将所述不同尺度的特征重建为不同尺度的高动态范围结果；
[0021]将所述初步特征提取层、本地特征编码器、注意力机制模块、全局特征分支、频带重建分支和重建输出层连接，构成一个阶段的高动态范围图像重建模块；
[0022]将多个阶段的所述高动态范围图像重建模块以递归的形式连接，组成频带重建网络，并通过残差连接增加各阶段之间的相关性。
[0023]优选地，每个所述本地编码器包括三个频带重建卷积块，即每个所述本地编码器有两个下采样层，其采用三个尺度处理每个输入。
[0024]优选地，在所述频带重建分支中，所述将不同尺度的特征重建为不同尺度的高动态范围结果，包括：
[0025]所述本地特征编码器、注意力机制模块和全局特征分支的输出为高维特征，其尺度小于输入图像，通道数高于输入图像；
[0026]将多个所述高维特征的通道维度进行堆叠，通过两个频带重建卷积模块，与前轮迭代中小尺本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种高动态范围图像重建方法，其特征在于，包括：构建基于双分支结构递归频带重建网络的高动态范围图像重建模型；构建训练样本集；采用所述训练样本集，对所述高动态范围图像重建模型进行训练，并采用频带混合损失函数对重建结果进行约束，得到训练好的高动态范围图像重建模型；将不同曝光下连续拍摄的低动态范围图像输入至所述高动态范围图像重建模型，得到高动态范围图像。2.根据权利要求1所述的一种高动态范围图像重建方法，其特征在于，所述构建基于双分支结构递归频带重建网络的高动态范围图像重建模型，包括：采用卷积块，构建初步特征提取层，对多张低动态范围输入图像提取输入图像特征；采用多个频带重建卷积块，构建提取所述输入图像特征的本地特征的本地特征编码器；采用注意力机制卷积块，构建交互注意力机制，在多个独立的所述本地特征编码器间互换特征；采用多个卷积核和下采样卷积核，构建全局特征分支，用于将多张所述低动态范围输入图像下采样到固定尺度；采用多个频带重建卷积块，构建频带重建分支，其基于所述本地特征编码器、交互注意力机制和全局特征分支，实现从高维特征依序进行不同尺度的特征重建；采用多个卷积块，构建重建输出层，将所述不同尺度的特征重建为不同尺度的高动态范围结果；将所述初步特征提取层、本地特征编码器、注意力机制模块、全局特征分支、频带重建分支和重建输出层连接，构成一个阶段的高动态范围图像重建模块；将多个阶段的所述高动态范围图像重建模块以递归的形式连接，组成频带重建网络，并通过残差连接增加各阶段之间的相关性。3.根据权利要求2所述的一种高动态范围图像重建方法，其特征在于，每个所述本地编码器包括三个频带重建卷积块，即每个所述本地编码器有两个下采样层，其采用三个尺度处理每个输入。4.根据权利要求2所述的一种高动态范围图像重建方法，其特征在于，在所述频带重建分支中，所述将不同尺度的特征重建为不同尺度的高动态范围结果，包括：所述本地特征编码器、注意力机制模块和全局特征分支的输出为高维特征，其尺度小于输入图像，通道数高于输入图像；将多个所述高维特征的通道维度进行堆叠，通过两个频带重建卷积模块，与前轮迭代中小尺度特征进行加和，作为小尺度特征；小尺度特征进行卷积操作后通过重建层输出小尺度的重建结果；小尺度高维特征先进行上采样，与特征提取分支中的三个本地编码器提取的中尺度特征一同在通道维度上进行连接，然后通过一个频带重建卷积块；同时与上一轮迭代中上采样后的中尺度高维特征进行相加，然后通过卷积操作后与上采样后的小尺度重建结果进行相加，生成中尺度重建结果；中尺度高维特征先进行上采样，与特征提取分支中的三个本地编码器提取的大尺度特
征一同在通道维度上进行连接，然后通过一个频带重建卷积块；同时与上一轮迭代中上采样后的大尺度高维特征进行相加，然后通过卷积操作后与上采样后的中尺度重建结果进行相加，生成大尺度重建结果。5.根据权利要求2所述的一种高动态范围图像重建方法，其特征在于，在所述频带重建卷积块中，大小为W
×
H
×
C的输入特征经过一个...
【专利技术属性】
技术研发人员：王永芳，杨英杰，
申请(专利权)人：上海大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。