基于神经网络的图像重建方法、装置、电子设备及介质制造方法及图纸

本申请公开了一种基于神经网络的图像重建方法、装置、电子设备及介质。通过应用本申请的技术方案，可以根据基本重建子网络，自适应地利用脉冲阵列的短时相关性粗略地估计不同时刻点的瞬时光强；并利用残差学习结构的特征提取子网络进一步提取不同时刻点的深层特征；以使后续根据运动对齐的图像重建子网络，在不产生运动模糊的前提下，利用脉冲阵列的长时相关性进一步提升重建图像的质量。关性进一步提升重建图像的质量。关性进一步提升重建图像的质量。

【技术实现步骤摘要】
基于神经网络的图像重建方法、装置、电子设备及介质


[0001]本申请中涉及数据处理技术，尤其是一种基于神经网络的图像重建方法、装置、电子设备及介质。

技术介绍

[0002]传统数字相机通常以固定的帧率进行拍摄成像，每一帧图像按照以下方式生成：在一定的曝光时间窗内，图像传感器的每个像素对入射光进行光电转换和累计，曝光结束后经过模数转换得到该像素的光照总量。由于曝光时间窗内的信息叠加在一起进行记录，这种方式无法对高速物体进行有效成像，往往导致高速运动物体的成像模糊。
[0003]因此，近年来，随着深度学习技术的飞速发展，将深度神经网络运用并解决在高速运动场景下脉冲相机的成像问题成为了本领域技术人员需要解决的问题。

技术实现思路

[0004]本申请实施例提供一种基于神经网络的图像重建方法、装置、电子设备及介质，其中，根据本申请实施例的一个方面，提供的一种基于神经网络的图像重建方法，其特征在于，包括基本重建子网络，特征提取子网络以及图像重建子网络，其中：
[0005]利用基本重建子网络，提取脉冲阵列的多尺度短时时域信息，并基于每个短时时域信息，分别生成对应的初步重建图像；
[0006]将多个初步重建图像进行图像融合，得到调制后的重建图像；
[0007]利用特征提取子网络，提取所述调制后的重建图像中不同时刻点的深层特征，并将所述多个深层特征进行特征对齐，得到对应的多个待融合特征；
[0008]利用所述图像重建子网络，对所述多个待融合特征进行特征融合，得到目标重建图像。r/>[0009]可选地，在基于本申请上述方法的另一个实施例中，所述利用基本重建子网络，提取脉冲阵列的多尺度短时时域信息，包括：
[0010]利用所述基本重建子网络的多个基于卷积层的平行分支，确定所述脉冲阵列在不同尺度下的短时时域信息，所述短时时域信息用于表征所述脉冲阵列的瞬时光强值。
[0011]可选地，在基于本申请上述方法的另一个实施例中，所述将多个初步重建图像进行图像融合，得到调制后的重建图像，包括：
[0012]利用注意力模块引导所述多个初步重建图像进行图像自适应融合，得到所述调制后的重建图像，其中所述注意力模块由卷积函和激活函数交替串联的结构组成；其中，最后一层的激活函数采用Sigmoid函数，其它层激活函数采用ReLU函数。
[0013]可选地，在基于本申请上述方法的另一个实施例中，所述将所述多个深层特征进行特征对齐，得到对应的多个待融合特征，包括：
[0014]利用所述特征提取子网络中的可变形卷积对所述多个深层特征进行运动特征对齐。
[0015]可选地，在基于本申请上述方法的另一个实施例中，利用以下公式对所述多个深层特征进行运动特征对齐：
[0016][0017]其中，p＝(x，y)表示中心坐标，n表示采样位置数，w
i
和p
i
分别表示第i个采样位置所对应的权重和固定的偏移量。和表示第i个采样位置所对应的调制尺度和可学的偏移量。和由第(l
‑
1)层的偏移量ΔP
(l
‑
1)
和第l层的参考帧特征和关键帧特征
[0018]可选地，在基于本申请上述方法的另一个实施例中，所述利用特征提取子网络，提取所述调制后的重建图像中不同时刻点的深层特征，包括：
[0019]所述特征提取子网络采用多个串联的残差模块来提取所述调制后的重建图像中不同时刻点的深层特征。
[0020]可选地，在基于本申请上述方法的另一个实施例中，所述并将所述多个深层特征进行特征对齐，得到对应的多个待融合特征，包括：
[0021]将所述多个深层特征进行特征对齐后，将对齐后的特征和关键帧特征同时输入到所述图像重建子网络中的对齐可靠性评估模块，其中所述对齐可靠性评估模块由串联的卷积层和激活层所构成；
[0022]基于所述对齐可靠性评估模块生成的对其可靠性结果，得到对应的多个待融合特征。
[0023]可选地，在基于本申请上述方法的另一个实施例中，在所述基于所述对齐可靠性评估模块生成的对其可靠性结果，得到对应的多个待融合特征之后，还包括：
[0024]将所有对齐可靠性结果与对齐后的特征相乘，得到合并特征；
[0025]将所述合并特征与关键帧特征输入到所述图像重建子网络中基于卷积的特征融合模块，得到所述目标重建图像。
[0026]其中，根据本申请实施例的又一个方面，提供的一种基于神经网络的图像重建装置，其特征在于，包括基本重建子网络，特征提取子网络以及图像重建子网络，其中：
[0027]获取模块，被配置为利用基本重建子网络，提取脉冲阵列的多尺度短时时域信息，并基于每个短时时域信息，分别生成对应的初步重建图像；
[0028]融合模块，被配置为将多个初步重建图像进行图像融合，得到调制后的重建图像；
[0029]提取模块，被配置为利用特征提取子网络，提取所述调制后的重建图像中不同时刻点的深层特征，并将所述多个深层特征进行特征对齐，得到对应的多个待融合特征；
[0030]生成模块，被配置为利用所述图像重建子网络，对所述多个待融合特征进行特征融合，得到目标重建图像。
[0031]根据本申请实施例的又一个方面，提供的一种电子设备，包括：
[0032]存储器，用于存储可执行指令；以及
[0033]显示器，用于与所述存储器显示以执行所述可执行指令从而完成上述任一所述基
于神经网络的图像重建方法的操作。
[0034]根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述基于神经网络的图像重建方法的操作。
[0035]本申请中，可以利用基本重建子网络，提取脉冲阵列的多尺度短时时域信息，并基于每个短时时域信息，分别生成对应的初步重建图像；将多个初步重建图像进行图像融合，得到调制后的重建图像；利用特征提取子网络，提取调制后的重建图像中不同时刻点的深层特征，并将多个深层特征进行特征对齐，得到对应的多个待融合特征；利用图像重建子网络，对多个待融合特征进行特征融合，得到目标重建图像。通过应用本申请的技术方案，可以根据基本重建子网络，自适应地利用脉冲阵列的短时相关性粗略地估计不同时刻点的瞬时光强；并利用残差学习结构的特征提取子网络进一步提取不同时刻点的深层特征；以使后续根据运动对齐的图像重建子网络，在不产生运动模糊的前提下，利用脉冲阵列的长时相关性进一步提升重建图像的质量。
[0036]下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
[0037]构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
[0038]参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
[0039]图1为本申请提出的一种基于神经网络的图像重建方法示意图；
[0040本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的图像重建方法，其特征在于，包括基本重建子网络，特征提取子网络以及图像重建子网络，其中：利用基本重建子网络，提取脉冲阵列的多尺度短时时域信息，并基于每个短时时域信息，分别生成对应的初步重建图像；将多个初步重建图像进行图像融合，得到调制后的重建图像；利用特征提取子网络，提取所述调制后的重建图像中不同时刻点的深层特征，并将所述多个深层特征进行特征对齐，得到对应的多个待融合特征；利用所述图像重建子网络，对所述多个待融合特征进行特征融合，得到目标重建图像。2.如权利要求1所述的方法，其特征在于，所述利用基本重建子网络，提取脉冲阵列的多尺度短时时域信息，包括：利用所述基本重建子网络的多个基于卷积层的平行分支，确定所述脉冲阵列在不同尺度下的短时时域信息，所述短时时域信息用于表征所述脉冲阵列的瞬时光强值。3.如权利要求1所述的方法，其特征在于，所述将多个初步重建图像进行图像融合，得到调制后的重建图像，包括：利用注意力模块引导所述多个初步重建图像进行图像自适应融合，得到所述调制后的重建图像，其中所述注意力模块由卷积函和激活函数交替串联的结构组成；其中，最后一层的激活函数采用Sigmoid函数，其它层激活函数采用ReLU函数。4.如权利要求1所述的方法，其特征在于，所述将所述多个深层特征进行特征对齐，得到对应的多个待融合特征，包括：利用所述特征提取子网络中的可变形卷积对所述多个深层特征进行运动特征对齐。5.如权利要求4所述的方法，其特征在于，利用以下公式对所述多个深层特征进行运动特征对齐：其中，p＝(x，y))表示中心坐标，n表示采样位置数，w
i
和p
i
分别表示第i个采样位置所对应的权重和固定的偏移量。和表示第i个采样位置所对应的调制尺度和可学的偏移量。和由第(l
‑
1)层的偏移量ΔP
(l
‑
1)
和第l层的参考帧特征和关键帧特征6.如权利要求1所述的方法，其特征在于，所述利用特征...

【专利技术属性】
技术研发人员：赵菁，熊瑞勤，黄铁军，
申请(专利权)人：北京大学，
类型：发明
国别省市：