图像重建方法、电子设备、存储介质及程序产品技术

本发明专利技术实施例提供一种图像重建方法、电子设备、计算机可读存储介质及计算机程序产品。方法包括：获取与多个待处理图像一一对应的多个伽马校正图像，待处理图像是低动态范围图像，多个伽马校正图像通过对多个待处理图像进行伽马校正获得；将多个伽马校正图像输入重建网络模型中的可变形对齐模块，以获得与多个待处理图像一一对应的对齐特征；将对齐特征输入重建网络模型中的融合模块，以获得重建图像，重建图像是高动态范围图像。这种方式可以有效解决HDR图像重建时的鬼影问题。解决HDR图像重建时的鬼影问题。解决HDR图像重建时的鬼影问题。

【技术实现步骤摘要】
图像重建方法、电子设备、存储介质及程序产品


[0001]本专利技术涉及图像处理
，更具体地涉及一种图像重建方法、电子设备、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]在数字图像处理领域，动态范围是指图像能够捕获的场景中光亮度的范围。人眼可观察到的自然场景动态范围可达10000:1，而普通消费级摄影设备(例如手机)往往仅能拍摄有限的低动态范围(Low Dynamic Range，LDR)图像(其动态范围为例如100:1～300:1)。与LDR图像相比，高动态范围(High Dynamic Range，HDR)图像的动态范围更广，可以更加真实地还原出逼近真实场景的光影效果，因此能够获得层次更加丰富，画面更加真实，质量更高的照片。
[0003]获得HDR图像的方法有两种：第一种是通过特定的设备直接捕获HDR图像，但是这种设备体积庞大、价格昂贵，无法在消费级电子产品(如智能手机)中普及；第二种方法是通过融合多帧不同曝光的LDR图像来获得HDR图像(即多曝光HDR图像重建)，然而由于手持相机的抖动或者前景物体的运动，多帧融合容易出现鬼影问题。
[0004]以上两种方法中，第二种方法，即动态场景下多曝光HDR图像重建是比较常用的HDR图像获得方法。为了获得高质量的HDR图像，需要解决在融合多帧不同曝光强度的LDR图像时因前景运动或者相机抖动造成的鬼影问题。

技术实现思路

[0005]考虑到上述问题而提出了本专利技术。本专利技术提供了一种图像重建方法和装置、渲染客户端以及存储介质。
[0006]根据本专利技术一方面，提供了一种图像重建方法，包括：获取与多个待处理图像一一对应的多个伽马校正图像，待处理图像是低动态范围图像，多个伽马校正图像通过对多个待处理图像进行伽马校正获得；将多个伽马校正图像输入重建网络模型中的可变形对齐模块，以获得与多个待处理图像一一对应的对齐特征；将对齐特征输入重建网络模型中的融合模块，以获得重建图像，重建图像是高动态范围图像。
[0007]示例性地，重建网络模型还包括空间注意力模块，方法还包括：获取多个待处理图像；将多个待处理图像输入空间注意力模块，以获得与多个待处理图像一一对应的注意力特征；将对齐特征输入重建网络模型中的融合模块，以获得重建图像包括：将对齐特征与注意力特征一起输入融合模块，以获得重建图像。
[0008]示例性地，将多个伽马校正图像输入重建网络模型中的可变形对齐模块，以获得与多个待处理图像一一对应的对齐特征包括：在可变形对齐模块中，执行以下操作：对多个伽马校正图像分别输入进行特征提取，以获得与多个待处理图像一一对应的图像特征；对于任一非参考图像，将与参考图像对应的图像特征和与该非参考图像对应的图像特征进行拼接，以获得拼接特征，其中，参考图像是多个待处理图像之一，非参考图像是多个待处理
图像中除参考图像以外的图像；对第二拼接特征进行卷积，以计算参考图像和该非参考图像之间的偏移量；基于偏移量对与该非参考图像对应的图像特征进行可变形卷积，以获得与该非参考图像对应的对齐特征；其中，与参考图像对应的对齐特征为与参考图像对应的图像特征。
[0009]示例性地，非参考图像是多个待处理图像中曝光值最接近0的图像。
[0010]示例性地，参考图像是多个待处理图像中曝光值处于最中间的图像之一。
[0011]示例性地，方法还包括：获取训练图像，训练图像包括与多个样本图像一一对应的多个样本校正图像和与多个样本图像对应的标注图像，其中，样本图像是低动态范围图像，标注图像是高动态范围图像，多个样本校正图像通过对多个样本图像进行伽马校正获得；利用初始重建网络模型处理多个样本校正图像，以获得预测重建图像；基于预测重建图像和标注图像计算重建损失项；获取预测重建图像和标注图像各自对应的预测图像特征和标注图像特征；基于预测图像特征和标注图像特征计算感知损失项；基于重建损失项和感知损失项计算总损失；基于总损失对初始重建网络模型的参数进行优化，得到重建网络模型。
[0012]示例性地，获取预测重建图像和标注图像各自对应的预测图像特征和标注图像特征包括：对预测重建图像和标注图像分别进行色调映射，以获得新的预测重建图像和新的标注图像；将新的预测重建图像和新的标注图像分别输入预训练网络模型，以获得各自对应的预测图像特征和标注图像特征。
[0013]根据本专利技术另一方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现上述图像重建方法。
[0014]根据本专利技术另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现上述图像重建方法。
[0015]根据本专利技术另一方面，提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现上述图像重建方法。
[0016]根据本专利技术实施例的图像重建方法、电子设备、计算机可读存储介质及计算机程序产品，通过将与多个LDR图像一一对应的多个伽马校正图像进行可变形对齐并将获得的对齐特征进行融合的方式来重建HDR图像。伽马校正可以将初始的各LDR图像的曝光程度拉近到近似一致的水平，因此利用伽马校正图像而非原始LDR图像进行对齐的对齐效果更好。此外，利用可变形对齐可以实现特征层面而非图像层面的对齐，这种特征层面的对齐可以更好地应对因前景运动或者相机抖动造成的鬼影。因此，这种方式可以有效解决HDR图像重建时的鬼影问题。
附图说明
[0017]通过结合附图对本专利技术实施例进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与本专利技术实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0018]图1示出用于实现根据本专利技术实施例的图像重建方法和装置的示例电子设备的示意性框图；
[0019]图2示出根据本专利技术一个实施例的图像重建方法的示意性流程图；
[0020]图3示出根据本专利技术一个实施例的重建网络模型的网络结构及其处理流程；
[0021]图4示出根据本专利技术一个实施例的可变形对齐模块的网络结构；
[0022]图5示出根据本专利技术一个实施例的图像重建装置的示意性框图；以及
[0023]图6示出根据本专利技术一个实施例的电子设备的示意性框图。
具体实施方式
[0024]近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像重建方法，包括：获取与多个待处理图像一一对应的多个伽马校正图像，所述待处理图像是低动态范围图像，所述多个伽马校正图像通过对所述多个待处理图像进行伽马校正获得；将所述多个伽马校正图像输入所述重建网络模型中的可变形对齐模块，以获得与所述多个待处理图像一一对应的对齐特征；将所述对齐特征输入所述重建网络模型中的融合模块，以获得重建图像，所述重建图像是高动态范围图像。2.如权利要求1所述的方法，其中，所述重建网络模型还包括空间注意力模块，所述方法还包括：获取所述多个待处理图像；将所述多个待处理图像输入所述空间注意力模块，以获得与所述多个待处理图像一一对应的注意力特征；所述将所述对齐特征输入所述重建网络模型中的融合模块，以获得重建图像包括：将所述对齐特征与所述注意力特征一起输入所述融合模块，以获得所述重建图像。3.如权利要求1或2所述的方法，其中，所述将所述多个伽马校正图像输入重建网络模型中的可变形对齐模块，以获得与所述多个待处理图像一一对应的对齐特征包括：在所述可变形对齐模块中，执行以下操作：对所述多个伽马校正图像分别进行特征提取，以获得与所述多个待处理图像一一对应的图像特征；对于任一非参考图像，将与参考图像对应的图像特征和与该非参考图像对应的图像特征进行拼接，以获得拼接特征，其中，所述参考图像是所述多个待处理图像之一，所述非参考图像是所述多个待处理图像中除所述参考图像以外的图像；对所述拼接特征进行卷积，以计算所述参考图像和该非参考图像之间的偏移量；基于所述偏移量对与该非参考图像对应的图像特征进行可变形卷积，以获得与该非参考图像对应的对齐特征；其中，与所述参考图像对应的对齐特征为与所述参考图像对应的图像特征。4.如权利要求3所述的方法，其中，所述参考图像是所述多个待处理图像中曝光值最接近0的图像。5.如权利要求3所述的方法，其中，所述参考图...

【专利技术属性】
技术研发人员：刘震，刘帅成，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：