图像合成方法、装置及电子设备制造方法及图纸

本申请提供一种图像合成方法、装置及电子设备，该方法包括：将多帧图像分别输入图像合成模型中的多个并行的编码器分支，得到每帧图像对应的编码特征，编码器分支包括预处理层和N个编码器，编码器依次包括M个Transformer和一个下采样层；将多帧图像的编码特征输入图像合成模型的特征融合模块，得到多帧图像对应的融合特征，特征融合模块包括至少一个Transformer；将融合特征输入图像合成模型的解码器分支，得到合成图像，解码器分支包括N个解码器和输出映射层，解码器依次包括一个上采样层和M个Transformer，从而减少了合成图像的鬼影现象。鬼影现象。鬼影现象。

【技术实现步骤摘要】
图像合成方法、装置及电子设备


[0001]本申请涉及图像处理技术，尤其涉及一种图像合成方法、装置及电子设备。

技术介绍

[0002]在图像应用中，为了提高图像质量，往往采用多帧图像合成一帧图像，例如采用多帧低动态范围(Low Dynamic Range,LDR)图像合成一帧高动态范围(High Dynamic Range,HDR)图像，又如，采用多帧低分辨率图像合成一帧高分辨率图像，又如，采用多帧高噪声图像合成一帧低噪声图像。
[0003]在采集多帧图像合成一帧图像的过程中，由于相机抖动或者拍摄目标的运动，例如行走的路人，道路上的汽车，风中摇动的树叶等，会造成多帧图像之间存在内容差异，这就导致最终合成的图像中容易存在鬼影现象。
[0004]近年来，许多研究人员开始利用卷积神经网络(Convolutional Neural Networks,CNN)来解决合成图像的鬼影问题，但是由于CNN卷积操作的内在局部性，使得其对复杂运动场景中的去鬼影现象效果甚微。

技术实现思路

[0005]本申请提供一种图像合成方法、装置及电子设备，减少了合成图像中的鬼影现象。
[0006]第一方面，本申请实施例提供一种图像合成正方法，包括：
[0007]将多帧图像分别输入图像合成模型中的多个并行的编码器分支，得到每帧图像对应的编码特征，所述编码器分支包括预处理层和N个编码器，所述编码器依次包括M个Transformer和一个下采样层，M、N为大于或等于1的整数；
[0008]将所述多帧图像的编码特征输入所述图像合成模型的特征融合模块，得到所述多帧图像对应的融合特征，所述特征融合模块包括至少一个Transformer；
[0009]将所述融合特征输入所述图像合成模型的解码器分支，得到合成图像，所述解码器分支包括N个解码器和输出映射层，所述解码器依次包括一个上采样层和M个Transformer。
[0010]在一种实施方式中，所述将多帧图像分别输入图像合成模型中的多个并行的编码器分支，得到每帧图像对应的编码特征，包括：
[0011]将所述多帧图像分别输入所述多个并行的编码器分支的预处理层，得到每帧图像的图像特征；
[0012]将所述每帧图像的图像特征输入所述编码器分支的第一个编码器，得到所述第一个编码器的输出特征，将前一个编码器的输出作为后一个编码器的输入，直至将第N个编码器的输出确定为所述每帧图像的编码特征。
[0013]在一种实施方式中，所述将所述融合特征输入所述图像合成模型的解码器分支，得到合成图像，包括：
[0014]将所述融合特征和所述编码器的M个Transformer中最后一个Transformer输出的
中间特征输入所述图像合成模型的解码器分支，得到合成图像。
[0015]在一种实施方式中，所述将所述融合特征和所述编码器的M个Transformer中最后一个Transformer输出的中间特征输入所述图像合成模型的解码器分支，得到合成图像，包括：
[0016]将所述融合特征输入第一个解码器的上采样层，并将第一个解码器的上采样层的输出和第N个编码器的M个Transformer中最后一个Transformer输出的中间特征进行级联后输入所述第一个解码器的M个Transformer，得到所述第一个解码器的输出特征；
[0017]将第h个解码器的输出特征输入第h+1个解码器的上采样层，并将第h+1个解码器的上采样层的输出和第N
‑
h个编码器的M个Transformer中最后一个Transformer输出的中间特征进行级联后输入所述第h+1个解码器的M个Transformer，h取1至N
‑
1，直至得到第N个解码器输出的重建特征；
[0018]将所述重建特征输入所述输出映射层，基于所述输出映射层输出的初始合成图像生成所述合成图像。
[0019]在一种实施方式中，所述将所述多帧图像的编码特征输入所述图像合成模型的特征融合模块，得到所述多帧图像对应的融合特征，包括：
[0020]将所述多帧图像的编码特征进行级联，将级联后的特征输入所述特征融合模块的至少一个Transformer，得到所述多帧图像对应的融合特征。
[0021]在一种实施方式中，所述将所述重建特征输入所述输出映射层，基于所述输出映射层输出的初始合成图像生成所述合成图像，包括：
[0022]将所述重建特征输入所述输出映射层，得到所述初始合成图像；
[0023]将参考帧图像对应的图像信息添加在所述初始合成图像上，得到所述合成图像，其中，所述参考帧为所述多帧图像中按拍摄时间排序在中间的一帧。
[0024]在一种实施方式中，所述多帧图像为多帧不同曝光时间的低动态范围LDR图像，所述合成图像为高动态范围HDR图像，所述参考帧图像对应的图像信息所述参考帧图像的HDR域图像信息。
[0025]在一种实施方式中，所述将所述多帧图像分别输入所述多个并行的编码器分支的预处理层，得到每帧图像的图像特征，包括：
[0026]将LDR图像转换到HDR域，得到每帧LDR图像的HDR域图像信息；
[0027]将所述HDR域图像信息和所述每帧LDR图像进行级联后，输入所述编码器分支的预处理层，得到每帧图像的图像特征。
[0028]在一种实施方式中，所述多帧图像为多帧第一噪声的图像，所述合成图像为第二噪声的图像，所述第二噪声小于所述第一噪声，所述参考帧图像对应的图像信息为所述参考帧图像。
[0029]在一种实施方式中，所述多帧图像为多帧第一分辨率的图像，所述合成图像为第二分辨率的图像，所述第二分辨率高于所述第一分辨率，所述参考帧图像对应的图像信息是将所述参考帧图像转换为第二分辨率后的图像信息。
[0030]第二方面，本申请提供一种图像合成装置，包括：
[0031]编码模块，用于将多帧图像分别输入图像合成模型中的多个并行的编码器分支，得到每帧图像对应的编码特征，所述编码器分支包括预处理层和N个编码器，所述编码器依
次包括M个Transformer和一个下采样层，M、N为大于或等于1的整数；
[0032]融合模块，用于将所述多帧图像的编码特征输入所述图像合成模型的特征融合模块，得到所述多帧图像对应的融合特征，所述特征融合模块包括至少一个Transformer；
[0033]解码模块，用于将所述融合特征输入所述图像合成模型的解码器分支，得到合成图像，所述解码器分支包括N个解码器和输出映射层，所述解码器依次包括一个上采样层和M个Transformer。
[0034]在一种实施方式中，所述编码模块用于：
[0035]将所述多帧图像分别输入所述多个并行的编码器分支的预处理层，得到每帧图像的图像特征；
[0036]将所述每帧图像的图像特征输入所述编码器分支的第一个编码器，得到所述第一个编码器的输出特征，将前一个编码器的输出作为后一个编码本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像合成方法，其特征在于，包括：将多帧图像分别输入图像合成模型中的多个并行的编码器分支，得到每帧图像对应的编码特征，所述编码器分支包括预处理层和N个编码器，所述编码器依次包括M个Transformer和一个下采样层，M、N为大于或等于1的整数；将所述多帧图像的编码特征输入所述图像合成模型的特征融合模块，得到所述多帧图像对应的融合特征，所述特征融合模块包括至少一个Transformer；将所述融合特征输入所述图像合成模型的解码器分支，得到合成图像，所述解码器分支包括N个解码器和输出映射层，所述解码器依次包括一个上采样层和M个Transformer。2.根据权利要求1所述的方法，其特征在于，所述将多帧图像分别输入图像合成模型中的多个并行的编码器分支，得到每帧图像对应的编码特征，包括：将所述多帧图像分别输入所述多个并行的编码器分支的预处理层，得到每帧图像的图像特征；将所述每帧图像的图像特征输入所述编码器分支的第一个编码器，得到所述第一个编码器的输出特征，将前一个编码器的输出作为后一个编码器的输入，直至将第N个编码器的输出确定为所述每帧图像的编码特征。3.根据权利要求2所述的方法，其特征在于，所述将所述融合特征输入所述图像合成模型的解码器分支，得到合成图像，包括：将所述融合特征和所述编码器的M个Transformer中最后一个Transformer输出的中间特征输入所述图像合成模型的解码器分支，得到合成图像。4.根据权利要求3所述的方法，其特征在于，所述将所述融合特征和所述编码器的M个Transformer中最后一个Transformer输出的中间特征输入所述图像合成模型的解码器分支，得到合成图像，包括：将所述融合特征输入第一个解码器的上采样层，并将第一个解码器的上采样层的输出和第N个编码器的M个Transformer中最后一个Transformer输出的中间特征进行级联后输入所述第一个解码器的M个Transformer，得到所述第一个解码器的输出特征；将第h个解码器的输出特征输入第h+1个解码器的上采样层，并将第h+1个解码器的上采样层的输出和第N
‑
h个编码器的M个Transformer中最后一个Transformer输出的中间特征进行级联后输入所述第h+1个解码器的M个Transformer，h取1至N
‑
1，直至得到第N个解码器输出的重建特征；将所述重建特征输入所述输出映射层，基于所述输出映射层输出的初始合成图像生成所述合成图像。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述将所述多帧图像的编码特征输入所述图像合成模型的特征融合模块，得到所述多帧图像对应的融合特征，包括：将所述多帧图像的编码特征进行级联，将级联后的特征输入所述特征融合模块的至少一个Transformer，得到所述多帧图像对应的融合特征。6.根据权利要求4所述的方法，其特征在于，所述将所述重建特征输入所述输出映射层，基于所述输出映射层输出的初始合成图像生成所述合成图像，包括：将所述重建特征输入所述输出映射层，得到所述初始合成图像；将参考帧图像对应的图像信息添加在所述初始合成图像上，得到所述合成图像，其中，
所述参考帧为所述多帧图像中按拍摄时间排序在中间的一帧。7.根据权利要求6所述的方法，其特征在于，所述多帧图像为多帧不同曝光时间的低动态范围LDR图像，所述合成图像为高动态范围HDR图像，所述参考帧图像对应的图像信息为所述参考帧图像的HDR域图像信息。8.根据权利要求7所述的方法，其特征在于，所述将所述多帧图像分别输入所述多个并行的编码器分支的预处理层...

【专利技术属性】
技术研发人员：艾仕杰，
申请(专利权)人：深圳市汇顶科技股份有限公司，
类型：发明
国别省市：