图像融合方法及装置、存储介质及电子设备制造方法及图纸

本申请涉及图像处理技术领域，提供一种图像融合方法及装置、存储介质及电子设备。其中，图像融合方法包括：获取待融合图像，待融合图像包括参考图像和非参考图像；计算非参考图像中待融合的像素相对于参考图像中对应像素的第一配准位移，获得位移图像；对参考图像进行语义分割，获得分割掩膜；确定位移图像中异常的像素值，并在位移图像中的分割区域内，利用正常的像素值对异常的像素值进行修复，获得修复后的位移图像；根据修复后的位移图像对非参考图像进行配准，获得配准后的非参考图像；对参考图像和配准后的非参考图像进行融合，获得融合图像。该方法有利于改善图像配准的效果，进而提高最终得到的融合图像的质量。进而提高最终得到的融合图像的质量。进而提高最终得到的融合图像的质量。

【技术实现步骤摘要】
图像融合方法及装置、存储介质及电子设备


[0001]本专利技术涉及图像处理
，具体而言，涉及一种图像融合方法及装置、存储介质及电子设备。

技术介绍

[0002]目前的智能手机普遍配备多个摄像头，在手机拍照时可对多个摄像头采集的图像进行融合，以改善照片的质量。
[0003]在多摄像头融合算法中，往往需要先对待融合的图像进行配准，再对配准后的图像进行融合。然而，不同摄像头采集的图像之间存在视差，在视差区域内不能进行有效的配准；另外，由于配准算法本身的局限性，也导致在图像中存在一些不能有效配准的区域。上述区域的存在使得待融合图像配准质量不佳，进而导致得到的融合图像质量不佳，难以满足用户需求。

技术实现思路

[0004]本申请实施例的目的在于提供一种图像融合方法及装置、存储介质及电子设备，以改善上述技术问题。
[0005]为实现上述目的，本申请提供如下技术方案：
[0006]第一方面，本申请实施例提供一种图像融合方法，包括：获取待融合图像，所述待融合图像包括参考图像和非参考图像；计算所述非参考图像中待融合的像素相对于所述参考图像中对应像素的第一配准位移，获得位移图像；对所述参考图像进行语义分割，获得分割掩膜，所述分割掩膜包括多个分割区域的位置信息；确定所述位移图像中异常的像素值，并在所述位移图像中的分割区域内，利用正常的像素值对异常的像素值进行修复，获得修复后的位移图像；根据所述修复后的位移图像对所述非参考图像进行配准，获得配准后的非参考图像；对所述参考图像和所述配准后的非参考图像进行融合，获得融合图像。
[0007]在上述方法中，并非直接利用位移图像对非参考图像进行配准，而是先确定位移图像中异常的像素值，并利用位移图像中正常的像素值对其进行修复，然后再根据修复后的位移图像对非参考图像进行配准。由于位移图像中取值异常的像素构成的正是非参考图像中无法进行有效配准的区域，因此对这些异常的像素值进行修复就相当于增大了可以进行有效配准的区域面积，从而有利于改善图像配准的效果，进而提高最终得到的融合图像的质量。
[0008]进一步的，上述方法在修复位移图像中异常的像素值时，利用了对参考图像进行语义分割所得到分割掩膜，对异常像素值的修复是在分割掩膜中包含的每个分割区域内部进行的，而不会跨分割区域进行。其原因在于，分割掩膜中的每个分割区域代表的是同一个或同一类对象，其可以近似为一个平面区域，从而位移图像在同一分割区域内的像素值大概率是平滑的，即取值一般不会出现跳变，因此分区域进行像素值修复可以得到比较合理的修复值，从而具有较好的修复效果。
[0009]在第一方面的一种实现方式中，所述在所述位移图像中的分割区域内，利用正常的像素值对异常的像素值进行修复，包括：在所述分割区域内对所述位移图像进行滤波，以利用所述分割区域内正常的像素值对异常的像素值进行修复，修复的方式包括：根据滤波窗口内正常的像素值计算新像素值，并利用所述新像素值替换掉位于所述滤波窗口中心的异常的像素值。
[0010]在上述实现方式中，通过执行区域内(指分割区域内)的滤波操作实现位移图像中异常像素值的修复，在滤波时，通过不断移动滤波窗口的位置来不断修复位于窗口中心的异常像素值(如果窗口中心的像素值确实存在异常的话)。由于滤波窗口的尺寸通常较小，如3
×
3、5
×
5的矩形，因此可以认为位移图像在同一滤波窗口内的像素值是平滑的，从而此种像素值修复方式比较合理。
[0011]在第一方面的一种实现方式中，所述在所述分割区域内对所述位移图像进行滤波，包括：在所述分割区域内对所述位移图像进行多次滤波，直至所述位移图像中异常的像素值全部被修复。
[0012]在上述实现方式中，滤波操作可反复进行，以实现修复效果的最大化。
[0013]在第一方面的一种实现方式中，所述确定所述位移图像中异常的像素值，包括：分别对所述参考图像和所述非参考图像进行区域划分；计算所述非参考图像中的每个区域与所述参考图像中的对应区域之间的单应性矩阵；针对所述非参考图像中待融合的每个像素，执行以下操作：利用该像素所属区域的单应性矩阵计算该像素相对于所述参考图像中对应像素的第二配准位移；判断该像素的第一配准位移和第二配准位移之差是否超过第一阈值；若超过所述第一阈值，则将该像素的第一配准位移确定为所述位移图像中异常的像素值。
[0014]上述实现方式可有效检测位移图像中的视差区域(由被检测到取值异常的像素所构成)。
[0015]在第一方面的一种实现方式中，所述确定所述位移图像中异常的像素值，包括：分区域对所述位移图像中的像素值进行统计，并根据各区域的统计结果将出现频度小于第二阈值的像素值确定为异常的像素值。
[0016]上述实现方式可有效检测位移图像中的位移扭曲区域(由被检测到取值异常的像素所构成)。
[0017]在第一方面的一种实现方式中，所述计算所述非参考图像中待融合的像素相对于所述参考图像中对应像素的第一配准位移，获得位移图像，包括：将所述参考图像和所述非参考图像中公共的部分确定为待融合区域；在所述待融合区域中，计算所述非参考图像中的像素相对于所述参考图像中对应像素的第一配准位移，获得所述位移图像。
[0018]对于参考图像和非参考图像，若其所包含的内容相同，则可以整张图像都用于融合，若其所包含的内容只有部分相同，则可以只对二者公共的部分进行融合。总之，待融合区域的选择具有高度的灵活性。
[0019]在第一方面的一种实现方式中，所述获取待融合图像，包括：获取原始待融合图像，所述原始待融合图像包括原始参考图像和原始非参考图像，所述原始参考图像和所述原始非参考为处于不同变焦倍率下的摄像头采集的图像；将所述原始参考图像和所述原始非参考图像归一化至同一变焦倍率下，获得所述参考图像和所述非参考图像。
[0020]在不同变焦倍率下采集的图像中，同一对象(如人、物体)具有不同的尺寸(指图中的尺寸)，从而难以直接进行配准，需要先将图像的变焦倍率归一化。
[0021]在第一方面的一种实现方式中，所述参考图像为广角摄像头采集的图像且所述非参考图像为长焦摄像头采集的图像；或者，所述参考图像为彩色摄像头采集的图像且所述非参考图像为黑白摄像头采集的图像。
[0022]上述实现方式给出了两种具体的图像融合场景，当然可以理解的，图像融合并不限于这两种应用场景。
[0023]其中，广角摄像头采集的图像范围较大，但其中的对象尺寸较小，从而清晰度相对较低，长焦摄像头采集的图像范围较小，但其中的对象尺寸较大，从而清晰度相对较高，因此将长焦摄像头采集的图像融合到广角摄像头采集的图像中，可以改善其画质同时兼顾拍摄范围。
[0024]彩色摄像头采集的图像具有颜色，能够满足用户的多数需求，但图像清晰度相对较低，黑白摄像头采集的图像没有颜色，不能够满足用户的多数需求，但图像清晰度相对较高，因此将黑白摄像头采集的图像融合到彩色摄像头采集的图像中，可以改善其画质同时满足用户的普遍需求。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像融合方法，其特征在于，包括：获取待融合图像，所述待融合图像包括参考图像和非参考图像；计算所述非参考图像中待融合的像素相对于所述参考图像中对应像素的第一配准位移，获得位移图像；对所述参考图像进行语义分割，获得分割掩膜，所述分割掩膜包括多个分割区域的位置信息；确定所述位移图像中异常的像素值，并在所述位移图像中的分割区域内，利用正常的像素值对异常的像素值进行修复，获得修复后的位移图像；根据所述修复后的位移图像对所述非参考图像进行配准，获得配准后的非参考图像；对所述参考图像和所述配准后的非参考图像进行融合，获得融合图像。2.根据权利要求1所述的图像融合方法，其特征在于，所述在所述位移图像中的分割区域内，利用正常的像素值对异常的像素值进行修复，包括：在所述分割区域内对所述位移图像进行滤波，以利用所述分割区域内正常的像素值对异常的像素值进行修复，修复的方式包括：根据滤波窗口内正常的像素值计算新像素值，并利用所述新像素值替换掉位于所述滤波窗口中心的异常的像素值。3.根据权利要求2所述的图像融合方法，其特征在于，所述在所述分割区域内对所述位移图像进行滤波，包括：在所述分割区域内对所述位移图像进行多次滤波，直至所述位移图像中异常的像素值全部被修复。4.根据权利要求1
‑
3中任一项所述的图像融合方法，其特征在于，所述确定所述位移图像中异常的像素值，包括：分别对所述参考图像和所述非参考图像进行区域划分；计算所述非参考图像中的每个区域与所述参考图像中的对应区域之间的单应性矩阵；针对所述非参考图像中待融合的每个像素，执行以下操作：利用该像素所属区域的单应性矩阵计算该像素相对于所述参考图像中对应像素的第二配准位移；判断该像素的第一配准位移和第二配准位移之差是否超过第一阈值；若超过所述第一阈值，则将该像素的第一配准位移确定为所述位移图像中异常的像素值。5.根据权利要求1
‑
3中任一项所述的图像融合方法，其特征在于，所述确定所述位移图像中异常的像素值，包括：分区域对所述位移图像中的像素值进行统计，并根据各区域的统计结果将出现频度小于第二阈值的像素值确定为异常的像素值。6.根据权利要求1
‑
5中任一项所述的图像融合方法，其...

【专利技术属性】
技术研发人员：许姜严，
申请(专利权)人：北京极感科技有限公司，
类型：发明
国别省市：