一种用于图像融合的方法、装置和电子设备制造方法及图纸

本公开提供了用于图像融合的方法、装置、电子设备和计算机可读存储介质。该图像融合方法包括：基于第一帧图像I1、或者基于第一帧图像I1和第二帧图像I2两者，计算融合系数图像M；计算第一帧图像I1的第一梯度D1和第二帧图像I2的第二梯度D2；基于所计算的融合系数图像M、第一梯度D1和第二梯度D2，计算初步融合结果J；以及基于所计算的融合系数图像M、第一梯度D1、第二梯度D2和初步融合结果J，得到输出图像I3，其中第一帧图像I1的亮度大于第二帧图像I2的亮度，并且其中融合系数图像M用于标记第一帧图像I1中的像素的融合权重。

A Method, Device and Electronic Equipment for Image Fusion

【技术实现步骤摘要】
一种用于图像融合的方法、装置和电子设备
本公开涉及图像处理，更具体地，涉及一种用于图像融合的方法、装置、电子设备和计算机可读存储介质。
技术介绍
在拍照时，由于相机本身动态范围的限制，在一些场景下，例如，在诸如城市夜景的高动态范围的场景下，很难用一张照片同时将高亮区域和暗部区域的细节都拍好。用多张图片来合成图像是一种普遍采用的夜景拍摄模式。其原理是快速连拍多张照片，每张照片的诸如曝光时间和/或ISO等设置不同，用短曝和/或低ISO图像来捕捉高光细节，用长曝和/或高ISO图像来捕捉暗部细节，最后用融合算法将多帧图像的细节融合到一起，形成一张融合后的图像。该融合后的图像可以被称为高动态范围(HighDynamicRange，HDR)图像。图像融合算法有很多种，比如最常见的曝光融合(exposurefusion)方法。
技术实现思路
鉴于上述内容而提出了本公开，本公开提供了一种用于图像融合的方法、装置、电子设备和计算机可读存储介质。根据本公开的一方面，一种图像融合方法，包括：基于第一帧图像I1、或者基于第一帧图像I1和第二帧图像I2两者，计算融合系数图像M；计算第一帧图像I1的第一梯度D1和第二帧图像I2的第二梯度D2；基于所计算的融合系数图像M、第一梯度D1和第二梯度D2计算初步融合结果J；以及基于所计算的融合系数图像M、第一梯度D1、第二梯度D2和初步融合结果J，得到输出图像I3，其中，所述第一帧图像I1的亮度大于所述第二帧图像I2的亮度，并且其中融合系数图像M用于标记第一帧图像I1中的像素的融合权重。根据本公开的另一方面，提供了一种用于图像融合的电子装置，该电子装置包括：接收单元，用于要融合的图像帧；融合单元，用于执行以下操作：基于第一帧图像I1、或者基于第一帧图像I1和第二帧图像I2两者，计算融合系数图像M；计算第一帧图像I1的第一梯度D1和第二帧图像I2的第二梯度D2；基于所计算的融合系数图像M、第一梯度D1和第二梯度D2计算初步融合结果J；以及基于所计算的融合系数图像M、第一梯度D1、第二梯度D2和初步融合结果J，得到输出图像I3，其中，所述第一帧图像I1的亮度大于所述第二帧图像I2的亮度，并且其中融合系数图像M用于标记第一帧图像I1中的每个像素的融合权重；和输出单元，用于输出输出图像I3。根据本公开的又一方面，提供了一种用于图像融合的电子设备，该电子设备包括处理器和其上存储有指令的存储器，该指令在由该处理器运行时使该处理器执行如前所述的图像融合方法。根据本公开的再一方面，提供了一种计算机可读存储介质，其存储有指令，该指令在由处理器运行时使得该处理器执行如前所述的图像融合方法。如以下将详细描述的，根据本公开的实施例的图像融合方法是一种新的基于图像梯度融合和重建的图像融合方法，该方法将曝光时间和/或ISO等设置不同的多张照片融合在一起，使得在某些场景下，例如在白天逆光场景下可以取得较好的融合效果。另外，如以下将详细描述的，本公开还提供了用于实施所公开的新的图像融合方法的装置、电子设备和计算机可读存储介质。应该理解，前面的一般描述和下面的详细描述两者都是示例性的，并且旨在提供要求保护的技术的进一步说明，而不旨在限制本公开的技术构思。附图说明通过结合附图对本公开的实施例进行更详细的描述，本公开的上述以及其它目的、特征和优点将变得更加明显。附图用来提供对本公开的实施例的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，但是并不构成对本公开的限制。在附图中，除非另有明确指示，否则相同的参考标号表示相同的部件、步骤或元素。在附图中，图1是根据本公开的实施例的示例分辨率的图像的像素网格图；图2是图示根据本公开的实施例的图像融合方法融合两帧图像的一个示例流程图；图3是图示根据本公开的实施例的图像融合方法融合两帧图像的另一个示例流程图；图4是进一步图示图2或图3中的计算融合系数图像M的一个示意流程图；图5是进一步图示图2或图3中的计算融合系数图像M的另一个示意流程图；图6是进一步图示图2或图3中的基于所计算的融合系数图像M、第一梯度D1、第二梯度D2和初步融合结果J得到输出图像I3的示意流程图；图7是图示根据本公开的实施例的图像融合方法融合多帧图像的示例流程图；图8是根据本公开的实施例的用于图像融合的电子装置的示意图；图9是根据本公开的实施例的用于图像融合的电子设备的示意图；和图10是根据本公开的实施例的用于图像融合的计算机可读存储介质的示意图。具体实施方式为了使得本公开的目的、技术方案和优点更为明显，下面将参考附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应该理解，本公开不受这里描述的示例实施例的限制。首先，参考图1，图1是根据本公开的实施例的示例分辨率的图像100的像素网格图。参考图1，图1所述的示例图像100是分辨率为800×600的图像。对于图1中的图像100的像素，其可以用横轴上的800条线和纵轴上的600线的交点来表示。在本公开的实施例中，图像100中的每个像素，例如像素102，可以用(x，y)来表示，其中x的取值范围为[0,800]，包括0和800；y的取值范围为[0,600]，包括0和600。应该理解，虽然图1中图示了分辨率为800×600的图像100，但是本公开对图像的分辨率没有限制，即根据本公开的实施例的用于图像融合的方法、装置、电子设备和计算机可读存储介质适用于融合任何分辨率的图像，例如分辨率为320×240、800×600、1024×768或4096×3072的图像。在下文中，将结合图2至图6来详细描述根据本公开的实施例的图像融合方法融合两帧图像的示例流程。为了便于说明，在下面的描述中，假定两帧图像为：第一帧图像I1和第二帧图像I2，其中第一帧图像I1的亮度大于第二帧图像I2的亮度。也就是说，对于第一帧图像I1和第二帧图像I2，其中第一帧图像I1是亮帧，第二帧图像I2是暗帧。在本公开中，亮帧是两帧图像中的捕捉暗部细节的图像；暗帧是两帧图像中的捕捉高光细节的图像。在本公开的一些实施例中，亮帧可以是在其他设置相同的情况下，两帧图像中的曝光时间较长的图像，而暗帧是两帧图像中的曝光时间较短的图像。可替代地或另外地，在本公开的另一些实施例中，亮帧可以是在其他设置相同的情况下，两帧图像中的ISO较高的图像，而暗帧是两帧图像中的ISO较小的图像。可替代地或另外地，在本公开的又一些实施例中，亮帧可以是两帧图像中的通过设置曝光时间和ISO两者使得该图像是捕获暗部细节的图像，而暗帧是捕获高光细节的图像。应该理解，虽然，在前述描述中介绍了各种曝光时间和/或IOS设置场景下的亮帧和暗帧，但是本公开的实施例不限于前述描述。图2是图示根据本公开的实施例的图像融合方法融合两帧图像的一个示例流程图。参考图2，根据本公开的实施例的图像融合方法融合两帧图像的示例流程可以从步骤S200处开始。在步骤S200处，计算融合系数图像M，其中，融合系数图像M用于标记两帧图像中的亮帧，例如第一帧图像I1，中的像素的融合权重。在本公开的一些实施例中，融合系数图像M标记了亮帧中期望被替换的像素，对于一个像素(x,y)，例如图1中的像素102，M(本文档来自技高网...

【技术保护点】
1.一种图像融合方法，所述方法包括：基于第一帧图像I1、或者基于第一帧图像I1和第二帧图像I2两者，计算融合系数图像M；计算第一帧图像I1的第一梯度D1和第二帧图像I2的第二梯度D2；基于所计算的融合系数图像M、第一梯度D1和第二梯度D2，计算初步融合结果J；以及基于所计算的融合系数图像M、第一梯度D1、第二梯度D2和初步融合结果J，得到输出图像I3，其中，所述第一帧图像I1的亮度大于所述第二帧图像I2的亮度，并且其中所述融合系数图像M用于标记所述第一帧图像I1中的像素的融合权重。

【技术特征摘要】
1.一种图像融合方法，所述方法包括：基于第一帧图像I1、或者基于第一帧图像I1和第二帧图像I2两者，计算融合系数图像M；计算第一帧图像I1的第一梯度D1和第二帧图像I2的第二梯度D2；基于所计算的融合系数图像M、第一梯度D1和第二梯度D2，计算初步融合结果J；以及基于所计算的融合系数图像M、第一梯度D1、第二梯度D2和初步融合结果J，得到输出图像I3，其中，所述第一帧图像I1的亮度大于所述第二帧图像I2的亮度，并且其中所述融合系数图像M用于标记所述第一帧图像I1中的像素的融合权重。2.如权利要求1所述的方法，其中，基于所计算的融合系数图像M、第一梯度D1、第二梯度D2和初步融合结果J，得到输出图像I3包括：基于所述融合系数图像M、所述第一梯度D1和所述第二梯度D2，计算第三梯度D3；以及基于所计算的第三梯度D3和所述初步融合结果J，得到所述输出图像I3，其中，所述输出图像I3与所述初步融合结果J的差异和所述输出图像I3的梯度与所述第三梯度D3的差异之和最小。3.如权利要求2所述的方法，其中基于所计算的第三梯度D3和所述初步融合结果J，得到所述输出图像I3包括：通过以下优化方式得到所述输出图像I3：其中，表示I3的梯度，α为正常数。4.如权利要求1至3中任一项所述方法，其中，基于第一帧图像I1，计算融合系数图像M包括：将所述第一帧图像I1转换为第一灰度图像G1；以及根据以下等式计算所述融合系数图像M：M(x,y)＝255–(255–G1(x,y))*γ其中，M(x,y)表示所述融合系数图像M在像素(x，y)处的值，G1(x,y)表示所述第一灰度图像G1在像素(x，y)处的灰度值，γ为正常数，并且其中x和y为非负整数。5.如权利要求1至3中任一项所述方法，其中，基于第一帧图像I1和第二帧图像I2两者，计算融合系数图像M包括：将第一帧图像I1转换为第一灰度图像G1；将第二帧图像I2转换为第二灰度图像G2；基于所述第一灰度图像G1，计算第一融合图像M1；基于所述第一灰度图像G1和所述第二灰度图像G2两者，计算保护区域M2；以及基于所计算的第一融合图像M1和保护区域M2，计算所述融合系数图像M。6.如权利要求5所述的方法，其中，基于所述第一灰度图像G1，计算第一融合图像M1包括：根据以下等式计算所述第一融合图像M1：M1(x,y)＝255–(255–G1(x,y))*γ其中，M1(x,y)表示所述第一融合图像M1在像素(x，y)处的值，G1(x,y)表示所述第一灰度图像G1在像素(x，y)处的灰度值，γ为正常数，并且其中x和y为非负整数；并且其中，基于所述第一灰度图像G1和所述第二灰度图像G2两者，计算保护区域M2包括：根据以下等式计算所述保护区M2：其中M2(x,y)表示所述保护区域M2在像素(x，y)处的值，G1(x,y)表示所述第一灰度图像G1在像素(x，y)处的灰度值，G2(x,y)表示所述第二灰度图像G2在像素(x，y)处的灰度值，T为非负常数，并且其中x和y为非负整数。7.如权利要求5或6所述的方法，其中，基于所计算的第一融合图像M1和保护区域M2，计算所述融合系数图像M包括：根据以下等式计算所述融合系数图像M：M(x,y)＝min(M1(x,y),M2(x,y))其中，M(x,y)表示所述融合系数图像M在像素(x，y)处的值，M1(x,y)表示所述第一融合图像M1在像素(x，y)处的值；M2(x,y)表示所述保护区域M2在像素(x，y)处的值，并且其中x、y为非负整数。8.如权利要求2至7中任一项所述的方法，其中，基于所计算的融合系数图像M、第一梯度D1和第二梯度D2，计算初步融合结果J包括：根据以下等式计算所述初步融合结果J：J(x,y)＝D1(x,y)*(255–M(x,y))+M(x...

【专利技术属性】
技术研发人员：王珏，黄海斌，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京,11