图像融合方法及装置、存储介质及电子设备制造方法及图纸

本申请涉及图像处理技术领域，提供一种图像融合方法及装置、存储介质及电子设备。其中，图像融合方法包括：获取多帧第一类图像，各帧第一类图像的曝光补偿值均不同且其中至少两帧的曝光补偿值为非正数；计算相邻的每两帧第一类图像之间的第一类权重图像；计算曝光补偿值为非正数的每帧第一类图像对应的高光图像；根据相邻的每两帧高光图像计算一帧包含高光区域和/或白色区域的真实高光图像；利用真实高光图像修正对应的第一类权重图像中的权重值；至少利用修正后的第一类权重图像对多帧第一类图像进行加权融合，获得最终的融合图像。该方法可以有效改善融合图像中高亮度区域或者白色区域发灰的问题，提高融合图像的质量。提高融合图像的质量。提高融合图像的质量。

【技术实现步骤摘要】
图像融合方法及装置、存储介质及电子设备


[0001]本专利技术涉及图像处理
，具体而言，涉及一种图像融合方法及装置、存储介质及电子设备。

技术介绍

[0002]目前，在手机中普遍通过图像融合算法来改善某些照片的质量，例如夜景照片的质量。这类算法使用采集于不同曝光补偿值下的多帧图像来产生最终的融合图像，然而，基于现有算法得到的融合图像中，普遍存在白色区域显示正常，而高光区域发灰，或者高光区域显示正常，而白色区域发灰的问题，严重影响用户的拍照体验。

技术实现思路

[0003]本申请实施例的目的在于提供一种图像融合方法及装置、存储介质及电子设备，以改善上述技术问题。
[0004]为实现上述目的，本申请提供如下技术方案：
[0005]第一方面，本申请实施例提供一种图像融合方法，包括：获取多帧第一类图像，各帧第一类图像的曝光补偿值均不同且其中至少两帧第一类图像的曝光补偿值为非正数；计算相邻的每两帧第一类图像之间的第一类权重图像，所述第一类权重图像中的像素值表示图像在进行加权融合时的权重值；计算曝光补偿值为非正数的每帧第一类图像对应的高光图像，所述高光图像中包含对应的第一类图像中的高亮度区域；根据相邻的每两帧高光图像计算一帧包含高光区域和/或白色区域的真实高光图像；利用所述真实高光图像中的高光区域和/或白色区域修正对应的第一类权重图像中的像素值，获得修正后的第一类权重图像；其中，对所述第一类权重图像中位于高光区域以及白色区域内的像素值采取不同的修正策略；至少利用所述修正后的第一类权重图像对所述多帧第一类图像进行加权融合，获得最终的融合图像。
[0006]专利技术人研究发现，图像中的高光区域和白色区域在像素值上往往比较接近，按照目前的融合权重计算方法，在这两类区域中计算出的权重值也比较接近，这样执行图像融合时，这两类区域将被施加类似的融合策略，而在理想情况下，由于高光区域和白色区域的特点并不相同，因此这两类区域所采用的融合策略应当是不同的，从而目前的做法容易导致融合图像中白色区域显示正常，而高光区域发灰，或者高光区域显示正常，而白色区域发灰的问题，即无法兼顾二者的显示效果。
[0007]在上述方法中，利用包含高光区域和/或白色区域的真实高光图像，对第一类权重图像中位于高光区域和白色区域内的像素值进行修正，并且对高光区域和白色区域内的像素值采用不同的修正策略。从而使得在修正后的第一类权重图像中，高光区域和白色区域内的像素值具有较明显的区别。又由于第一类权重图像中的像素值表示图像在进行加权融合时的权重值，因此利用修正后的第一类权重图像对多帧第一类图像进行加权融合，可以使得图像在高光区域和白色区域内的融合策略存在显著区别(融合策略取决于融合权重)，
因此有利于改善融合图像的高光区域或白色区域发灰的问题，提高融合图像的质量。
[0008]在第一方面的一种实现方式中，所述高光区域为相邻的两帧高光图像中共同包含的高亮度区域，所述白色区域为亮帧高光图像中包含但暗帧高光图像中不包含的高亮度区域；其中，所述亮帧高光图像是指相邻的两帧高光图像中对应的第一类图像的曝光补偿值较大的一帧，所述暗帧高光图像是指相邻的两帧高光图像中对应的第一类图像的曝光补偿值较小的一帧。
[0009]专利技术人研究发现，对于相邻且曝光补偿值均为非正数的两帧第一类图像，高光区域在两帧中的亮度都比较高，而白色区域则只在曝光补偿值较大的帧中具有较高的亮度，在曝光补偿值较小的帧中亮度则显著降低。基于此原理，通过计算曝光补偿值为非正数的每帧第一类图像对应的高光图像(其中包含第一类图像中的高亮度区域)，并对相邻两帧高光图像中的高亮度区域进行某种意义上的比较计算，就可以确定第一类图像中的真实的高光区域(在相邻两帧高光图像中亮度都比较高的区域)和/或白色区域(只在亮帧高光图像中亮度比较高的、在暗帧高光图像中亮度比较低的区域)，进而可以基于高光区域和/或白色区域对第一类权重图像中的像素值进行针对性的修正。
[0010]在第一方面的一种实现方式中，所述高光图像为二值化图像，图像中取第一数值的像素属于高亮度区域，取第二数值的像素不属于高亮度区域；根据相邻的每两帧高光图像计算一帧包含高光区域的真实高光图像，包括：确定所述亮帧高光图像中由取所述第一数值的像素构成的连通区域；确定所述暗帧高光图像中由取所述第一数值的像素构成的连通区域的质心位置；对于每个质心位置，若其位于所述亮帧高光图像中的一连通区域内，则将所述真实高光图像中与所述亮帧高光图像中的该连通区域对应的区域确定为高光区域。
[0011]由于连通区域的质心位置可以在一定程度上代表区域的中心，因此若暗帧高光图像中的一个连通区域的质心位置落在亮帧高光图像中的一个连通区域内，就说明暗帧高光图像和亮帧高光图像中的这两个连通区域为它们共同包含的一个高亮度区域，即高光区域。通过此种方式，可以快速、准确地确定真实高光图像中的高光区域。
[0012]在第一方面的一种实现方式中，所述高光图像为二值化图像，图像中取第一数值的像素属于高亮度区域，取第二数值的像素不属于高亮度区域；根据相邻的每两帧高光图像确定一帧包含高光区域的真实高光图像，包括：确定所述亮帧高光图像中由取所述第一数值的像素构成的连通区域；确定所述暗帧高光图像中由取所述第一数值的像素构成的连通区域；对于所述暗帧高光图像中的每个连通区域，若所述亮帧高光图像中存在与其重叠程度超过第一阈值的连通区域，则将所述真实高光图像中与所述亮帧高光图像中的该连通区域对应的区域确定为高光区域。
[0013]若亮帧高光图像中的一个连通区域和暗帧高光图像中的一个连通区域重叠程度较高(大于第一阈值)，就说明暗帧高光图像和亮帧高光图像中的这两个连通区域为它们共同包含的一个高亮度区域，即高光区域。通过此种方式，可以快速、准确地确定真实高光图像中的高光区域。
[0014]在第一方面的一种实现方式中，所述高光图像为二值化图像，图像中取第一数值的像素属于高亮度区域，取第二数值的像素不属于高亮度区域；根据相邻的每两帧高光图像计算一帧包含白色区域的真实高光图像，包括：确定所述亮帧高光图像中由取所述第一数值的像素构成的连通区域；确定所述暗帧高光图像中由取所述第一数值的像素构成的连
通区域的质心位置；对于所述亮帧高光图像中的每个连通区域，若所述暗帧高光图像中的任一质心位置均位于其外，则将所述真实高光图像中与所述亮帧高光图像中的该连通区域对应的区域确定为白色区域。
[0015]由于连通区域的质心位置可以在一定程度上代表区域的中心，因此对于亮帧高光图像中的一个连通区域，若没有任何暗帧高光图像中的连通区域的质心落入其中，表明该连通区域仅仅是亮帧高光图像包含的一个高亮度区域，而并非暗帧高光图像包含的一个高亮度区域，即白色区域。通过此种方式，可以快速、准确地确定真实高光图像中的白色区域。
[0016]在第一方面的一种实现方式中，所述高光图像为二值化图像，图像中取第一数值的像素属于高亮度区域，取第二数值的像素不属于高亮度区域；根据相邻的每两帧高光图像计算一帧包含白本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像融合方法，其特征在于，包括：获取多帧第一类图像，各帧第一类图像的曝光补偿值均不同且其中至少两帧第一类图像的曝光补偿值为非正数；计算相邻的每两帧第一类图像之间的第一类权重图像，所述第一类权重图像中的像素值表示图像在进行加权融合时的权重值；计算曝光补偿值为非正数的每帧第一类图像对应的高光图像，所述高光图像中包含对应的第一类图像中的高亮度区域；根据相邻的每两帧高光图像计算一帧包含高光区域和/或白色区域的真实高光图像；利用所述真实高光图像中的高光区域和/或白色区域修正对应的第一类权重图像中的像素值，获得修正后的第一类权重图像；其中，对所述第一类权重图像中位于高光区域以及白色区域内的像素值采取不同的修正策略；至少利用所述修正后的第一类权重图像对所述多帧第一类图像进行加权融合，获得最终的融合图像。2.根据权利要求1所述的图像融合方法，其特征在于，所述高光区域为相邻的两帧高光图像中共同包含的高亮度区域，所述白色区域为亮帧高光图像中包含但暗帧高光图像中不包含的高亮度区域；其中，所述亮帧高光图像是指相邻的两帧高光图像中对应的第一类图像的曝光补偿值较大的一帧，所述暗帧高光图像是指相邻的两帧高光图像中对应的第一类图像的曝光补偿值较小的一帧。3.根据权利要求2所述的图像融合方法，其特征在于，所述高光图像为二值化图像，图像中取第一数值的像素属于高亮度区域，取第二数值的像素不属于高亮度区域；根据相邻的每两帧高光图像计算一帧包含高光区域的真实高光图像，包括：确定所述亮帧高光图像中由取所述第一数值的像素构成的连通区域；确定所述暗帧高光图像中由取所述第一数值的像素构成的连通区域的质心位置；对于每个质心位置，若其位于所述亮帧高光图像中的一连通区域内，则将所述真实高光图像中与所述亮帧高光图像中的该连通区域对应的区域确定为高光区域。4.根据权利要求2所述的图像融合方法，其特征在于，所述高光图像为二值化图像，图像中取第一数值的像素属于高亮度区域，取第二数值的像素不属于高亮度区域；根据相邻的每两帧高光图像确定一帧包含高光区域的真实高光图像，包括：确定所述亮帧高光图像中由取所述第一数值的像素构成的连通区域；确定所述暗帧高光图像中由取所述第一数值的像素构成的连通区域；对于所述暗帧高光图像中的每个连通区域，若所述亮帧高光图像中存在与其重叠程度超过第一阈值的连通区域，则将所述真实高光图像中与所述亮帧高光图像中的该连通区域对应的区域确定为高光区域。5.根据权利要求2
‑
4中任一项所述的图像融合方法，其特征在于，所述高光图像为二值化图像，图像中取第一数值的像素属于高亮度区域，取第二数值的像素不属于高亮度区域；根据相邻的每两帧高光图像计算一帧包含白色区域的真实高光图像，包括：确定所述亮帧高光图像中由取所述第一数值的像素构成的连通区域；确定所述暗帧高光图像中由取所述第一数值的像素构成的连通区域的质心位置；
对于所述亮帧高光图像中的每个连通区域，若所述暗帧高光图像中的任一质心位置均位于其外，则将所述真实高光图像中与所述亮帧高光图像中的该连通区域对应的区域确定为白色区域。6.根据权利要求2
‑
4中任一项所述的图像融合方法，其特征在于，所述高光图像为二值化图像，图像中取第一数值的像素属于高亮度区域，取第二数值的像素不属于高亮度区域；根据相邻的每两帧高光图像计算一帧包含白色区域的真实高光图像，包括：确定亮帧高光图像中由取所述第一数值的像素构成的连通区域；确定暗帧高光图像中由取所述第一数值的像素构成的连通区域；对于所述亮帧高光图像中的每个连通区域，若所述暗帧高光图像中的任一连通域与其重叠程度均未超过第二阈值，则将所述真实高光图像中与所述亮帧高光图像中的该连通区域对应的区域确定为白色区域。7.根据权利要求1
‑
6中任一项所述的图像融合方法，其特征在于，每帧第一类权重图像用于融合两帧待融合图像，所述待融合图像为所述第一类图像，或者，至少两帧第一类图像加权融合后得到的融合图像，所述第一类权重图像中的像素值表示暗帧待融合图像在进行加权融合时的权重值，所述暗帧待融合图像为所述两帧待融合图像中曝光补偿值较小的一帧；所述利用所述真实高光图像中的高光区域和/或白色区域修正对应的第一类权重图像中的像素值，包括：增大所述第一类权重图像中位于高光区域内的像素值，和/或，减小所述第一类权重图像中位于白色区域内的像素值。8.根据权利要求7所述的图像融合方法，其特征在于，增大所述第一类权重图像中位于高光区域内的像素值，或，减小所述第一类权重图像中位于白色区域内的像素值，包括：增大所述第一类权重图像中位于高光区域内的像素值，并减小所述第一类权重图像中位于高光区域外的像素值，或，减小所述第一类权重图像中位于白色区域内的像素值，并增大所述第一类权重图像中位于白色区域外的像素值。9.根据权利要求7所述的图像融合方法，其特征在于，增大所述第一类权重图像中位于高光区域内的像素值，和，减小所述第一类权重图像中位于白色区域内的像素值，包括：增大所述第一类权重图像中位于高光区域内的像素值，和，减小所述第一类权重图像中位于白色区域内的像素值，和，维持所述第一类权重图像中位于高光区域以及白色区域外的像素值。10.根据权利要求1
‑
9中任一项所述的图像融合方法，其特征在于，所述多帧第一类图像的曝光补偿值均为非正数，所述至少利用所述修正后的第一类权重图像对所述多帧第一类图像进行加权融合，获得最终的融合图像，包括：将对应的曝光补偿值最大或最小的一帧第一类图像作为当前一帧第一类图像以及最初的融合图像，按照对应的曝...

【专利技术属性】
技术研发人员：廖逸琪，王涛，
申请(专利权)人：北京极感科技有限公司，
类型：发明
国别省市：