一种图像融合方法、装置和电子设备制造方法及图纸

本申请公开了一种图像融合方法、装置和电子设备，涉及通信技术领域。该图像融合方法包括：获取参考图像及至少一个配准图像；根据所述参考图像和所述配准图像，确定第一光流，并利用所述第一光流对所述配准图像进行光流对齐处理，得到第一图像；根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流；利用所述第二光流对所述第一图像进行光流对齐处理，得到第二图像；根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，得到目标图像。本申请的方案能够解决图像融合过程中由于边缘对齐错误造成融合效果差的问题。合效果差的问题。合效果差的问题。

【技术实现步骤摘要】
一种图像融合方法、装置和电子设备


[0001]本申请属于通信
，具体涉及一种图像融合方法、装置和电子设备。

技术介绍

[0002]目前，部分电子设备配备了多个摄像头。
[0003]在配有广角摄像头和长焦摄像头的电子设备中，电子设备可以使用广角摄像头与长焦摄像头同时拍摄，随后对二者拍摄的图像进行融合，达到宽广角物体细节兼得的效果，提升用户的拍照体验。
[0004]目前常用的融合方法是将两个摄像头的内容对齐，然后提取长焦摄像头图像的边缘信息，与相同位置的广角摄像头的边缘信息进行融合。
[0005]在实现本申请过程中，专利技术人发现现有技术中至少存在如下问题：
[0006]一方面，在被拍摄物体距离电子设备较近的情况下，多个摄像头所拍摄的内容由于视角差异，造成一般的方法对齐困难，尤其表现在对于物体边缘处的对齐错误。另一方面，在融合的过程中，融合权重的计算不能准确反映出图像对齐的情况，造成融合瑕疵。

技术实现思路

[0007]本申请实施例的目的是提供一种图像融合方法、装置和电子设备，能够解决现有技术中，图像融合过程中由于边缘对齐错误造成融合效果差的问题。
[0008]为了解决上述技术问题，本申请是这样实现的：
[0009]第一方面，本申请的实施例提供了一种图像融合方法，该方法包括：
[0010]获取参考图像及至少一个配准图像；
[0011]根据所述参考图像和所述配准图像，确定第一光流，并利用所述第一光流对所述配准图像进行光流对齐处理，得到第一图像；
[0012]根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流；
[0013]利用所述第二光流对所述第一图像进行光流对齐处理，得到第二图像；
[0014]根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，得到目标图像。
[0015]第二方面，本申请的实施例提供了一种图像融合装置，包括：
[0016]获取模块，用于获取参考图像及至少一个配准图像；
[0017]第一对齐模块，用于根据所述参考图像和所述配准图像，确定第一光流，并利用所述第一光流对所述配准图像进行光流对齐处理，得到第一图像；
[0018]优化模块，用于根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流；
[0019]第二对齐模块，用于利用所述第二光流对所述第一图像进行光流对齐处理，得到第二图像；
[0020]融合模块，用于根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，得到目标图像。
[0021]第三方面，本申请实施例还提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
[0022]第四方面，本申请实施例还提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
[0023]第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
[0024]这样，本申请实施例中，通过第一光流对所述配准图像进行光流对齐处理，得到第一图像，根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流，并利用所述第二光流对所述第一图像进行光流对齐处理，得到第二图像，可以优化光流对齐效果，使图像边缘的细节对齐更加准确。在优化光流对齐的效果后，根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，还可以避免由于对齐错误造成的融合瑕疵，获得更好的融合效果。
附图说明
[0025]图1为本申请实施例提供的图像融合方法的流程图；
[0026]图2为本申请实施例提供的图像全局变换示意图；
[0027]图3为本申请实施例提供的图像光流对齐示意图；
[0028]图4为本申请实施例提供的优化光流对齐图像示意图；
[0029]图5为本申请实施例提供的图像融合装置的框图；
[0030]图6为本申请实施例提供的电子设备的框图；
[0031]图7为本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
[0032]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0033]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0034]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像融合方法进行详细地说明。
[0035]本申请实施例的方法应用于用户设备，用户设备(user equipment，UE)可以指接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置。终端设备还可以是蜂窝电话、无绳电话、会话启动协议(sessioninitiation protocol，SIP)电话、无线本地环路(wireless local loop，WLL)站、个人数字助理(personal digital assistant，PDA)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、可穿戴设备。
[0036]可选地，本申请实施例的方法应用于电子设备，该电子设备可以指具有拍照功能和图像处理功能的移动终端，如手机，平板电脑，可穿戴智能设备等，在本申请实施例中不做限定。
[0037]如图1所示，本申请实施例提供一种图像融合方法，包括：
[0038]步骤101：获取参考图像及至少一个配准图像。
[0039]在本申请实施例中，所述参考图像与所述配准图像均为电子设备拍摄得到的图像，参考图像为在融合过程中作为基准的图像，配准图像为除参考图像之外的需要融合的图像。
[0040]在本实施例中，参考图像的数量为一个，配准图像的数量可以为一个，也可以为多个。
[0041]示例性的，获取所述参考图像及至少一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像融合方法，其特征在于，包括：获取参考图像及至少一个配准图像；根据所述参考图像和所述配准图像，确定第一光流，并利用所述第一光流对所述配准图像进行光流对齐处理，得到第一图像；根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流；利用所述第二光流对所述第一图像进行光流对齐处理，得到第二图像；根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，得到目标图像。2.根据权利要求1所述的图像融合方法，其特征在于，所述利用所述第一光流对所述配准图像进行光流对齐处理，得到第一图像，包括：根据所述参考图像与所述配准图像的特征点，计算全局射影矩阵；根据所述全局射影矩阵，将所述配准图像进行全局变换，得到第三图像；根据所述参考图像与所述第三图像之间的所述第一光流，对所述第三图像进行光流对齐处理，得到所述第一图像。3.根据权利要求1所述的图像融合方法，其特征在于，所述根据所述参考图像和所述第一图像之间的第一置信度图像，对所述第一光流进行优化，得到第二光流，包括：根据所述参考图像与所述第一图像，计算所述第一置信度图像；根据所述参考图像与所述第一置信度图像的置信度，对所述第一光流进行全局优化，得到所述第二光流。4.根据权利要求1所述的图像融合方法，其特征在于，所述根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，包括：根据所述参考图像与所述第二图像，计算所述第二置信度图像；以所述第二置信度图像的置信度作为融合权重，保持参考图像的低频分量不变，将所述参考图像的高频分量和所述第二图像高频分量进行融合。5.根据权利要求1所述的图像融合方法，其特征在于，所述根据所述参考图像与所述第二图像之间的第二置信度图像，将所述参考图像与所述第二图像进行融合，包括：根据所述参考图像的饱和度、对比度和曝光度，所述第二图像的饱和度、对比度和曝光度，以及所述第二置信度图像的置信度，得到目标融合权重；根据所述目标融合权重，将所述参考图像与所...

【专利技术属性】
技术研发人员：倪攀，
申请(专利权)人：维沃移动通信杭州有限公司，
类型：发明
国别省市：