图像融合方法、图像融合装置、存储介质与终端设备制造方法及图纸

本公开提供了一种图像融合方法、图像融合装置、存储介质与终端设备，涉及图像处理技术领域。所述方法应用于具备图像传感器的终端设备，所述方法包括：获取由所述图像传感器采集的第一图像和第二图像，所述第一图像为第一分辨率，所述第二图像为第二分辨率，所述第一分辨率高于所述第二分辨率；从所述第一图像提取边缘特征图像；将所述第二图像进行超分辨率重建，得到与所述第一分辨率相同的第三图像；将所述边缘特征图像和所述第三图像进行融合，得到最终图像。本公开可以解决高像素图像噪点多的问题，提高图像拍摄的质量。

【技术实现步骤摘要】
图像融合方法、图像融合装置、存储介质与终端设备
本公开涉及图像处理
，尤其涉及一种图像融合方法、图像融合装置、计算机可读存储介质与终端设备。
技术介绍
图像噪点(或噪声)是指被拍摄物体本身没有、但图像中出现的亮度或颜色信息，一般是由图像传感器或信号传输电路产生的。目前，提高图像传感器的像素是业界普遍的发展方向，例如手机上通常采用百万甚至千万级别像素的图像传感器，可以支持拍摄出超高清的照片。然而，随着像素的提高，图像传感器上单个像素的感光面积减小，拍照时对于光照的要求更高。例如在弱光照环境中，图像传感器上的感光元件更易受到串扰，导致输入信号的信噪比不足，最终输出的图片噪点过多，质量较差。因此，如何在提高像素的同时有效改善噪点的问题，是目前亟待解决的问题。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开提供了一种图像融合方法、图像融合装置、计算机可读存储介质与终端设备，进而至少在一定程度上改善现有的高像素图片中噪点较高的问题。本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。根据本公开的第一方面，提供一种图像融合方法，应用于具备图像传感器的终端设备，所述方法包括：获取由所述图像传感器采集的第一图像和第二图像，所述第一图像为第一分辨率，所述第二图像为第二分辨率，所述第一分辨率高于所述第二分辨率；从所述第一图像提取边缘特征图像；将所述第二图像进行超分辨率重建，得到与所述第一分辨率相同的第三图像；将所述边缘特征图像和所述第三图像进行融合，得到最终图像。根据本公开的第二方面，提供一种图像融合装置，配置于具备图像传感器的终端设备，所述装置包括：图像获取模块，用于获取由所述图像传感器采集的第一图像和第二图像，所述第一图像为第一分辨率，所述第二图像为第二分辨率，所述第一分辨率高于所述第二分辨率；边缘提取模块，用于从所述第一图像提取边缘特征图像；图像重建模块，用于将所述第二图像进行超分辨率重建，得到与所述第一分辨率相同的第三图像；融合处理模块，用于将所述边缘特征图像和所述第三图像进行融合，得到最终图像。根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像融合方法。根据本公开的第四方面，提供一种终端设备，包括：处理器；存储器，用于存储所述处理器的可执行指令；以及图像传感器；其中，所述处理器配置为经由执行所述可执行指令来执行上述图像融合方法。本公开的技术方案具有以下有益效果：根据上述图像融合方法、图像融合装置、存储介质和终端设备，采集相对高分辨率的第一图像和相对低分辨率的第二图像，从第一图像提取边缘特征图像，将第二图像超分辨率重建为第三图像，使第三图像和第一图像的分辨率相同，最后融合缘特征图像和第三图像，得到最终图像。其中，第一图像的分辨率较高，但噪点可能较多，通过边缘特征提取，保留了图像中原有的细节信息；第二图像分辨率较低，但噪点一般较少，通过超分辨率重建为第三图像后，第三图像的噪点较少，但在细节上可能存在失真；将两部分图像融合后，相当于在低噪点的图像中融入了原有的图像细节信息，可以实现第一图像和第二图像各自优势的互补，解决高像素图像噪点多的问题，提高图像拍摄的质量。在本公开的一些实施方式中，通过四拜耳图像传感器采集图像信号得到原始拜耳图像，再基于不同的算法处理得到第一图像和第二图像，整个过程依赖于一个图像传感器(即单摄像头)即可实现，无需硬件方面的改进，具有较高的实用性。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施方式，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出本示例性实施方式中一种图像融合方法的流程图；图2示出本示例性实施方式中滤色阵列的示意图；图3示出本示例性实施方式中一种图像融合方法的子流程图；图4示出本示例性实施方式中获得第一图像的示意图；图5示出本示例性实施方式中获得第二图像的示意图；图6示出本示例性实施方式中另一种图像融合方法的子流程图；图7示出本示例性实施方式中获得梯度差分图像的示意图；图8示出本示例性实施方式中再一种图像融合方法的子流程图；图9示出本示例性实施方式中一种图像融合流程的示意图；图10示出本示例性实施方式中一种图像融合装置的结构框图；图11示出本示例性实施方式中一种用于实现上述方法的计算机可读存储介质；图12示出本示例性实施方式中一种用于实现上述方法的终端设备。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。相关技术中，通常在光照不足时主动降低拍照的分辨率，以增加感光量，降低噪点。但是这样是以损失分辨率为代价，无法发挥出图像传感器本身高像素的优势。鉴于上述一个或多个问题，本公开的示例性实施方式提供一种图像融合方法，可以应用于手机、平板电脑、数码相机等终端设备。该终端设备配置有图像传感器，可用于采集图像。图1示出了本示例性实施方式的一种流程，可以包括以下步骤S110至S140：步骤S110，获取由图像传感器采集的第一图像和第二图像。其中，第一图像和第二图像所拍摄的对象相同，即图像内容相同，不同之处在于图像分辨率，第一图像为第一分辨率，第二图像为第二分辨率，第一分辨率高于第二分辨率，即第一图像比第二图像的像素数更多。在一种实施方式中，上述图像传感器可以是四拜耳(QuadBayer)图像传感器，四本文档来自技高网...

【技术保护点】
1.一种图像融合方法，应用于具备图像传感器的终端设备，其特征在于，所述方法包括：/n获取由所述图像传感器采集的第一图像和第二图像，所述第一图像为第一分辨率，所述第二图像为第二分辨率，所述第一分辨率高于所述第二分辨率；/n从所述第一图像提取边缘特征图像；/n将所述第二图像进行超分辨率重建，得到与所述第一分辨率相同的第三图像；/n将所述边缘特征图像和所述第三图像进行融合，得到最终图像。/n

【技术特征摘要】
1.一种图像融合方法，应用于具备图像传感器的终端设备，其特征在于，所述方法包括：
获取由所述图像传感器采集的第一图像和第二图像，所述第一图像为第一分辨率，所述第二图像为第二分辨率，所述第一分辨率高于所述第二分辨率；
从所述第一图像提取边缘特征图像；
将所述第二图像进行超分辨率重建，得到与所述第一分辨率相同的第三图像；
将所述边缘特征图像和所述第三图像进行融合，得到最终图像。


2.根据权利要求1所述的方法，其特征在于，所述图像传感器包括四拜耳图像传感器；
所述获取由所述四拜耳图像传感器采集的第一图像和第二图像，包括：
通过所述四拜耳图像传感器采集基于四拜耳滤色阵列的原始拜耳图像；
对所述原始拜耳图像进行解马赛克处理和去马赛克处理，得到所述第一图像，所述第一图像为所述第一分辨率；
将所述原始拜耳图像中四个相邻的同颜色像素合并为一个像素，并对合并像素后的拜耳图像进行去马赛克处理，得到所述第二图像，所述第二图像为所述第二分辨率；
其中，所述第一分辨率为所述第二分辨率的四倍。


3.根据权利要求1所述的方法，其特征在于，所述从所述第一图像提取边缘特征图像，包括：
采用傅里叶变换对所述第一图像构建噪声分离函数，以得到去噪约束项；
根据所述第一图像在x方向和y方向上的灰度梯度差分，构建差分约束项；
根据所述去噪约束项和所述差分约束项建立约束函数，通过求解所述约束函数的最小值，得到所述第一图像对应的边缘特征图像。


4.根据权利要求3所述的方法，其特征在于，所述去噪约束项包括：
第一子约束项，为所述噪声分离函数的L2范数；
所述差分约束项包括：
第二子约束项，为所述第一图像在x方向上的灰度梯度差分的L1范数；以及
第三子约束项，为所述第一图像在y方向上的灰度梯度差分的L1范数。


5.根据权利要求1所述的方法，其特征在于，所述第二图像包括连续多帧的第二图...

【专利技术属性】
技术研发人员：陈曦，
申请(专利权)人：RealMe重庆移动通信有限公司，
类型：发明
国别省市：重庆;50