一种图像融合方法及装置制造方法及图纸

本发明专利技术实施例提供一种图像融合方法及装置，其中，所述方法在生成原始图像对应的拉普拉斯金字塔和对融合后的拉普拉斯金字塔进行重构得到相应的高斯金字塔时，分别基于各层设定窗口的低通滤波对金字塔的各层进行模糊处理。所述各层设定窗口包括十字形窗口和X形窗口中的至少一种。由于采用本发明专利技术实施例提出的十字形窗口或X形窗口的低通滤波进行模糊处理时的计算量明显低于现有的采用矩形窗口的低通滤波进行模糊处理时的计算量，因此本方法能够显著提升图像融合效率，进而满足较高分辨率的视频实时融合拼接的需求。

Image fusion method and device

The embodiment of the invention provides an image fusion method and device, wherein, the method generates the original image corresponding to Laplasse in Pyramid and Laplasse of Pyramid fused are reconstructed to obtain the corresponding Gauss of Pyramid, were based on fuzzy processing low-pass filtering each layer set the window on Pyramid layers. The layer setting windows include at least one of the cruciform window and the X shaped window. Due to the low pass filter by the embodiment of the invention of the cross shaped window window or X the computation of fuzzy processing is significantly lower than that of the low pass filter of the rectangular window of the computation of fuzzy processing, so this method can significantly improve the efficiency of image fusion, and satisfy the real-time high resolution video fusion splicing the demand.

【技术实现步骤摘要】
一种图像融合方法及装置
本专利技术涉及图像处理
，具体而言，涉及一种图像融合方法及装置。
技术介绍
基于传统的金字塔融合算法对图像进行融合时，是采用矩形窗口的低通滤波对金字塔的各层进行上采样或下采样，计算量大，融合效率低，无法满足虚拟现实技术中对较高分辨率的视频进行实时融合拼接的需求。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种图像融合方法及装置，以改善上述问题。本专利技术较佳实施例提供一种图像融合方法，该方法包括：对于待融合的第一图像和第二图像，分别基于各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔，其中，所述各层设定窗口包括十字形窗口和X形窗口中的至少一种；对上述生成的两个拉普拉斯金字塔进行融合；基于所述各层设定窗口的低通滤波对融合后得到的拉普拉斯金字塔进行重构，得到融合后的图像。本专利技术另一较佳实施例提供一种图像融合装置，该装置包括：金字塔生成模块，用于对待融合的第一图像和第二图像，分别基于各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔，其中，所述各层设定窗口包括十字形窗口和X形窗口中的至少一种；金字塔融合模块，用于对上述生成的两个拉普拉斯金字塔进行融合；金字塔重构模块，用于基于所述各层设定窗口的低通滤波对融合后得到的拉普拉斯金字塔进行重构，得到融合后的图像。本专利技术较佳实施例提供的图像融合方法及装置中，在由第一图像、第二图像生成各自对应的多层拉普拉斯金字塔时，以及在对融合后的拉普拉斯金字塔进行重构得到融合后的图像的高斯金字塔时，是分别基于各层设定窗口的低通滤波对金字塔的各层进行模糊处理。所述各层设定窗口包括十字形窗口和X形窗口中的至少一种。由于采用本专利技术实施例提出的十字形窗口或X形窗口的低通滤波进行模糊处理时的计算量明显低于采用矩形窗口的低通滤波进行模糊处理时的计算量(参见后续具体实施方式部分的详细阐述)，因此本方法能够显著提升图像融合效率，进而满足较高分辨率的视频实时融合拼接的需求。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本专利技术实施例提供的一种图像处理设备的方框示意图；图2为本专利技术实施例提供的应用于图1中所示图像处理设备的图像融合方法的流程图；图3A为本专利技术实施例提供的基于矩形窗口的低通滤波进行模糊处理的示意图；图3B为本专利技术实施例提供的基于十字形窗口的低通滤波进行模糊处理的示意图；图3C为本专利技术实施例提供的基于X形窗口的低通滤波进行模糊处理的示意图；图4为本专利技术实施例提供的基于高斯金字塔生成相应的拉普拉斯金字塔的过程示意图；图5为本专利技术实施例提供的对拉普拉斯金字塔进行重构得到相应的高斯金字塔的过程示意图；图6为本专利技术实施例提供的两幅图像的重叠区域的示意图；图7为本专利技术实施例提供的在两幅图像的重叠区域内根据计算出的拼接线确定的融合区域的示意图；图8为本专利技术实施例提供的一种图像融合装置的功能模块框图。图标：100-图像处理设备；110-存储器；120-处理器；130-图像融合装置；1302-金字塔生成模块；1304-金字塔融合模块；1306-金字塔重构模块。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，是本专利技术实施例提供的一种应用所述图像融合方法的图像处理设备100的方框示意图。所述图像处理设备100可以是，但不限于，个人电脑、服务器等。如图1所示，该图像处理设备100包括存储器110、处理器120以及图像融合装置130。所述存储器110与所述处理器120之间电性连接以实现数据的传输或交互。所述图像融合装置130包括至少一个可以软件或固件的形式存储于所述存储器110中或固化在所述图像处理设备100的操作系统中的软件功能模块。所述处理器120用于执行存储器110中存储的可执行模块，例如所述图像融合装置130包括计算机程序。所述处理器120在接收到执行指令后，执行所述程序，下述本专利技术任一实施例揭示的流过程定义的图像处理设备100所执行的方法可以应用于处理器120中，或者由处理器120实现。请参阅图2，是本专利技术实施例提供的应用于图1中所示图像处理设备100的图像融合方法的流程图。所应说明的是，本实施例提供的方法不以图2及以下所述的具体顺序为限制。下面将对图2示出的各步骤作详细阐述。步骤S101，对于待融合的第一图像和第二图像，分别基于各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔。本实施例中，所述各层设定窗口包括十字形窗口和X形窗口中的至少一种。基于本专利技术实施例提出的十字形或X形窗口的低通滤波对图像进行模糊处理时的计算量相较于已有的基于矩形窗口的低通滤波的计算量明显降低。具体详见图3A所提供的一种示例，其中(a)部分的每一个方框代表一个像素点，方框内的数值代表对应像素点的灰度值。当基于3×3矩形窗口的低通滤波对(a)中灰色区域内的灰度值为“96”的中心像素点进行模糊处理时，需要所述灰色区域内的9个灰度值构成的矩阵与(b)部分的权重矩阵进行卷积，计算出该像素点模糊后的灰度值“92”(见(c)部分灰色区域)。也就是说，利用3×3矩形窗口的低通滤波对图像进行模糊处理时，需要访问8个邻域像素点，进而卷积计算时需要进行9次乘法、8次加法以及1次除法运算。如图3B所示，若采用十字形窗口的低通滤波对上述同一像素点进行模糊处理，则仅需要访问该像素点的4个邻域像素点。与对应的权重矩阵进行卷积时，便仅需进行5次乘法、4次加法以及1次除法。如图3C所示，采用X形窗口的低通滤波时，同样仅需进行5次乘法、4次加法以及1次除法。由上述内容可以看出，基于十字形或X形窗口的低通滤波进行模糊时的卷积计算次数明显少于基于矩形窗口的低通滤波进行模糊时的卷积计算次数。就上述的示例而言，将矩形窗口更改为十字形或X形窗口可以近乎提升一半的模糊效率。下面，不失一般性地，仅以第一图像为例详细地描述所述基于各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔的过程。首先，基于所述第一图像生成多层的高斯金字塔。具体生成过程可以为：将所述第一图像的原图作为所述高斯金字塔的第一层图像G0；通过低通滤波对所述G0进行模糊处理及下采样(去除偶数行和偶数列)后，得到第二层图像G1；然后，再基于所述G1重复上述的模糊处理及下采样操作，得到第三层图像G2，如此反复迭代多次后，依次得到G3，G4，……GN；由G0至GN所形成的金字塔型的图像数据结构即为对应于所述第一图像的高斯金字塔。本实施例中，在由底层图像Gi生成上层图像Gi+1时，其中i＝0，1,2,…,N-1，可以选择性的采用矩形窗口的低通滤波、十字形窗口的低通滤波或者X形本文档来自技高网...

【技术保护点】
一种图像融合方法，其特征在于，该方法包括：对于待融合的第一图像和第二图像，分别基于各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔，其中，所述各层设定窗口包括十字形窗口和X形窗口中的至少一种；对上述生成的两个拉普拉斯金字塔进行融合；基于所述各层设定窗口的低通滤波对融合后得到的拉普拉斯金字塔进行重构，得到融合后的图像。

【技术特征摘要】
1.一种图像融合方法，其特征在于，该方法包括：对于待融合的第一图像和第二图像，分别基于各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔，其中，所述各层设定窗口包括十字形窗口和X形窗口中的至少一种；对上述生成的两个拉普拉斯金字塔进行融合；基于所述各层设定窗口的低通滤波对融合后得到的拉普拉斯金字塔进行重构，得到融合后的图像。2.根据权利要求1所述的方法，其特征在于，所述对于待融合的第一图像和第二图像，分别基于各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔的步骤包括：计算所述第一图像和第二图像的重叠区域；对所述第一图像上的重叠区域和第二图像上的重叠区域，分别基于所述各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔。3.根据权利要求1所述的方法，其特征在于，所述对于待融合的第一图像和第二图像，分别基于设定窗口的低通滤波生成相应的拉普拉斯金字塔的步骤包括：计算所述第一图像和第二图像的重叠区域；在所述重叠区域内，计算所述第一图像和第二图像的拼接线；根据所述拼接线确定所述第一图像和第二图像的融合区域，其中所述融合区域小于所述重叠区域；对所述第一图像上的融合区域和第二图像上的融合区域，分别基于所述各层设定窗口的低通滤波生成相应的拉普拉斯金字塔。4.根据权利要求1-3任意一项所述的方法，其特征在于，所述基于各层设定窗口的低通滤波生成相应的多层拉普拉斯金字塔的步骤包括：生成高斯金字塔；由该高斯金字塔生成所述相应的多层拉普拉斯金字塔，其中，生成该拉普拉斯金字塔的过程中至少在该高斯金字塔的第二层应用所述十字形窗口或X形窗口的低通滤波。5.根据权利要求2或3所述的方法，其特征在于，计算所述第一图像和第二图像的重叠区域的步骤包括：提取第一图像和第二图像的关联特征点；根据上述关联特征点的位置坐标的对应关系计算出第一图像和第二图像之间的几何位置映射矩阵；将所述第一图像中的每个像素的位置坐标乘以所述几何位置映射矩阵的逆矩阵，使得所述第一图像映射到所述第二图像所在的几何空间中；根据位于同一几何空间的第一图像与第二图像中像素的位置坐标的重叠关系，计算出所述重叠区域。6.根据权利要求1所述的方法，其特征在于，基于所述设定窗口的低通滤波对融合后得到的拉普拉斯金字塔进行重构，得到融合后的图像的步骤包括：对融合后的拉普拉斯金字塔进行重构得到融合后的高斯金字塔，其中，重构过程中至少在该高斯金字塔的第二层应用所述十字形窗口或X形窗口的低通滤波。7.一种图像融合装置，其特征在于，该装置包括：金字塔生成模块，用于对待融合...

【专利技术属性】
技术研发人员：代云僧，张广东，潘剑，
申请(专利权)人：微鲸科技有限公司，
类型：发明
国别省市：上海,31