图像融合方法和装置制造方法及图纸

公开了图像融合方法和装置。所述图像融合方法，应用于一多重成像设备，所述多重成像设备包括全景相机和非全景相机，其中所述非全景相机能够拍摄可见光图像，并且也能够拍摄与所述可见光图像不同的特殊图像，所述方法包括：通过校正由所述全景相机获得的全景图像中的非线性畸变，将所述全景图像变换为多个第二图像；在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域；以由所述非全景相机获得的特殊图像替换所述可见光图像，并将所述特殊图像融合至匹配的第二图像中的对应区域；以及将完成图像融合的第二图像以及其余的第二图像反变换回全景图像。

Image fusion method and device

【技术实现步骤摘要】
图像融合方法和装置
本专利技术涉及图像处理领域，更具体地说，涉及应用于多重成像设备的图像融合方法和装置。
技术介绍
自古以来，人们就渴望着能够得到周围世界的图像。从手工描绘，到胶片相机，再到数码相机和各种专用相机，成像技术经历着漫长而越来越高速的演进。近年来，随着电子科技的发展，使用单一相机来进行拍摄已经不再能满足人们的需求。例如，一种可能的多重成像设备包括全景相机和非全景相机。然后，将全景相机拍摄的全景图像与非全景相机拍摄的非全景图像组合以获得更多信息。例如，非全景图像可以是诸如红外图像、紫外图像之类的特殊图像。大部分现有技术更感兴趣于分别将可见光图像和特殊图像拼接成全景图像。然而，这种做法会在图像匹配方面花费大量的时间，而且如果算法不够有效时，这种方式会带来大量不可忽略的误差。另外一种现有技术致力于可见光图像和特殊图像的直接匹配，用这种方式来获取感兴趣区域的更多信息。然而，由于可见光图像与特殊图像在图像特性上的差异(如，像素点的颜色属性)很大，因此不能使用特征点自动匹配的方法来实现两种图像的匹配，而只能通过手动特征点标记的方式来实现两种图像的匹配。
技术实现思路
鉴于以上情形，期望提供能够通过自动特征点检测的方式来匹配全景可见光图像和特殊图像的图像融合方法和装置。根据本专利技术的一个方面，提供了一种图像融合方法，应用于一多重成像设备，所述多重成像设备包括全景相机和非全景相机，其中所述非全景相机能够拍摄可见光图像，并且也能够拍摄与所述可见光图像不同的特殊图像，所述方法包括：通过校正由所述全景相机获得的全景图像中的非线性畸变，将所述全景图像变换为多个第二图像；在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域；以由所述非全景相机获得的特殊图像替换所述可见光图像，并将所述特殊图像融合至匹配的第二图像中的对应区域；以及将完成图像融合的第二图像以及其余的第二图像反变换回全景图像。另外，在根据本专利技术实施例的方法中，所述多个第二图像为立方体全景图中六个面的图像。另外，在根据本专利技术实施例的方法中，以由所述非全景相机获得的特殊图像替换所述可见光图像的步骤进一步包括：确定所述非全景相机中用以拍摄可见光图像的可见光镜头与用以拍摄特殊图像的特殊镜头之间的视差；判断所述视差是否满足预定条件；当所述视差满足所述预定条件时，直接以所述特殊图像替换所述可见光图像；当所述视差不满足所述预定条件时，确定所述特殊图像到所述可见光图像的第一变换矩阵，并以变换后的特殊图像替换所述可见光图像。另外，在根据本专利技术实施例的方法中，在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域的步骤进一步包括：对于所述六个面的图像中的每一个，搜索与所述可见光图像中的特征点匹配的特征点，直至找到匹配度最高的一个面图像；基于多个相互匹配的特征点对，确定将所述可见光图像融合至所述面图像的对应区域的第二变换矩阵。另外，在根据本专利技术实施例的方法中，将所述特殊图像融合至匹配的第二图像中的对应区域的步骤进一步包括：通过所述第二变换矩阵，将所述特殊图像变换至所述面图像的对应区域。根据本专利技术的另一方面，提供了一种图像融合装置，应用于一多重成像设备，所述多重成像设备包括全景相机和非全景相机，其中所述非全景相机能够拍摄可见光图像，并且也能够拍摄与所述可见光图像不同的特殊图像，所述装置包括：畸变校正单元，用于通过校正由所述全景相机获得的全景图像中的非线性畸变，将所述全景图像变换为多个第二图像；匹配单元，用于在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域；融合单元，用于以由所述非全景相机获得的特殊图像替换所述可见光图像，并将所述特殊图像融合至匹配的第二图像中的对应区域；以及反变换单元，用于将完成图像融合的第二图像以及其余的第二图像反变换回全景图像。另外，在根据本专利技术实施例的装置中，所述多个第二图像为立方体全景图中六个面的图像。另外，在根据本专利技术实施例的装置中，所述融合单元进一步包括替换部件，所述替换部件被配置为执行以下处理：确定所述非全景相机中用以拍摄可见光图像的可见光镜头与用以拍摄特殊图像的特殊镜头之间的视差；判断所述视差是否满足预定条件；当所述视差满足所述预定条件时，直接以所述特殊图像替换所述可见光图像；当所述视差不满足所述预定条件时，确定所述特殊图像到所述可见光图像的第一变换矩阵，并以变换后的特殊图像替换所述可见光图像。另外，在根据本专利技术实施例的装置中，所述匹配单元进一步被配置为：对于所述六个面的图像中的每一个，搜索与所述可见光图像中的特征点匹配的特征点，直至找到匹配度最高的一个面图像；基于多个相互匹配的特征点对，确定将所述可见光图像融合至所述面图像的第二变换矩阵。另外，在根据本专利技术实施例的装置中，所述融合单元进一步被配置为：通过所述第二变换矩阵，将所述特殊图像变换至所述面图像的对应区域。根据本专利技术的再一方面，提供了一种计算机介质，用于存储计算机程序，当由处理器执行所述计算机程序时，实现以下步骤：通过校正由所述全景相机获得的全景图像中的非线性畸变，将所述全景图像变换为多个第二图像；在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域；以由所述非全景相机获得的特殊图像替换所述可见光图像，并将所述特殊图像融合至匹配的第二图像中的对应区域；以及将完成图像融合的第二图像以及其余的第二图像反变换回全景图像。在根据本专利技术实施例的图像融合方法和装置中，通过使用可见光图像作为中间介质来完成特殊图像和全景图像的融合，从而能够将特殊图像的信息补充至全景图像，同时能够避免特殊图像与全景图像的直接匹配所引起的手动标记特征点的问题。附图说明图1是图示根据本专利技术的实施例的图像融合方法的过程的流程图；图2示出了由全景相机获得的全景图像的一种示例；图3(A)至图3(F)示出了通过步骤S101中的畸变校正而获得的立方体全景图中六个面的图像的一种示例；图4(A)和图4(B)分别示出了由可见光镜头获得的可见光图像以及由特殊镜头获得的特殊图像；图5(A)和图5(B)分别示出了所述多重成像设备的两种可能的配置方式；图6(A)和图6(B)示出了可见光镜头和特殊镜头之间的物理关系；图7示出了在步骤S103获得的融合后的面图像；图8示出了融合了特殊图像的全景图像的一种示例；图9是示出了根据本专利技术的实施例的图像融合装置的配置的功能性框图；图10示出了根据本专利技术的实施例的图像融合装置作为硬件实体的一个示例；以及图11示出了根据本专利技术的实施例的计算机可读记录介质的示意图。具体实施方式下面将参照附图对本专利技术的各个优选的实施方式进行描述。提供以下参照附图的描述，以帮助对由权利要求及其等价物所限定的本专利技术的示例实施方式的理解。其包括帮助理解的各种具体细节本文档来自技高网...

【技术保护点】
1.一种图像融合方法，应用于一多重成像设备，所述多重成像设备包括全景相机和非全景相机，其中所述非全景相机能够拍摄可见光图像，并且也能够拍摄与所述可见光图像不同的特殊图像，所述方法包括：/n通过校正由所述全景相机获得的全景图像中的非线性畸变，将所述全景图像变换为多个第二图像；/n在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域；/n以由所述非全景相机获得的特殊图像替换所述可见光图像，并将所述特殊图像融合至匹配的第二图像中的对应区域；以及/n将完成图像融合的第二图像以及其余的第二图像反变换回全景图像。/n

【技术特征摘要】
1.一种图像融合方法，应用于一多重成像设备，所述多重成像设备包括全景相机和非全景相机，其中所述非全景相机能够拍摄可见光图像，并且也能够拍摄与所述可见光图像不同的特殊图像，所述方法包括：
通过校正由所述全景相机获得的全景图像中的非线性畸变，将所述全景图像变换为多个第二图像；
在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域；
以由所述非全景相机获得的特殊图像替换所述可见光图像，并将所述特殊图像融合至匹配的第二图像中的对应区域；以及
将完成图像融合的第二图像以及其余的第二图像反变换回全景图像。


2.根据权利要求1所述的方法，其中所述多个第二图像为立方体全景图中六个面的图像。


3.根据权利要求1所述的方法，其中以由所述非全景相机获得的特殊图像替换所述可见光图像的步骤进一步包括：
确定所述非全景相机中用以拍摄可见光图像的可见光镜头与用以拍摄特殊图像的特殊镜头之间的视差；
判断所述视差是否满足预定条件；
当所述视差满足所述预定条件时，直接以所述特殊图像替换所述可见光图像；
当所述视差不满足所述预定条件时，确定所述特殊图像到所述可见光图像的第一变换矩阵，并以变换后的特殊图像替换所述可见光图像。


4.根据权利要求2所述的方法，其中在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域的步骤进一步包括：
对于所述六个面的图像中的每一个，搜索与所述可见光图像中的特征点匹配的特征点，直至找到匹配度最高的一个面图像；
基于多个相互匹配的特征点对，确定将所述可见光图像融合至所述面图像的对应区域的第二变换矩阵。


5.根据权利要求4所述的方法，其中将所述特殊图像融合至匹配的第二图像中的对应区域的步骤进一步包括：
通过所述第二变换矩阵，将所述特殊图像变换至...

【专利技术属性】
技术研发人员：赵薇，张宇鹏，王艺伟，伊红，王炜，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本;JP