图像拼接处理方法及装置制造方法及图纸

本申请提供一种图像拼接处理方法及装置，所述方法包括：获取多个场景点对应的图像，每个场景点对应的图像中包括参考图像以及待拼接图像，参考图像与待拼接图像由取景方向不同的图像采集设备所采集，且参考图像与待拼接图像具有重叠区域；分别提取每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点；利用多个场景点对应的匹配兴趣点估计取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵；根据旋转矩阵以及偏移矩阵分别对每个场景点对应的图像进行拼接。本申请利用多个场景点对应的图像的匹配兴趣点估计图像采集设备的外参对每个场景点对应的图像进行拼接，减少了因图像采集设备所带来的误差分散的更加平均，改善了图像的拼接质量。

【技术实现步骤摘要】

本申请涉及图像处理
，特别是涉及一种图像拼接处理方法及装置。
技术介绍
随着互联网的进步与发展，电子地图成为了与人们生活息息相关的互联网应用，人们的日常生活以及出门旅行等都逐渐离不开电子地图。但是传统的二维电子地图，由于抽象的符号化表示和精度不够等原因，只能有限的表示道路和建筑物等信息。对于许多用户来说，二维电子地图使用起来比较晦涩，不能满足人们对于地图更精确、更详细、更好用的地图的需求，全景地图应运而生。全景地图作为一种新兴电子地图服务，逐渐成为互联网地图厂商争夺的热点。目前大部分的全景地图都需要先将图像采集设备所采集的图像进行拼接形成全景图像。常用的拼接方法都是从集中采集的图像中，挑选出一个场景点，利用该场景点对应多幅图像的图像特征进行图像配准、图像融合等步骤，最终得到全景图像。但是，上述方法存在如下问题:在每个场景点采集图像时，图像采集设备(例如相机)的姿态关系并不是完全不动的，特别是多个图像采集设备同时采集时，即使有很小的误差也会导致图像在融合阶段出现拼接缝隙，请参照图1，图1为采用上述拼接方法所获得的一幅全景图，从图上可以看出明显的拼接缝隙。
技术实现思路
本申请的目的在于，克服现有技术采用单一场景点对应图像的图像特征进行图像拼接所带来的容易出现拼接缝隙的问题，而提供一种新的图像拼接处理方法及装置。本申请实施例中的一种图像拼接处理方法，包括:获取多个场景点对应的图像，每个场景点对应的图像中包括参考图像以及待拼接图像，所述参考图像与所述待拼接图像由取景方向不同的图像采集设备所采集，且所述参考图像与所述待拼接图像具有重叠区域；分别提取每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点；利用多个场景点对应的匹配兴趣点估计所述取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵；根据所述旋转矩阵以及偏移矩阵分别对每个场景点对应的图像进行拼接。本申请实施例中的一种图像拼接处理装置，包括:图像获取模块、匹配兴趣点提取模块、矩阵计算模块、图像拼接模块。图像获取模块用于获取多个场景点对应的图像，每个场景点对应的图像中包括参考图像以及待拼接图像，所述参考图像与所述待拼接图像由取景方向不同的图像采集设备所采集，且所述参考图像与所述待拼接图像具有重叠区域。匹配兴趣点提取模块用于分别提取每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点。矩阵计算模块用于利用多个场景点对应的匹配兴趣点估计所述取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵。图像拼接模块用于根据所述旋转矩阵以及偏移矩阵分别对每个场景点对应的图像进行拼接。相对于现有技术，本申请实施例所提出的图像拼接处理方法及装置利用多个场景点对应的图像的匹配兴趣点估计图像采集设备之间的旋转矩阵以及偏移矩阵，然后根据所估计出的旋转矩阵以及偏移矩阵再分别对每个场景点对应的图像进行拼接，这样可以减少因取景方向不同的图像采集设备之间的成像面不同所带来的视差影响以及因图像采集设备在不同的场景点取景时姿态关系发生变化所带来的设备抖动的影响，使这些影响所带来的误差分散的更加平均，可以改善图像的拼接质量，使得图像的拼接缝隙更小甚至可以达到无缝拼接。上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。附图说明图1为采用现有技术的拼接方法所获得的一幅全景图。图2为本专利技术第一实施例中提供的图像拼接方法的流程示意图。图3为采用本专利技术第一实施例中提供的图像拼接方法所获得的一幅全景图。图4为本专利技术第二实施例中提供的图像拼接方法的流程示意图。图5为本专利技术第三实施例中提供的图像拼接装置的结构示意图。图6为本专利技术第四实施例中提供的图像拼接装置的结构示意图。具体实施例方式为更进一步阐述本申请为达成预定专利技术目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本申请提出的图像拼接处理方法及装置其具体实施方式、方法、步骤、结构、特征及其功效，详细说明如下。有关本申请的前述及其他
技术实现思路
、特点及功效，在以下配合参考图式的较佳实施例的详细说明中将可清楚呈现。通过具体实施方式的说明，当可对本申请为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图式仅是提供参考与说明之用，并非用来对本申请加以限制。本申请提出一种图像拼接处理方法及装置，可以用于电子全景地图等全景图像的应用中，但是并不局限于此，也可以用于例如虚拟旅游等虚拟现实的其他应用中。下面将结合具体的实施例对本申请做进一步的说明。第一实施例图2为本申请第一实施例中的图像拼接处理方法的流程示意图。如图2所示，本实施例中的图像拼接处理方法包括:步骤Sll:获取多个场景点对应的图像，每个场景点对应的图像中包括参考图像以及待拼接图像，所述参考图像与所述待拼接图像由取景方向不同的图像采集设备所采集，且所述参考图像与所述待拼接图像具有重叠区域。于本申请的实施例中，同一场景点对应的图像来源于取景方向不同的图像采集设备(包括相机、图像传感器等)在同一拍摄点对同一场景的所采集的图像。拍摄点指的是图像的拍摄位置，也就是携带有GPS模块的图像采集设备在采集图像时所记录下来的采集设备的地理位置信息。根据实际的需求，图像采集系统，例如街景采集车等，可以每间隔一定距离采集一次，也就是每间隔一定距离更换一次拍摄点。图像采集设备例如可以为多个相机，将该多个相机的镜头朝向不同方向即可实现不同取景方向的图像采集。例如，可以是多个设置于同一水平面上的相机以及至少一个设置于竖直方向的相机。设置于同一水平面上的多个相机的光轴可以近似重合于同一圆弧的圆心处且镜头朝向不同，设置于竖直方向的至少一个相机的镜头朝向天空。优选的，相机的镜头可以为广角镜头，例如鱼眼镜头。由取景方向不同的图像采集设备所采集的多幅图像之间具有一个共同的特点，就是取景方向相邻的图像采集设备(相邻的相机)所采集的两幅图像(以下简称相邻图像)之间至少有一部分是重叠的，也就是具有重叠区域。优选的，相邻图像之间重叠比例达到50%。相机的数量越多所采集到的图像的数量也越多，可以定义每两幅相邻图像中的一幅图像为参考图像，而另一幅图像为待拼接图像，也可以根据不同的拼接策略进行定义，例如可以定义一幅参考图像，多幅待拼接图像等，本申请的实施方式并不以此为限。步骤S12:分别提取每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点。兴趣点(interest point)可以是一幅图像中灰度在水平和垂直方向都有显著变化的特殊点，例如角点，也可以是图像中具有复杂纹理特征的特殊点。兴趣点是图像的底层特征，具有计算量小、信息含量高的特点。兴趣点的提取可以采用基于灰度图像的兴趣点检测法、基于二值图像的兴趣点检测法、或基于模板和基于模板梯度组合等方法。以兴趣点为角点为例，具体的，可以采用suSAN角点检测算法、Morave角点检测算法、和Harris角点检测等算法对参考图像与待拼接图像分别进行兴趣点提取的处理。当然，本领域的技术人员也可以采用其他的兴趣点提取方法，本申请的实施方式并不以此为限。提取出每个场景点对应的参考图像以及待拼接图像之间的匹配兴趣点，也就是建立参本文档来自技高网...

【技术保护点】
一种图像拼接处理方法，其特征在于，所述方法包括：获取多个场景点对应的图像，每个场景点对应的图像中包括参考图像以及待拼接图像，所述参考图像与所述待拼接图像由取景方向不同的图像采集设备所采集，且所述参考图像与所述待拼接图像具有重叠区域；分别提取每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点；利用多个场景点对应的匹配兴趣点估计所述取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵；以及根据所述旋转矩阵以及偏移矩阵分别对每个场景点对应的图像进行拼接。

【技术特征摘要】
1.一种图像拼接处理方法，其特征在于，所述方法包括: 获取多个场景点对应的图像，每个场景点对应的图像中包括参考图像以及待拼接图像，所述参考图像与所述待拼接图像由取景方向不同的图像采集设备所采集，且所述参考图像与所述待拼接图像具有重叠区域； 分别提取每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点； 利用多个场景点对应的匹配兴趣点估计所述取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵；以及 根据所述旋转矩阵以及偏移矩阵分别对每个场景点对应的图像进行拼接。2.如权利要求1所述的图像拼接处理方法，其特征在于:所述分别提取每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点的步骤包括: 对每个场景点对应的参考图像以及待拼接图像进行预处理； 提取经过预处理的参考图像以及待拼接图像的兴趣点； 提取每个兴趣点对应的图像特征；以及 通过比对经过预处理的参考图像的兴趣点与待拼接图像的兴趣点对应的图像特征之间的距离，提取出每个场景点对应的参考图像与待拼接图像之间的匹配兴趣点。3.如权利要求2所述的图像拼接处理方法，其特征在于:每个兴趣点对应的图像特征包括HOG特征或LBP特征。4.如权利要求1所述的图像拼接处理方法，其特征在于:采用Levenberg-Marquardt算法利用多个场景点对应的匹配兴趣`点对所述取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵进行估计。5.如权利要求1所述的图像拼接处理方法，其特征在于:所述根据所述旋转矩阵以及偏移矩阵分别对每个场景点对应的图像进行拼接的步骤，包括: 根据所述旋转矩阵以及偏移矩阵将每个场景点对应的参考图像以及待拼接图像进行重映射；以及 将每个场景点对应的经过重映射的待拼接图像与参考图像进行融合。6.一种图像拼接处理装置，其特征在于，所述装置包...

【专利技术属性】
技术研发人员：桂天宜，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：