图像拼接系统和图像拼接方法技术方案

本发明专利技术实施例公开了一种图像拼接方法和一种图像拼接系统。所述方法包括：由多个图像采集设备分别获取与多个场景点对应的多个图像，与每个场景点对应的图像包括参考图像和待拼接图像，所述参考图像与所述待拼接图像具有重叠区域；将所述参考图像和所述待拼接图像分别进行第一重映射；提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对；利用第二重映射从粗匹配特征点对中获取细匹配特征点对；利用所述细匹配特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵；以及根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接，得到拼接图像。

【技术实现步骤摘要】

本专利技术实施例涉及图像处理领域，尤其涉及一种图像拼接系统和一种图像拼接方法。
技术介绍
全景图像具有越来越广泛的应用场景。传统地，需要将多个图像采集设备所采集的多个图像进行拼接来形成全景图像。通常的拼接方法包括从集中采集的图像中选择特定场景点，针对与该场景点对应的多个图像提取图像特征，并利用提取的图像特征进行图像配准、图像融合等步骤，最终得到全景图像。传统的拼接方法通过提取图像重叠部分的特征点对多个采集设备进行内、外参数的校正，并将数据存入模板用于重映射图像继而融合成为全景图片。这种特征点的提取和匹配方法忽略了对特征点的精密匹配和过滤，从而影响拼接结果。因此，需要提供一种图像拼接系统和图像拼接方法来克服或缓解上述技术问题。
技术实现思路
根据本专利技术实施例的一个方面，提供了一种图像拼接方法，可以包括：由多个图像采集设备分别获取与多个场景点对应的多个图像，与每个场景点对应的图像包括参考图像和待拼接图像，所述参考图像与所述待拼接图像具有重叠区域；将所述参考图像和所述待拼接图像分别进行第一重映射；提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对；利用第二重映射从粗匹配特征点对中获取细匹配特征点对；利用所述细匹配特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵；以及根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接，得到拼接图像。优选地，所述将所述参考图像和所述待拼接图像分别进行第一重映射包括：利用等距圆柱投影分别对参考图像和待拼接图像进行第一重映射，得到对应的等距圆柱投影图像，分别作为重映射的参考图像和重映射的待拼接图像。优选地，等距圆柱投影中的点X’1(x_dst1，y_dst1)与对应原始图像中的X1(x_src1，y_srcl)满足：θ＝π/2-y_dstl，其中，是在等距圆柱投影中与横坐标对应的经度弧度，θ是与纵坐标对应的纬度弧度；其中，s＝sin(θ)，v1＝cos(θ)，分别是图像采集设备固有的鱼眼球面投影模型的经度和纬度；r1＝sqrt(v02+v12)，r1是投影到球面中的半径；且x_src1＝θ0*v0/r1；y_src1＝θ0*v1/r1。优选地，所述利用第二重映射从粗匹配特征点对中获取细匹配特征点对包括：利用平面投影对粗匹配特征点对的坐标进行第二重映射；以及获取粗匹配特征点对中符合单应性的特征点对作为细匹配特征点对。优选地，利用平面投影对粗匹配特征点对的坐标进行第二重映射包括：将粗匹配特征点对映射回图像采集设备固有的鱼眼球面投影模型中，得到粗匹配特征点对在所述鱼眼球面投影模型中的坐标；将鱼眼球面投影模型中的坐标映射到平面投影模型中；以及将鱼眼球面投影模型的坐标到平面投影模型的映射符合单应性的特征点对确定为细匹配特征点对。优选地，利用以下将鱼眼球面投影模型中的坐标X2(x_src2，y_src2)投影为平面投影模型中的点X’2(x_dst2，y_dst2)：r2＝sprt(OpticalX-x_dst2)2+(OpticalY-y_dst2)2，r2为平面投影模型中点到图像光心点的半径，(OpticalX，OpticalY)表示图像光心点的坐标，ω=0,r2=0ω=atan2(r2,1)/r2,r2≠0]]>ω是对应到鱼眼球面投影模型中的弧度，x_src2＝ω*(OpticalX-x_dst2)+OpticalXy_src2＝ω*(OpticalY-y_dst2)+OpticalY。根据本专利技术实施例的另一方面，提供了一种图像拼接系统，可以包括：多个图像采集设备，所述多个图像采集设备相对于彼此的位置和取景方向不变，所述多个图像采集设备分别获取与多个场景点对应的多个图像，所述图像包括参考图像和待拼接图像，所述参考图像与所述待拼接图像具有重叠区域；控制器，配置为将所述参考图像和所述待拼接图像分别进行第一重映射；提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对；利用第二重映射从粗匹配特征点对中获取细匹配特征点对；利用所述细匹配特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵；以及根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接，得到拼接图像。根据本专利技术的另一方面，还提供了一种图像拼接系统，包括：底座；被设置在底座上的多个图像采集设备，其中所述多个图像采集设备相对于彼此的位置和取景方向不变，所述多个图像采集设备分别获取与多个场景点对应的多个图像，所述图像包括参考图像和待拼接图像，所述参考图像与所述待拼接图像具有重叠区域；以及控制器，接收来自多个图像采集设备的多个图像，将所述参考图像和所述待拼接图像分别进行第一重映射；提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对；利用第二重映射从粗匹配特征点对中获取细匹配特征点对；利用所述细匹配特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵；以及根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接，得到拼接图像。根据本专利技术实施例，针对多个图像采集设备的位置、取景方向固定的情况，采取静态拼接的方式，利用所获取图像的投影的几何性质，对原始图像集合的特征点进行提取和匹配，得到准确的控制点对，从而改善图像拼接质量。附图说明通过参考附图更加清楚地理解本专利技术实施例的特征和优点，附图是示意性的而不应理解为对本专利技术进行任何限制，在附图中：图1示出了根据本专利技术实施例的图像拼接方法的流程图；图2示出了根据本专利技术实施例的等距圆柱投影的效果示意图；图3示出了根据本专利技术实施例的细特征点对提取的流程图；图4示出了根据本专利技术实施例的图像拼接系统的示意方框图；以及图5示出了根据本专利技术另一实施例的图像拼接系统的示意方框图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。例如全景相机的图像采集设备可以对某一场景点同时拍摄具有重叠区域的多个图像，并通过一系列图像处理方法拼接得到360度全方位实景图像。传统的拼接方法可以分为动态拼接和静态拼接两种，其中，动态拼接针对每次获取的图像，提取并匹配特征点，估算具有重叠区域的两个图像的相对旋转矩阵和偏移矩阵，即相对的取景方向和位移，来对图片进行变形从而拼接融合。在多个图像采集设备的位置和取景方向固定的情况下，多个采集设备之间的相对姿态、位置是固定不变的，即获取的图像间满足固定的三维转换关系。针对这种情况，静态拼接在使用图像采集设备获取图像之前，对多个已有图像数据进行采样，提取匹配特征点，估算图像采集设备之间的相对位置和旋转关系并记录在模板中。在图像拼接过程中，直接读取模板中的数据信息对图像进行变形、融合，成为全景图像。特征点的选择在拼接处理中起到关键作用。为此，本申请提出了一种图像拼接方法和图像拼接系统，可以用于电子全景地图、虚拟旅游等领域，当然，本申请的应用并不局限于此。图1示出了根据本专利技术实施例的图像拼接方法的流程图。应注意，以下方法中各个步骤的序号仅本文档来自技高网...

【技术保护点】
一种图像拼接方法，包括：由多个图像采集设备分别获取与多个场景点对应的多个图像，与每个场景点对应的图像包括参考图像和待拼接图像，所述参考图像与所述待拼接图像具有重叠区域；将所述参考图像和所述待拼接图像分别进行第一重映射；提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对；利用第二重映射从粗匹配特征点对中获取细匹配特征点对；利用所述细匹配特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵；以及根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接，得到拼接图像。

【技术特征摘要】
1.一种图像拼接方法，包括：由多个图像采集设备分别获取与多个场景点对应的多个图像，与每个场景点对应的图像包括参考图像和待拼接图像，所述参考图像与所述待拼接图像具有重叠区域；将所述参考图像和所述待拼接图像分别进行第一重映射；提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对；利用第二重映射从粗匹配特征点对中获取细匹配特征点对；利用所述细匹配特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵；以及根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接，得到拼接图像。2.根据权利要求1所述的方法，其中，所述将所述参考图像和所述待拼接图像分别进行第一重映射包括：利用等距圆柱投影分别对参考图像和待拼接图像进行第一重映射，得到对应的等距圆柱投影图像，分别作为重映射的参考图像和重映射的待拼接图像。3.根据权利要求2所述的方法，其中，等距圆柱投影中的点X’1(x_dst1，y_dst1)与对应原始图像中的X1(x_src1，y_src1)满足：θ＝π/2-y_dst1，其中，是在等距圆柱投影中与横坐标对应的经度弧度，θ是与纵坐标对应的纬度弧度；其中，s＝sin(θ)，v1＝cos(θ)，分别是图像采集设备固有的鱼眼球面投影模型的经度和纬度；r1＝sqrt(v02+v12)，r1是投影到球面中的半径；且x_src1＝θ0*v0/r1；y_src1＝θ0*v1/r1。4.根据权利要求1-3之一所述的方法，其中，所述利用第二重映射从粗匹配特征点对中获取细匹配特征点对包括：利用平面投影对粗匹配特征点对的坐标进行第二重映射；以及获取粗匹配特征点对中符合单应性的特征点对作为细匹配特征点对。5.根据权利要求4所述的方法，其中，利用平面投影对粗匹配特征点对的坐标进行第二重映射包括：将粗匹配特征点对映射回图像采集设备固有的鱼眼球面投影模型中，得到粗匹配特征点对在所述鱼眼球面投影模型中的坐标；将鱼眼球面投影模型中的坐标映射到平面投影模型中；以及将鱼眼球面投影模型的坐标到平面投影模型的映射符合单应性的特征点对确定为细匹配特征点对。6.根据权利要求5所述的方法，其中，利用以下将鱼眼球面投影模...

【专利技术属性】
技术研发人员：王韵秋，马志刚，
申请(专利权)人：微景天下北京科技有限公司，
类型：发明
国别省市：北京;11