一种基于双目像机的全景图像拼接方法技术

本发明专利技术提出了一种基于双目像机的全景图像拼接方法，首先将双目像机置于空间某一视点处，完成一次拍摄同时采集到两张鱼眼图像；其次针对经纬校正法在水平方向上畸变矫正不足的缺点，对传统算法进行了改进，并利用球面正投影的方法将校正后的图像投影到同一坐标系下，实现鱼眼图像快速校正；然后基于SIFT特征点检测法提取两投影图像重叠区域内的特征点，利用K‑D树的搜集策略查找特征点的最邻近欧氏距离进行特征点匹配，并用RANSAC算法对特征点去噪和消除误匹配点，完成图像拼接；最后采用线性融合的方法，对拼接后的图像进行融合，避免图像过渡区域出现颜色和场景变化生硬的现象。

Panoramic image stitching method based on binocular image machine

The invention provides a panoramic image mosaic method based on binocular like machine, the machine is arranged in a space like binocular view point, a shooting also collected two fish eye images; secondly, latitude correction method in the horizontal direction distortion of the shortcoming of the traditional algorithm is improved, and the use of the method of the spherical projection projection of the image after correction to the same coordinate system, to achieve rapid correction of fisheye image; then extract the feature points in the overlapping region two projection image SIFT feature point detection method based on feature points matching the nearest Euclidean distance collection strategies to find feature points using K D tree, and the feature points of denoising and eliminate false matching points by RANSAC algorithm, to complete image stitching; finally using the method of linear fusion, the fusion of image mosaic, avoid image The transition area presents a rigid phenomenon of color and scene change.

【技术实现步骤摘要】
一种基于双目像机的全景图像拼接方法
本专利技术属于数字图像处理领域，涉及全景图像拼接方法，特指一种基于双目像机的全景图像拼接方法。
技术介绍
随着科技的发展，全景视觉的应用越来越广泛，其中包括气象、医疗、安全监控、检测技术等方面的应用。将多张图像拼接成一张全景图像的过程，不仅操作复杂、效率低下，而且在实际工程应用中的适用性不高。鱼眼镜头具有比普通摄像头更广阔的视角，为了简化多方位拍摄覆盖全景的摄像头摆放装置模型，双目像机通过在相反方向上同时拍摄获取覆盖全景的两张鱼眼图像，经过一系列图像处理过程，实现全景图像的拼接，这种方法简单、快速、可行性高。基于鱼眼镜头的全景图像拼接方法主要包括图像采集、鱼眼图像畸变校正、图像特征点提取和匹配、图像融合，最后将拼接好的全景图像输出。其中图像畸变校正的精确度直接影响着特征点能否成功地提取和准确地匹配，从而影响全景图像拼接的效果。目前鱼眼图像畸变校正的方式主要分为基于投影变换模型的校正方法和基于标定的鱼眼镜头畸变校正方法。其中基于球面透视投影主要是通过拟合多项式以优化目标函数，从而估计校正模型参数，推导出校正后的图像，该方法研究较早，但计算复杂，实时性差。基于标定的校正方法，主要是借助外部设备对鱼眼图像的内外参数进行标定，通过真实坐标与语言成像平面坐标之间坐标转换，实现鱼眼图像畸变校正，该方法校正精度高，对实验设备要求较高。为了简化传统校正方法复杂度，提高视觉效果，在这两类方法的基础上结合图像的具体应用领域提出了许多校正方法。如刘红军等人(参考文献《鱼眼图像校正软件的关键技术研究》发表在仪表技术与传感器，2011年7期)采用球面透视投影和柱面展开两种算法对鱼眼图像进行校正，廖士中等人(参考文献《一种光学镜头摄像机图像几何畸变的修正方法》发表在中国图像图形学报，2000年5期)则提出利用多项式表示校正前后像素点坐标之间的关系，并通过最小二乘法求得多项式参数，实现鱼眼图像校正，但多项式次数越高，校正效果越好，计算量越大。经纬度校正算法是二维校正的典型代表，计算量小，校正过程简单，针对传统经纬校正算法以球面上的经度和纬度映射对应平面图像横向和纵向坐标，校正后图像在竖直方向上校正效果较好，但水平方向上的拱形畸变校正失败，而且出现中心校正过度而边缘校正不足的问题，为了解决传统经纬校正法这一缺陷，提出了双经度畸变校正的方法，将传统算法中的经线和纬线看作横向经线和纵向经线对畸变图像进行映射校正，提高了校正精度。本专利技术所指的传统经纬校正法是由英向华等人在计算机学报发表文献《一种基于球面投影约束的鱼眼镜头校正方法》中提出经纬映射图像校正原理。特征点的提取和匹配是图像处理中能否成功拼接的另一个重要模块，对同一目标进行拍摄的两幅图像，进行特征点提取之后，得到大量的特征点，这些特征点有些非常相似，但并不能形成一一对应的关系，即存在伪匹配点。同时有部分特征点会出现在一副图像中存在，而相匹配的另一幅图像中却不存在的现象。因此，特征点匹配过程中需要选定合适的搜索策略和相似性度量准则，确保图像特征点匹配的搜索效率和准确性。图像配准完成后，图像重叠部分在强度或颜色上的不连续会造成拼接的图像存在明显的拼接痕迹，因此必须采用适当的方法对配准后的图像进行融合处理，消除两幅图像在拼接过程中所产生的拼接痕迹，使两幅图像的亮度变化均匀，形成一幅分辨率较高的无缝拼接图像。
技术实现思路
针对现有技术存在的不足，本专利技术提出一种基于双目像机的全景图像拼接方法。其创新性在于同时快速、稳定地获取两张覆盖全景的鱼眼图像，利用改进的经纬度校正法，提高图像校正精度，并将校正图像投影到同一坐标系，提取重叠区域特征点进行匹配，最后使用线性融合消除重影和变化生硬问题。为了实现上述技术目的，本专利技术采用的技术方案是：一种基于双目像机的全景图像拼接方法，包括以下步骤：S1、将双目像机置于空间内某一视点处，两镜头视角均为180°～220°的超广角镜头，分别负责空间内全景图像的前后视角拍摄，完成一次拍摄同时获取两张鱼眼图像；S2、对采集的两幅鱼眼图像进行畸变校正；S3、将畸变校正后的两幅不同视角的鱼眼图像投影到同一球面坐标系下，采用球面正投影的方法，使鱼眼图像能够覆盖整个视点空间；S4、基于SIFT特征点检测法提取两投影图像重叠区域内的特征点，利用K-D树的搜集策略查找特征点的最邻近欧氏距离进行特征点匹配，并用RANSAC算法对特征点去噪和消除误匹配点，完成图像拼接。本专利技术中，S2的方法是将经纬度校正方法中球面上经纬度看作水平经度和垂直经度，采用逆向映射的方法，由平面二维目标图像出发，反向计算鱼眼图像上对应点，利用等距成像模型和球面投影建立鱼眼图像与校正图像之间的对应关系，然后通过双线性插值算法计算相应像素值，从而实现畸变校正。本专利技术的S2对采集的两幅鱼眼图像进行畸变校正，通过以下步骤实现：S21根据鱼眼镜头球面模型成像几何性质，对真实空间内的直线在鱼眼图像上对应的畸变弧线进行采样，然后根据采样点拟合椭圆方程，并求得拟合椭圆的中心位置(x0,y0)及长轴半径R，从而确定光学中心与球面半径，方法如下：a.在鱼眼图像中畸变弧线上等间隔采样，然后随机选取10个采样点，并记录采样点对应的行列坐标；b.采用最小二乘法确定椭圆系数，根据椭圆参数方程得到椭圆中心和长轴半径值；假设椭圆参数方程为Ax2+2Bxy+Cy2+Dx+Ey+F＝0其中A、B、C、D、E、F均为椭圆方程参数，A、C均为正数，且B2＜AC，根据采样点的行列坐标代入利用最小二乘法确定椭圆方程参数，再代入下列公式求得椭圆中心和长轴半径：C.在鱼眼图像中畸变弧线上采用a步骤相同的方法进行两次以上的重复采样，并利用b步骤中的方法获得相应的椭圆中心和长轴半径值；d.求取多次重复采样后获得的多个椭圆中心和长轴半径值的平均值，将椭圆中心和长轴半径的平均值作为拟合椭圆的中心(x0,y0)和长轴半径R。S22以2R作为校正后图像的行和列数目，通过逆向映射方法，设校正后图像为目标图像，目标图像中一点Pa的坐标为(i,j)，Pb(α,β)为Pa(i,j)在半球面双经度俯视图中对应的逆向映射点，点Pc(x,y,z)为Pb(α,β)在xoy平面的投影点，Pd为目标图像中点Pa在鱼眼图像中对应的点，Pd在鱼眼图像坐标系中所对应的坐标为(u,v)，其中点Pb在xoz平面和yoz平面上的投影点分别为p1、p2，op1与x轴正向夹角和op2与y轴正向夹角分别为θ，Pb在球面上的双经度坐标为(α,β)，则存在关系式：联立(3)式和(4)式得到球面三维坐标系下的点与校正后图像坐标系下对应点的转化关系如(5)式所示：再根据鱼眼镜头的等距投影模型，得到鱼眼图像与球面点之间的映射关系为：通过式(5)和(6)反向查询，找出校正后图像上各坐标点与鱼眼图像中对应点之间的像素灰度一一对应关系，然后对鱼眼图像上对应点进行双线性插值得到畸变校正图像上相应点的灰度值，最终完成双经度图像畸变校正。进一步地，本专利技术还包括S5，采用线性融合的方法，通过对图像重叠区域进行加权处理，将重叠区域中的像素与两幅图像的位置关系作为权重信息，对拼接后的图像进行融合，避免图像过渡区域出现颜色和场景变化生硬的现象，从而达到自然过渡的效果。如果经S4拼接之后的两图I本文档来自技高网...

【技术保护点】
一种基于双目像机的全景图像拼接方法，其特征在于，包括以下步骤：S1、将双目像机置于空间内某一视点处，两镜头视角均为180°～220°的超广角镜头，分别负责空间内全景图像的前后视角拍摄，完成一次拍摄同时获取两张鱼眼图像；S2、对采集的两幅鱼眼图像进行畸变校正；S3、将畸变校正后的两幅不同视角的鱼眼图像投影到同一球面坐标系下，采用球面正投影的方法，使鱼眼图像能够覆盖整个视点空间；S4、基于SIFT特征点检测法提取两投影图像重叠区域内的特征点，利用K‑D树的搜集策略查找特征点的最邻近欧氏距离进行特征点匹配，并用RANSAC算法对特征点去噪和消除误匹配点，完成图像拼接。

【技术特征摘要】
1.一种基于双目像机的全景图像拼接方法，其特征在于，包括以下步骤：S1、将双目像机置于空间内某一视点处，两镜头视角均为180°～220°的超广角镜头，分别负责空间内全景图像的前后视角拍摄，完成一次拍摄同时获取两张鱼眼图像；S2、对采集的两幅鱼眼图像进行畸变校正；S3、将畸变校正后的两幅不同视角的鱼眼图像投影到同一球面坐标系下，采用球面正投影的方法，使鱼眼图像能够覆盖整个视点空间；S4、基于SIFT特征点检测法提取两投影图像重叠区域内的特征点，利用K-D树的搜集策略查找特征点的最邻近欧氏距离进行特征点匹配，并用RANSAC算法对特征点去噪和消除误匹配点，完成图像拼接。2.根据权利要求1所述的基于双目像机的全景图像拼接方法，其特征在于，还包括S5，采用线性融合的方法，通过对图像重叠区域进行加权处理，将重叠区域中的像素与两幅图像的位置关系作为权重信息，对拼接后的图像进行融合，避免图像过渡区域出现颜色和场景变化生硬的现象，从而达到自然过渡的效果。3.根据权利要求1或2所述的基于双目像机的全景图像拼接方法，其特征在于，S2中将经纬度校正方法中球面上经纬度看作水平经度和垂直经度，采用逆向映射的方法，由平面二维目标图像出发，反向计算鱼眼图像上对应点，利用等距成像模型和球面投影建立鱼眼图像与校正图像之间的对应关系，然后通过双线性插值算法计算相应像素值，从而实现畸变校正。4.根据权利要求1或2所述的基于双目像机的全景图像拼接方法，其特征在于，S2包括以下步骤：S21根据鱼眼镜头球面模型成像几何性质，对真实空间内的直线在鱼眼图像上对应的畸变弧线进行采样，然后根据采样点拟合椭圆方程，并求得拟合椭圆的中心位置(x0,y0)及长轴半径R，从而确定光学中心与球面半径；S22以2R作为校正后图像的行和列数目，通过逆向映射方法，设校正后图像为目标图像，目标图像中一点Pa的坐标为(i,j)，Pb(α,β)为Pa(i,j)在半球面双经度俯视图中对应的逆向映射点，点Pc(x,y,z)为Pb(α,β)在xoy平面的投影点，Pd为目标图像中点Pa在鱼眼图像中对应的点，Pd在鱼眼图像坐标系中所对应的坐标为(u,v)，其中点Pb在xoz平面和yoz平面上的投影点分别为p1、p2，op1与x轴正向夹角和op2与y轴正向夹角分别为θ，Pb在球面上的双经度坐标为(α,β)，则存在关系式：联立(3)式和(4)式...

【专利技术属性】
技术研发人员：罗文峰，
申请(专利权)人：深圳市优象计算技术有限公司，
类型：发明
国别省市：广东,44