一种基于多相机标定的全景拼接方法、全景拼接系统技术方案

本发明专利技术属于全景拼接技术领域，公开了一种基于多相机标定的全景拼接方法、全景拼接系统，对各相机分别进行内参标定以及畸变参数估计；分别对每相邻两相机同时采集不同位姿的棋盘格图片若干对，对成对的棋盘格图片畸变校正后进行角点检测与匹配；内点筛选并估计出两两相机之间的初始单应矩阵；通过两相机之间的初始单应矩阵和标定得到的内参矩阵，计算出两相机之间的初始旋转矩阵；根据重投影误差最小对所有相机对之间的初始旋转矩阵进行全局优化，并用L‑M算法更新参数得到最终的优化结果。本发明专利技术利用多相机标定方法制作拼接模板，避免了每次拼接需要进行特征点提取和匹配的过程，而且在特征点少或者重叠率低的情况下，仍然获得较好的拼接效果。

【技术实现步骤摘要】
一种基于多相机标定的全景拼接方法、全景拼接系统
本专利技术属于全景拼接
，尤其涉及一种基于多相机标定的全景拼接方法、全景拼接系统。
技术介绍
目前，业内常用的现有技术是这样的：随着虚拟现实(VR)的不断发展，全景拼接也成为计算机视觉领域的研究热点。全景技术作为虚拟现实最直观、最低成本的实现方式已在多个领域得到了广泛的应用。而对于图像拼接算法，基于特征点检测与匹配的拼接算法仍然是主流算法，通过图像对的特征点提取与匹配，根据特征点的匹配情况可得到图像变换模型，常用的图像变换模型有仿射变换模型、透视变换模型等，用所得到的模型对所有待拼接的图像进行变换，最后在重叠区域进行融合后得到一副首尾相接的全景图。目前最常用的拼接算法一般通过经典的SIFT算法提取点特征，SIFT特征点对图像的尺度变化、旋转变化、光照变化等保持不变，对仿射变换也有一定的不变性，是广泛采用的特征点提取方法之一，但是其复杂度高，计算速度较慢；在匹配过程中，使用特征向量之间距离的最近邻和次近邻之比来判断特征点是否匹配；然后利用RANSAC算法剔除误匹配对，估算出图像间的单应矩阵；最后根据生成的图像变换模型进行相应的图像变本文档来自技高网...

【技术保护点】
1.一种基于多相机标定的全景拼接方法，其特征在于，所述基于多相机标定的全景拼接方法包括：对各相机分别进行内参标定以及畸变参数估计；分别对每相邻两相机同时采集不同位姿的棋盘格图片若干对，对成对的棋盘格图片畸变校正后进行角点检测与匹配；内点筛选并估计出两两相机之间的初始单应矩阵；通过两相机之间的初始单应矩阵和标定得到的内参矩阵，计算出两相机之间的初始旋转矩阵；根据重投影误差最小对所有相机对之间的初始旋转矩阵进行全局优化，并用L‑M算法更新参数得到最终的优化结果。

【技术特征摘要】
1.一种基于多相机标定的全景拼接方法，其特征在于，所述基于多相机标定的全景拼接方法包括：对各相机分别进行内参标定以及畸变参数估计；分别对每相邻两相机同时采集不同位姿的棋盘格图片若干对，对成对的棋盘格图片畸变校正后进行角点检测与匹配；内点筛选并估计出两两相机之间的初始单应矩阵；通过两相机之间的初始单应矩阵和标定得到的内参矩阵，计算出两相机之间的初始旋转矩阵；根据重投影误差最小对所有相机对之间的初始旋转矩阵进行全局优化，并用L-M算法更新参数得到最终的优化结果。2.如权利要求1所述的基于多相机标定的全景拼接方法，其特征在于，所述基于多相机标定的全景拼接方法包括以下步骤：步骤一、对每个相机分别进行内参标定与畸变系数求解；步骤二、每相邻的两个相机为一组，分别进行外参标定数据采集，即同时采集不同位姿的棋盘格标定板图片15对左右；若因两相机之间重叠区域小，无法保证棋盘格图片被两相机同时拍全，进行步骤三的操作；若可以保证图片中棋盘格的完整性，则直接跳至步骤四；步骤三、对于安全距离较大的两个相邻相机A、B，在两相机之间置放第三相机C，分别对A、C相机和B、C相机同时采集不同位姿的棋盘格图片若干对；步骤四、对成对的棋盘格图片畸变校正后进行角点检测，然后按照棋盘格角点规则的分布关系进行一一匹配；步骤五、用RANSAC算法进行内点筛选并估计出相邻两相机之间的初始单应矩阵；通过这两相机之间的初始单应矩阵和标定得到的内参矩阵，计算出两相机之间的初始旋转矩阵；步骤六、根据重投影误差最小对所有相机之间的旋转矩阵进行全局优化，并用L-M算法更新参数得到最终的优化结果。3.如权利要求2所述的基于多相机标定的全景拼接方法，其特征在于，所述步骤一中对每个相机分别进行内参标定具体包括：采用标定中常用张氏标定法，采集20幅处于不同位姿的棋盘格标定板图像，在每幅图像上进行角点检测，计算标定所用图像和棋盘格之间的单应变换H，利用棋盘格的几何关系，建立各视图图像中各角点的对应关系；棋盘格上的所有角点的空间坐标是满足共面约束的，假设其Z坐标为0，对单应性进行计算：其中，u，v为角点的像素坐标，X，Y为角点在棋盘格上的空间坐标；将H进行分解，得到：H＝sK[r1r2t]；其中，r1，r2，t位棋盘的位置姿态，s为标量系数，K为相机的内参数矩阵；然后利用r1和r2的正交性求解K。4.如权利要求2所述的基于多相机标定的全景拼接方法，其特征在于，所述步骤一中对每个相机求解其畸变系数，具体包括：用以全景拼接的相机镜头基本上为超广角镜头甚至鱼眼镜头，其图像存在严重的畸变失真，为了求解相机的畸变系数，假设相机成像模型为鱼眼模型；鱼眼相机成像时遵循的模型可以近似为单位球面投影模型，即第一步，三维空间点线性地投影到一个球面上，它是一个虚拟的单位球面，球心与相机坐标系的原点重合；第二步单位球面上的点投影到图像平面上；最常用的鱼眼相机模型为等距投影模型：r＝fθ；上述式子中，r表示鱼眼图像中点到畸变中心的距离，f是鱼眼相机的焦距，θ是入射光线与鱼眼相机光轴之间的夹角，即入射角；为了方便鱼眼相机的标定，通常使用一种鱼眼相机的一般多项式近似模型；如下：rd＝fθd；θd＝θ(1+k1θ2+k2θ4+k3θ6+k4θ8)；最后利用棋盘格标定板的空间点到图像点之间的投影关系，使用L-M算法使得重投影误差最小来求解出相机的四个畸变系数。5.如权利要求2所述的基于多相机标定的全景拼接方法，其特征在于，所述步骤二外参标定数据采集具体包括：每相...

【专利技术属性】
技术研发人员：贾媛，任海蕾，陈金皖，宋锐，李云松，王养利，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61