基于泰勒级数模型的全向立体视觉三维重建方法技术

本发明专利技术公开了一种基于泰勒级数模型的全向立体视觉三维重建方法。该方法的步骤包括：相机标定：利用泰勒级数模型对全向视觉传感器进行标定，得到相机内参；对极几何关系求取：包括计算双目全向相机之间的本质矩阵，并从中提取相机的旋转和平移分量；外极线校正：对所拍摄的全向立体图像对进行外极线校正，使校正后的极二次曲线与图像扫描线重合；三维重建：对校正后的立体图像对进行特征点匹配，根据匹配结果计算点的三维坐标。本发明专利技术可适用于各种全向视觉传感器，具有适用面广，精度高的特点；可在全向视觉传感器参数未知的情况下进行有效的三维重建。

【技术实现步骤摘要】

本专利技术涉及获取360度范围内场景三维信息的计算机视觉方法，具体涉及 一种。
技术介绍
作为一种感知环境的特殊成像机制，全向视觉传感器克服了传统相机只能 对局部环境感知的缺点，在越来越多的领域得到广泛应用，如安全监控、视频 会议、基于图像的建模和机器人导航等。目前各种全向成像方式中，折反射系 统是获得360。视场最简单快捷的方法。它由普通相机与反射镜面组成。例如， 它可由双曲镜面、椭圆镜面或圆锥面和透视相机组成，也可由抛物镜面与正交 相机组成，还可以是二次折射二次反射的全景环形透镜的配置。如果要使所成 的全向图像在局部可以与普通透视相机所成的图像等效，折反射系统中的相机 与镜面之间要满足一定的位置关系以符合单视点约束的限制。这些不同的全向 视觉传感器有着不同的成像模型和计算方法，传统的研究方法是针对每一种特 定的镜面模型进行解析求解出模型参数，过程繁琐且不具备通用性。许多学者试图找出能够囊括所有满足单视点约束折反射系统的统一模型， 并取得了一定的进展。目前应用最多的主要有四种统一模型(1)基于球面的统 一模型三维空间中的点首先中心投影到单位球面上，然后从北极点和球心之 间的某点透视投影到与光轴垂直的平面上。所有满足单视点约束的折反射相机, 都能用这个球面模型等效。同时，也提出了很多对该模型的摄像机标定算法。(2) 一般相机模型对每个抽样像素通过一个查找表与一条三维光线相关联，最后插 值得到成像的近似离散模型。(3)基于径向失真模型图像像素在三维空间中对应的点只与它相对失真中心的径向距离有关，这是对普通相机径向校正的推广。(4)基于泰勒级数模型它不要求折反射系统的具体镜面类型，将三维光线与图 像像素之间的对应关系用某个幂次的泰勒级数近似，全向相机的标定只需求解 这个多项式的系数即可获得内参。在上述这些建模方法中，查找表的方法过于繁琐，不具有实用性；基于径 向失真的方法过于理想化，精确性不足，而对于球面模型方法来说，试图去解 析地求解镜面参数与相机的内参，最为精确。但须预知有关相机的参数，如镜 面参数的初值、焦距、视场等。但有时这种先验信息是很难获得的，如SONY公司的RPU-C251全向相机并未给出有关的相机参数。基于泰勒级数的全向视觉模型是目前唯一能够真正做到未知参数下对各种全向视觉传感器建模的方法，它不依赖于具体的镜面模型和参数，而是用某幂次的泰勒级数来逼近全向相机的成像过程。但遗憾的是，有关该模型应用的进一步研究目前为止尚未见诸任何报道。
技术实现思路
本专利技术的目的在于提供一种基于泰勒级数模型的全向立体视觉三维重建方 法，建立了一套完整的全向立体视觉框架，推导了基于该模型的对极几何关系， 在标定得到的多项式空间中，提出了任意双目立体视觉配置下的本质矩阵计算 方法。提出了一种基于本质矩阵和保角映射的全向视觉外极线校正方法。最后， 根据特征点匹配结果，推导了到三维点的映射关系。本专利技术采用的技术方案的步骤包括 (1)相机标定利用泰勒级数模型对全向视觉传感器进行标定，得到相机内参；(2) 对极几何关系求取包括计算双目全向相机之间的本质矩阵，并从中提 取相机的旋转和平移分量；(3) 外极线校正对所拍摄的全向立体图像对进行外极线校正，使校正后的 极二次曲线与图像扫描线重合；(4) 三维重建对校正后的立体图像对进行特征点匹配，根据匹配结果计算 点的三维坐标。所述的利用泰勒级数模型的全向视觉传感器标定是利用平面上的已知三维 点及其它在图像上的对应点，进行两步最小二乘计算，先后得到了相机与平面 的旋转和平移、相机的内参，也就是泰勒级数的系数和阶次。所述的对极几何关系求取，是基于泰勒级数模型的，只需图像平面到二次 曲面空间的一次性投影，求解本质矩阵，并根据场景的先验知识，提取相机的 旋转和平移分量。所述的全向立体图像对的外极线校正是基于本质矩阵和保角映射的外极线 校正算法。所述的三维重建包含以下步骤(1) 特征点匹配对校正后的全向立体图像对进行特征点匹配，特征点提取算法是SIFT角点或Harris角点；(2) 校正图像坐标一原始图像坐标的投影变换将校正图像上的匹配点坐标经过双极坐标变换和仿射变换，得到其在原始图像上的坐标；(3) 原始图像坐标一镜面点坐标的投影变换由泰勒级数模型给出；(4) 三维空间点一镜面点的投影变换假设世界坐标系与左相机镜面坐标系 重合，根据从本质矩阵中分解出的旋转和平移分量，计算三维点到泰勒级数模 型镜面的投影变换矩阵；(5) 根据三维空间点到泰勒级数模型镜面的投影变换矩阵，用最小二乘求出 三维空间点的坐标。本专利技术具有的有益效果是-1. 本专利技术提出的，可适用 于各种全向视觉传感器，具有适用面广，精度高的特点；2. 本专利技术提出的，可在全 向视觉传感器参数未知的情况下进行有效的三维重建。附图说明图l是本专利技术方法的流程图。图2是基于泰勒级数的全向成像模型。图3是泰勒级数模型下双目全向立体视觉系统的对极几何关系。图4是本质矩阵零空间的两个视角图示。图5是双极坐标系示意图。 具体实施例方式下面结合附图和具体实施方式对本专利技术作进一步描述。图1给出了依照本专利技术进行基于泰勒级数模型的全向三维重建方法流程图。如图1所示，在步骤101中，对所使用的全向视觉传感器进行标定，所采 用的泰勒级数全向成像模型可用图2表示。三维世界中的点A首先投影到镜面 点A，后又成像于图像点A。该模型将各种全向成像方式下三维空间点到图像 平面的非线性映射关系统一用泰勒级数去近似，如下式所示。<formula>formula see original document page 6</formula>其中，^-;i7^是像素点到投影中心的欧氏距离。由于镜面的旋转对称性，泰勒级数中不包含奇次项。根据最小重投影误差 准则，得到某幂次的镜面多项式。这个多项式的系数包括了从图像点到镜面点 的映射关系。该模型的标定借鉴了张正友提出的基于平面模板的标定方法，标定后可得到相机的内参"W， -i…"P"0 。关于泰勒级数模型的标定方法可参考文献1: D.Scammuzza， A Toolbox for Easy Calibrating Omnidirectional Cameras, Proceedings of the IEEE International Conference on Intelligent Robots and Systems, Beijing, China, October 2006.泰勒级数模型避开了精确求解镜面和相机参数的困难，得到的反射模型是一个虚拟的镜面。在实际应用中具有以下优点对相机与镜面之间的对齐偏差 不敏感，任何偏差导致的参数变化只体现在泰勒级数的系数上。同时，也将相 机镜头的失真考虑在内。如图1所示，在步骤102中，对所采用的全向立体视觉相机进行对极几何 关系计算。对极几何描述了进行三维重建的二个相机之间的位置关系，同时也 约束了对应点在二幅图像上的投影位置，从而可将同名点的搜索从二维图像降低到一维的直线或曲线上。图3给出了二个全向相机组成的双目立体视觉系统。镜面坐标系原点分别为O,m,02m，假设三维世界点A在左右两个相机分别成像于为化，p22。根据泰勒级数模型，镜面上的对应点分别本文档来自技高网...

【技术保护点】
一种基于泰勒级数模型的全向立体视觉三维重建方法，其特征在于，该方法的步骤如下：　（１）相机标定：利用泰勒级数模型对全向视觉传感器进行标定，得到相机内参；　（２）对极几何关系求取：包括计算双目全向相机之间的本质矩阵，并从中提取相机的旋转和平移分量；　（３）外极线校正：对所拍摄的全向立体图像对进行外极线校正，使校正后的极二次曲线与图像扫描线重合；　（４）三维重建：对校正后的立体图像对进行特征点匹配，根据匹配结果计算点的三维坐标。

【技术特征摘要】

【专利技术属性】
技术研发人员：杜歆，颜瑞，雷杰，朱云芳，刘济林，刘加海，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]