多视图相机位姿和场景的纯位姿解算方法及系统技术方案

本发明专利技术提供了一种多视图相机位姿和场景的纯位姿解算方法及系统，包括：纯旋转异常识别步骤：对所有视图进行纯旋转异常识别，对纯旋转异常的视图进行标记，得到标记视图和非标记视图；全局位移线性计算步骤：从非标记视图中选择一幅作为参考视图，构建约束t

The method and system of pose only solution for multi view camera and scene

【技术实现步骤摘要】
多视图相机位姿和场景的纯位姿解算方法及系统
本专利技术涉及计算机视觉领域，具体地，涉及一种多视图相机位姿和场景的纯位姿解算方法及系统。
技术介绍
一直以来，相机位姿与场景结构的恢复是计算机视觉中运动恢复结构的核心部分。在传统的多视图几何描述下，相机位姿和场景结构的恢复需要进行全局参数的初始化和集束调整(BundleAdjustment，BA)。一方面，全局参数初始化的目的是为BA集束调整优化提供初值，主要分为全局姿态、全局位移和三维场景点坐标的初始化，其中难点在于全局位移的初始化方面。传统的全局位移方法一般以双视图相对位移为输入，通过代数误差最小来优化全局位移，在相机纯旋转或共线运动等情况下会出现异常。另一方面，BA集束调整优化以重投影误差最小为优化目标，参数空间包括三维场景点坐标、位姿参数及相机参数等。对于m个三维场景点和n幅图像的情形，优化参数的空间维数为3m+6n。由于三维场景点的数目通常很大，造成待优化的参数空间维数巨大。专利文献CN106408653A公开了一种面向大规模三维重建的实时鲁棒的集束调整方法，目前集束调整的主流方法本文档来自技高网...

【技术保护点】
1.一种多视图相机位姿和场景的纯位姿解算方法，其特征在于，包括：/n纯旋转异常识别步骤：对所有视图进行纯旋转异常识别，对纯旋转异常的视图进行标记，得到标记视图和非标记视图；/n全局位移恢复步骤：从非标记视图中选择一幅作为参考，构建约束t

【技术特征摘要】
1.一种多视图相机位姿和场景的纯位姿解算方法，其特征在于，包括：
纯旋转异常识别步骤：对所有视图进行纯旋转异常识别，对纯旋转异常的视图进行标记，得到标记视图和非标记视图；
全局位移恢复步骤：从非标记视图中选择一幅作为参考，构建约束tr＝0，构建全局位移线性约束，求解全局位移根据tr和恢复标记视图的全局位移，并筛选全局位移的正确解；
三维场景恢复步骤：根据全局位姿的正确解，解析恢复所有3D点的坐标。


2.根据权利要求1所述的多视图相机位姿和场景的纯位姿解算方法，其特征在于，所述纯旋转异常识别步骤包括：
步骤11：考虑视图i，1≤i≤N，对于视图j∈Vi，利用双视图(i,j)上的所有图像匹配点对(Xi,Xj)以及相对姿态Ri,j，计算θi,j＝||[Xj]×Ri,jXi||，并构成集合Θi,j和记集合Θi中大于δ1的比例为γi；
步骤12：若γi＜δ2，标记视图i为纯旋转异常视图，记Θi，j集合中元素的均值为取构建约束ti＝tl；
其中，若3D点XW＝(xW,yW,zW)T在n(≤N)幅视图中可视，对于i＝1,2,…,n,Vi为所有与视图i共视的视图构成的集合，Xi和Xj分别表示点XW在视图i和视图j上的归一化图像坐标，δ1和δ2为设定的阈值，Ri和ti分别表示视图i的全局姿态和全局位移，和ti,j分别表示双视图(i,j)的相对姿态和相对位移，[Xj]×表示由向量Xj构成的反对称矩阵；
步骤13：对所有视图重复步骤11-步骤12。


3.根据权利要求2所述的多视图相机位姿和场景的纯位姿解算方法，其特征在于，所述全局位移恢复步骤包括：
步骤21：对于当前3D点，选择视图其中视图为左基准视图，η为右基准视图；
步骤22：对于所有的非标记视图，按照形如构建GTL全局位移线性约束；
3D点XW在视图i上的图像归一化坐标有其中～表示齐次坐标下的等式，其中上标T表示矩阵或向量的转置；为了线性求解全局位移，定义不同的目标函数形式；
另外，由于相对位移ti,j关于全局位移具有不同形式，因此矩阵B、C和D也相应地具有不同形式：
(1)对于目标函数[Xi]×Yi＝0和相对位移ti,j＝Rj(ti-tj)，D＝-(B+C)；
(2)对于目标函数和相对位移ti,j＝Rj(ti-tj)，D＝-(B+C)；
(3)对于目标函数[Xi]×Yi＝0和相对位移ti,j＝tj-Ri,jti，
(4)对于目标函数和相对位移ti,j＝tj-Ri,jti，
步骤23：对于其它3D点，重复步骤21-步骤22，构建线性方程，求解全局位移
步骤24：利用和tr，根据ti＝tl恢复标记视图的全局位移；
步骤25：根据筛选全局位移t的正确解。


4.根据权利要求3所述的多视图相机位姿和场景的纯位姿解算方法，其特征在于，所述全局位移恢复步骤与所述三维场景恢复步骤之间还包括相机位姿优化步骤：
3D点XW在视图i上的图像齐次坐标fi表示为



其中～表示齐次坐标下的等式，定义重投影误差为



其中为3D点在视图i上的图像坐标且第三元素为1，对于该3D点的所有视图，构成重投影误差向量ε，对于所有3D点，构成误差向量Σ，全局位姿优化的目标函数描述为argminΣT∑，据此进行全局位姿的优化求解；
或者，将所述相机位姿优化步骤替换为经典BA集束调整算法，此时三维场景点坐标既使用经典BA集束调整算法的输出结果，或利用SAR三维场景解析恢复步骤得到。


5.根据权利要求3所述的多视图相机位姿和场景的纯位姿解算方法，其特征在于，所述三维场景恢复步骤包括：
多视图下三维场景结构通过相机位姿进行解析加权重建；
对于当前3D点，在左基准视图中的景深计算为



在右基准视图中的景深计算为



其中和ωj,η表示加权系数；
据此解析恢复出所有3D点的坐标，或利用右视图景深解析恢复3D点坐标，或者取以上两种3D点...

【专利技术属性】
技术研发人员：武元新，蔡奇，张礼廉，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31