一种基于正弦曲线拟合的全景视觉罗盘估计方法及其应用技术

本发明专利技术提供了一种基于正弦曲线拟合的相机姿态估计方法及其应用，可应用于机器人的定位与导航中，属于机器人技术领域。本发明专利技术首先将由全向相机得到的全向图片转换为全景图片，然后利用滑动窗口法将全景图片转换为子图集合，通过傅里叶梅林变换计算出两帧图片的对应子图集合之间的运动向量集合。随后以列数为自变量，运动向量为因变量，拟合出正弦曲线，得到其幅值、相位和位移参数，利用这些参数可估算得相机的横滚、俯仰和偏航角。最后通过链式法则，得到每一帧对应的相机朝向。

【技术实现步骤摘要】
一种基于正弦曲线拟合的全景视觉罗盘估计方法及其应用
本专利技术涉及一种基于正弦曲线拟合的相机姿态估计方法及其应用方法。
技术介绍
自21世纪初以来，视觉罗盘技术被广泛用于机器人定位与导航、视觉伺服与返航等领域。目前常用的视觉罗盘技术主要分为基于光度不变法，基于特征点法和基于图像整体的方法这三大类型。其中基于光度不变法和图像整体的方法，多在计算得出像素移动之后，利用其与图片大小的关系，辅之以已知相机视场角，从而估算出相机的旋转角度，该类方法通常用于相机在二维平面运动的情况；基于特征点的方法，则在完成特征匹配得到点对之后，利用对极几何约束，求得图片之间的相对关系，该类方法可适用于相机在三维空间运动，但是特征匹配的过程往往花费较多的计算资源。此外，目前这三种方法的应用环境均有所限制：基于光度不变假设的方法在光照差异较大的场景下无法适用，如从室内到室外、天气变化等；基于特征点的方法在特征较少或难以描述的状况下使用受限，如大雾、水下或草坪等；基于图像整体的方法对于相机不具有通用性，即图像差异较大时，估算的相机旋转误差也会较大。相较于小孔相机，全向相机可以从多个方向获得周围环境的信息，其描述的环境场景更为丰富全面，因此利用全向相机进行视觉定位(包括位置与姿态)时更加鲁棒和准确。目前，基于全向相机的视觉罗盘估计方法多采用基于图像整体和特征的方法，部分方法为了提高鲁棒性，增加了后端优化，同时也增加的计算量。正如上文中所述，这类方法要么只能应用于平面运动，要么对计算资源提出了较高的要求，无法满足现代机器人的实际应用。此外，这些方法对于环境(光照、天气、特征的丰富程度)的要求也限制了机器人的普适性。
技术实现思路
本专利技术的目的是：提供一种既可以鲁棒且准确地估计相机的姿态，又可以保证计算速度的视觉罗盘技术。为了达到上述目的，本专利技术的技术方案是提供了一种基于正弦曲线拟合的全景视觉罗盘估计方法，其特征在于，包括以下步骤：步骤1、将由全向相机得到的全向图片转换为全景图片；步骤2、对每一张全景图片，利用固定大小为L×L的滑动窗口以固定的步长d将其裁剪成一系列的子图数据集，记为为第i张全景图片裁剪而成的子图数据集，为子图数据集中第n张子图；步骤3、通过傅里叶-梅林变换计算出相邻两帧全景图片的对应子图数据集之间的运动向量集合，计算时，认为相邻两帧全景图片的对应子图数据集中的子图一一对应；步骤4、对运动向量集合中的各运动量进行曲线拟合以进行相机的姿态估算，包括以下步骤：步骤401、将全向相机的姿态估计问题，建模成正弦曲线拟合的问题，即目标函数式为：式(3)中，x是需要拟合的数据，y是观测值，ω为已知参数，A是待估计的幅值，B是待估计的偏移，φ是待估计的相移；步骤402、将式(3)的目标函数写作两个子目标函数，分别为：关于旋转轴在x-y平面的旋转向量Rxy的子函数：和关于旋转轴为轴的旋转向量Rz的子函数：式(4)中，uj为第j个子图的中心在原全景图片中对应的列数；Δvj、Δθj分别是相邻两帧全景图片的对应子图数据集中的两个相对应的第j个子图在v方向上的平移和两者间的旋转角度；tz为全向相机在z轴方向上的平移；为Rxy的旋转轴与x轴的夹角，为Rxy的旋转轴与y轴的夹角；γ代表一个像素点对应的视角；λ为未知的平移尺度参数；η为联合优化权重系数；式(5)中，txy为全向相机在x-y平面上的平移，为txy与x轴的夹角；步骤403、利用式(4)所示的子函数以及式(5)所示的子函数，以及步骤3得到的运动向量集合，估算出两帧全景图片之间的三自由度旋转向量(Rx,Ry,Rz)；步骤404、获得两帧全景图片之间的三自由度旋转向量后，根据链式法则得到每一帧全景图片相对于第一帧全景图片的旋转角度，即全向相机的相机姿态。优选地，步骤1中，通过笛卡尔坐标与极坐标之间的变换将所述全向图片变换为所述全景图片，全向图片上任意一点(u,v)与全景图片上对应点(u′,v′)的变换公式如下式(1)及下式(2)所示：式(1)及式(2)中，W和H分别为全景图片的宽度和高度，R1和R2分别是全向图片有效信息区域的内径和外径。优选地，步骤3中，计算相邻两帧全景图片的对应子图数据集中每个相对应子图的运动向量，子图数据集中所有子图的运动向量构成了所述运动向量集合；设子图数据集中第j张子图为子图数据集中第j张子图为则子图与子图的运动向量的计算方法包括以下步骤：步骤301、对子图和子图做傅里叶变换，得到子图及子图的频谱；步骤302、计算步骤301得到的频谱的模；步骤303、将步骤302中得到的频谱的模转换到对数极坐标系(log(ρ),θ)，得到重采样的频谱其中，ρ是半径坐标，θ是旋转角度；步骤304、通过纯相位匹配滤波器计算和之间的相位图，并通过相位图上的峰值坐标计算出旋转参数Δθj和尺度参数Δsj；步骤305、根据得到的旋转参数Δθj和尺度参数Δsj，将子图重新放缩、旋转，得到子图步骤306、通过纯相位匹配滤波器计算出子图和子图的相位图，并根据峰值坐标得到平移参数Δuj、Δvj；步骤307、步骤304得到的旋转参数、尺度参数以及步骤306得到的平移参数组成了子图与子图的运动向量(Δuj,Δvj,Δθj,Δsj)。优选地，步骤307中，从得到的运动向量(Δuj,Δvj,Δθj,Δsj)中选择(Δuj,Δvj,Δθj)作为最终的有效运动向量组成所述运动向量集合。本专利技术的另一个技术方案是提供了一种上述的基于正弦曲线拟合的全景视觉罗盘估计方法在机器人的定位与导航中的应用。本专利技术与现有的对极几何方法不同，本专利技术充分利用了全向相机的特性，提出了一种全新曲线拟合的方法来实现相机的姿态估算。与其他基于特征点和基于图像整体的方法相比，本专利技术利用基于频域的方法计算运动向量，不受场景特征点稠密程度的影响，提高了本专利技术的普适性；通过曲线拟合的方法，使得本专利技术更加鲁棒并且可以在廉价相机上也取得不错的效果。与之前的工作相比(H.Kuang,Q.Xu,X.Long,andS.Schwertfeger,“Poseestimationforomni-directionalcamerasusingsinusoidfitting,”in2019IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems(IROS),Nov2019,pp.900–906.)，本专利技术的主要创新有两点：一是利用子图之间的旋转Δθj与平移Δvj作为联合优化目标函数，提高了视觉罗盘的精度与鲁棒性；二是本专利技术可以估算三维空间中任意旋转的三自由度旋转向量，而之前的工作只能估计单一的横滚、俯仰或者偏航角，即本专利技术较之前的工作极大地拓展了应用范围。附图说明图1为全向图片示例；图2为全景图片示例；图3为本专利技术的流程图；<本文档来自技高网...

【技术保护点】
1.一种基于正弦曲线拟合的全景视觉罗盘估计方法，其特征在于，包括以下步骤：/n步骤1、将由全向相机得到的全向图片转换为全景图片；/n步骤2、对每一张全景图片，利用固定大小为L×L的滑动窗口以固定的步长d将其裁剪成一系列的子图数据集，记为

【技术特征摘要】
1.一种基于正弦曲线拟合的全景视觉罗盘估计方法，其特征在于，包括以下步骤：
步骤1、将由全向相机得到的全向图片转换为全景图片；
步骤2、对每一张全景图片，利用固定大小为L×L的滑动窗口以固定的步长d将其裁剪成一系列的子图数据集，记为为第i张全景图片裁剪而成的子图数据集，为子图数据集中第n张子图；
步骤3、通过傅里叶-梅林变换计算出相邻两帧全景图片的对应子图数据集之间的运动向量集合，计算时，认为相邻两帧全景图片的对应子图数据集中的子图一一对应；
步骤4、对运动向量集合中的各运动量进行曲线拟合以进行相机的姿态估算，包括以下步骤：
步骤401、将全向相机的姿态估计问题，建模成正弦曲线拟合的问题，即目标函数式为：



式(3)中，x是需要拟合的数据，y是观测值，ω为已知参数，A是待估计的幅值，B是待估计的偏移，φ是待估计的相移；
步骤402、将式(3)的目标函数写作两个子目标函数，分别为：关于旋转轴在x-y平面的旋转向量Rxy的子函数：



和关于旋转轴为轴的旋转向量Rz的子函数：



式(4)中，uj为第j个子图的中心在原全景图片中对应的列数；Δvj、Δθj分别是相邻两帧全景图片的对应子图数据集中的两个相对应的第j个子图在v方向上的平移和两者间的旋转角度；tz为全向相机在z轴方向上的平移；为Rxy的旋转轴与x轴的夹角，为Rxy的旋转轴与y轴的夹角；γ代表一个像素点对应的视角；λ为未知的平移尺度参数；η为联合优化权重系数；
式(5)中，txy为全向相机在x-y平面上的平移，为txy与x轴的夹角；
步骤403、利用式(4)所示的子函数以及式(5)所示的子函数，以及步骤3得到的运动向量集合，估算出两帧全景图片之间的三自由度旋转向量(Rx,Ry,Rz)；
步骤404、获得两帧全景图片之间的三自由度旋转向量后，根据链式法则得到每一帧全景图片相对于第一帧全景图片的旋转角度，即全向相机的相机姿态。


2.如权利要求1所述的一种基于正弦曲...

【专利技术属性】
技术研发人员：师泽仁，徐晴雯，龙肖灵，旷皓飞，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：上海;31