一种应用于弱纹理大旋转场景下的相机的位姿求解方法技术

本发明专利技术公开了一种应用于弱纹理大旋转场景下的相机的位姿求解方法，利用传统的SPF方法从偏振图像中恢复出带有模糊性的法线信息，对得到的法线聚类分割出不同的法线平面块，从中提取满足高斯分布的随机像素点若干，并在图像间对像素点追踪，实现图像间的平面匹配，再对分割的平面块内的法线进行基于偏振的RANSAC优化处理，剔除外点后即可得到平面块的平均法线值，同时对图像间的I MU数据预计分，两图像对应的平面块的平均法线值联合由I MU得到的相对姿态实现法线模糊性的去除，再结合线性优化理论从平均法线对中求解出相机姿态。本发明专利技术能解决视觉方法短板，拓展视觉算法的适用范围，在弱纹理大旋转等极端场景下依然能估计相机姿态。计相机姿态。计相机姿态。

【技术实现步骤摘要】
一种应用于弱纹理大旋转场景下的相机的位姿求解方法


[0001]本专利技术涉及相机姿态估计的
，尤其涉及到一种应用于弱纹理大旋转场景下的相机的位姿求解方法。

技术介绍

[0002]相机姿态估计在机器人运动过程具有重要作用，目前广泛应用于机器人自主导航项目当中，是一个具有巨大应用前景的计算机视觉应用领域。
[0003]一般而言，在机器人领域常将相机姿态估计归类为VO(Visual Odometry)问题。在目前VO的研究问题上，基于特征点以及基于光流法的视觉里程计是公认的成熟且鲁棒的VO的方法，但是这些方法要求有丰富的纹理信息，否则无法得到可靠的相机姿态，无法适用于弱纹理大旋转场景下。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的不足，提供一种应用于弱纹理大旋转场景下的相机的位姿求解方法，区别于已有的基于特征点的相机姿态估计的VO算法，本专利技术基于偏振的旋转求解，这有利于解决弱纹理大旋转场景下传统视觉方法不适用问题，从而解决视觉方法短板，拓展视觉算法的适用范围，在弱纹理大旋转等极端场景下依然能鲁棒估计相机姿态。
[0005]为实现上述目的，本专利技术所提供的技术方案为：
[0006]一种应用于弱纹理大旋转场景下的相机的位姿求解方法，包括以下步骤：
[0007]S1、考虑镜面反射与漫反射模型，利用SPF方法从偏振图像中恢复出带有模糊性的法线信息；
[0008]S2、基于相同材质同一平面法线值相近假设，对得到的法线聚类分割出不同的平面块；
>[0009]S3、在得到的平面块中提取满足高斯分布的若干随机像素点，并在图像间对该些像素点追踪，实现图像间的平面匹配；
[0010]S4、对分割的平面块内的法线进行基于偏振的RANSAC优化处理，剔除外点后，得到平面块的平均法线值；同时，对图像间的IMU数据预计分，两图像对应的平面块的平均法线值联合由IMU得到的相对姿态，去除法线模糊性，得到无模糊性的平均法线对；
[0011]S5、结合线性优化方法从无模糊性的平均法线对中求解出相机姿态。
[0012]进一步地，所述步骤S1具体包括：
[0013]利用SFP方法从偏振信息中计算出包含镜面反射与漫反射两种模型的天顶角与方位角值，具体求解公式如下：
[0014][0015]式(1)中，ρ表示偏振度，β表示为天顶角，n表示场景中的折射率，给定偏振度和折射率，由上式得到漫反射场景中的唯一的天顶角；
[0016][0017]式(2)表示镜面反射场景中，天顶角的求解方法，其中给定一个偏振度和折射率，存在两个可能的天顶角；
[0018]求解完天顶角之后，通过下式依次求得场景中的方位角：
[0019][0020]式(3)中，S1为偏振片角度为0时捕获的图像值减去偏振片为90度时的图像值而得到的值，S2为偏振片角度为45时捕获的图像值加上偏振片为135度时的图像值而得到的值；
[0021]利用求得的方位角α及天顶角β求解法线值n，公式如下：
[0022][0023]式(4)中，v
x
为相机坐标系中法线在X轴的分量，v
y
为相机坐标系中法线在X轴的分量，v
z
为相机坐标系中法线在X轴的分量。
[0024]进一步地，所述步骤S2包括：
[0025]将求得的法线从笛卡尔坐标系转换到图像坐标系中，基于相同材质的同一平面法线值相近的事实进行聚类分割，通过比较两法线的欧式距离或余弦相似度实现平面分割，得到不同的平面块。
[0026]进一步地，所述步骤S3包括：
[0027]从分割得到的平面块中，选择偏振度大于设定阈值及面积大于设定阈值的平面块，并在这些平面块中随机生成均匀分布的若干像素点，利用直接法实现图像间像素点的追踪，最终实现不同图像间的平面匹配。
[0028]进一步地，所述步骤S4包括：
[0029]通过相机和IMU外参标定实现两传感器坐标的对齐，同时对齐两传感器时间戳，实现两传感器融合；
[0030]对两帧之间的IMU进行预积分，得到大致旋转ΔR，先对分割得到的平面使用RANSAC算法进一步优化，再求解平面平均天顶角和平均方位角，计算出平均法线值i时刻与i+1时刻图像对应的一组平均法线对满足关系式：
[0031][0032]式(5)中，R为两帧之间变换关系；
[0033]通过考虑法线最小对其误差，消除法线模糊性问题：
[0034][0035]从而得到无模糊性的平均法线对。
[0036]进一步地，所述步骤S5包括：
[0037]将得到的无歧义平均法线对构建最小二乘问题：
[0038][0039]在得到两帧图像中对应平面的平均法线值的关系后，存在：
[0040][0041]利用优化算法实现姿态求解。
[0042]进一步地，所述优化算法包括QR分解、Cholesky分解或奇异值分解算法。
[0043]与现有技术相比，本方案原理及优点如下：
[0044]本方案考虑镜面反射与漫反射模型，利用传统的SPF方法从偏振图像中恢复出带有模糊性的法线信息，基于相同材质同一平面法线值相近假设，对得到的法线聚类分割出不同的法线平面块，在得到的平面块中提取满足高斯分布的随机像素点若干，并在图像间对这些像素点追踪，从而实现图像间的平面的数据关联，再对分割的平面块内的法线进行基于偏振的RANSAC优化处理，剔除外点后即可得到平面块的平均法线值，同时对图像间的IMU数据预计分，两图像对应的平面块的平均法线值联合由IMU得到的相对姿态实现法线模糊性的去除，再结合线性优化理论从平均法线对中求解出相机姿态。
[0045]本方案区别于已有的基于特征点的相机姿态估计的VO算法，基于偏振的旋转求解，这有利于解决弱纹理大旋转场景下传统视觉方法不适用问题，从而解决视觉方法短板，拓展视觉算法的适用范围，在弱纹理大旋转等极端场景下依然能鲁棒估计相机姿态。
附图说明
[0046]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0047]图1为本专利技术一种应用于弱纹理大旋转场景下的相机的位姿求解方法的原理流程图。
具体实施方式
[0048]下面结合具体实施例对本专利技术作进一步说明：
[0049]如图1所示，本实施例所述的一种应用于弱纹理大旋转场景下的相机的位姿求解方法，包括以下步骤：
[0050]S1、考虑镜面反射与漫反射模型，利用SPF方法从偏振图像中恢复出带有模糊性的法线信息；
[0051]本步骤具体包括：
[0052]利用SFP方法从偏振信息中计算出包含镜面反射与漫反射两种模型的天顶角与方位角值，具体求解公式如下：
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于弱纹理大旋转场景下的相机的位姿求解方法，其特征在于，包括以下步骤：S1、考虑镜面反射与漫反射模型，利用SPF方法从偏振图像中恢复出带有模糊性的法线信息；S2、基于相同材质同一平面法线值相近假设，对得到的法线聚类分割出不同的平面块；S3、在得到的平面块中提取满足高斯分布的若干随机像素点，并在图像间对该些像素点追踪，实现图像间的平面匹配；S4、对分割的平面块内的法线进行基于偏振的RANSAC优化处理，剔除外点后，得到平面块的平均法线值；同时，对图像间的IMU数据预计分，两图像对应的平面块的平均法线值联合由IMU得到的相对姿态，去除法线模糊性，得到无模糊性的平均法线对；S5、结合线性优化方法从无模糊性的平均法线对中求解出相机姿态。2.根据权利要求1所述的一种应用于弱纹理大旋转场景下的相机的位姿求解方法，其特征在于，所述步骤S1具体包括：利用SFP方法从偏振信息中计算出包含镜面反射与漫反射两种模型的天顶角与方位角值，具体求解公式如下：式(1)中，ρ表示偏振度，β表示为天顶角，n表示场景中的折射率，给定偏振度和折射率，由上式得到漫反射场景中的唯一的天顶角；式(2)表示镜面反射场景中，天顶角的求解方法，其中给定一个偏振度和折射率，存在两个可能的天顶角；求解完天顶角之后，通过下式依次求得场景中的方位角：式(3)中，S1为偏振片角度为0时捕获的图像值减去偏振片为90度时的图像值而得到的值，S2为偏振片角度为45时捕获的图像值加上偏振片为135度时的图像值而得到的值；利用求得的方位角α及天顶角β求解法线值n，公式如下：
式(4)中，v
x
为相机坐标系中法线在X轴的分量，v
y
为相机坐标系中法线在X轴的分量，v
z...

【专利技术属性】
技术研发人员：朱蕾，周松鑫，管贻生，杨蕊银，何力，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：