相对位姿的估计方法、装置、电子设备及介质制造方法及图纸

本申请公开了一种相对位姿的估计方法、装置、电子设备及介质。方法包括如下步骤：获取传感器采集的测量数据以及第一图像和第二图像之间的预估相对位姿，测量数据包括第一图像的第一颜色信息和第一深度信息，第二图像的第二颜色信息和第二深度信息；基于第一深度信息和预估相对位姿，确定第一图像在第二图像上的投影点；第一颜色信息、第二颜色信息和投影点，计算第一图像和第二图像之间的颜色差异；基于第一深度信息、第二深度信息以及投影点，计算第一图像和第二图像之间的深度差异；基于颜色差异、深度差异优化预估相对位姿，得到目标相对位姿。通过上述方式，本申请能够降低深度图像估计相对位姿的误差。

【技术实现步骤摘要】
相对位姿的估计方法、装置、电子设备及介质
本申请涉及计算机视觉
，特别是涉及一种相对位姿的估计方法、装置、电子设备及计算机存储介质。
技术介绍
利用深度摄像头获取深度图像有非常广泛的应用，基于深度图像实现位姿估计、地图构建和三维重建等是当下计算机视觉的研究热点。迭代最近点算法(IterativeClosedPoint,ICP)算法作为经典的位姿估计算法，只使用了深度信息，导致位姿估计精度较低。
技术实现思路
本申请提供一种相对位姿的估计方法、装置、电子设备及介质，以解决相关技术中基于深度图像的位姿估计误差大的问题。为解决上述技术问题，本申请提供一种相对位姿的估计方法。该方法包括：获取传感器采集的测量数据以及第一图像和第二图像之间的预估相对位姿，测量数据包括第一图像的第一颜色信息和第一深度信息，第二图像的第二颜色信息和第二深度信息；基于第一深度信息和预估相对位姿，确定第一图像在第二图像上的投影点；第一颜色信息、第二颜色信息和投影点，计算第一图像和第二图像之间的颜色差异；基于第一深度信息、第二深度信息以及投影点，计本文档来自技高网...

【技术保护点】
1.一种相对位姿的估计方法，其特征在于，所述方法包括：确定第一图像和第二图像的目标相对位姿；/n所述确定第一图像和第二图像的目标相对位姿，包括：/n获取传感器采集的测量数据以及所述第一图像和所述第二图像之间的预估相对位姿，所述测量数据包括第一图像的第一颜色信息和第一深度信息，第二图像的第二颜色信息和第二深度信息；/n基于所述第一深度信息和所述预估相对位姿，确定所述第一图像在所述第二图像上的投影点；/n基于所述第一颜色信息、所述第二颜色信息和所述投影点，计算所述第一图像和所述第二图像之间的颜色差异；/n基于所述第一深度信息、所述第二深度信息以及所述投影点，计算所述第一图像和所述第二图像之间的深度...

【技术特征摘要】
1.一种相对位姿的估计方法，其特征在于，所述方法包括：确定第一图像和第二图像的目标相对位姿；
所述确定第一图像和第二图像的目标相对位姿，包括：
获取传感器采集的测量数据以及所述第一图像和所述第二图像之间的预估相对位姿，所述测量数据包括第一图像的第一颜色信息和第一深度信息，第二图像的第二颜色信息和第二深度信息；
基于所述第一深度信息和所述预估相对位姿，确定所述第一图像在所述第二图像上的投影点；
基于所述第一颜色信息、所述第二颜色信息和所述投影点，计算所述第一图像和所述第二图像之间的颜色差异；
基于所述第一深度信息、所述第二深度信息以及所述投影点，计算所述第一图像和所述第二图像之间的深度差异；
基于所述颜色差异、所述深度差异优化所述预估相对位姿，得到所述目标相对位姿。


2.根据权利要求1所述的方法，其特征在于，所述测量数据还包括与所述第一图像同一时刻采集的第一惯性信息，和与所述第二图像同一时刻采集的第二惯性信息，所述方法还包括：
根据所述第一惯性信息、所述第二惯性信息以及所述预估相对位姿，计算所述第一图像和所述第二图像之间的惯性差异；
所述基于所述颜色差异、所述深度差异优化所述预估相对位姿，得到所述目标相对位姿，包括：
基于所述颜色差异、所述深度差异和所述惯性差异优化所述预估相对位姿，得到所述目标相对位姿。


3.根据权利要求2所述的方法，其特征在于，所述基于所述颜色差异、所述深度差异和所述惯性差异优化所述预估相对位姿，得到所述目标相对位姿，包括：
获取所述颜色差异、所述深度差异和所述惯性差异的权重；
根据所述权重对所述颜色差异、所述深度差异和所述惯性差异进行加权求和，得到总差异度；
响应于所述总差异度未满足预设条件，调整所述预估相对位姿，直至使所述总差异度满足所述预设条件；
将使所述总差异度满足所述预设条件的调整后的预估相对位姿作为所述目标相对位姿。


4.根据权利要求2所述的方法，其特征在于，所述基于所述颜色差异、所述深度差异和所述惯性差异优化所述预估相对位姿，得到所述目标相对位姿，包括：
调整所述预估相对位姿，得到使所述颜色差异最小的第一目标相对位姿；
调整所述预估相对位姿，得到使所述深度差异最小的第二目标相对位姿；
调整所述预估相对位姿，得到使所述惯性差异最小的第三目标相对位姿；
将所述第一目标相对位姿、所述第二目标相对位姿和所述第三目标相对位姿进行融合，得到所述目标相对位姿。


5.根据权利要求2所述的方法，其特征在于，所述预估相对位姿包括预估旋转矩阵，所述第一惯性信息包括第一重力信息，所述第二惯性信息包括第二重力信息，所述根据所述第一惯性信息、所述第二惯性信息以及所述预估相对位姿，计算所述预估相对位姿下的所述第一图像和所述第二图像之间的惯性差异，包括：
根据所述预估旋转矩阵对所述第一重力信息进行旋转；
计算所述第二重力信息与旋转后的所述第一重力信息的差值的平方，得到所述惯性差异。


6.根据权利要求2所述的方法，其特征在于，所述预估相对位姿包括预估旋转矩阵，所述第一惯性信息包括第一角速度信息，所述第二惯性信息包括第二角速度信息，所述根据所述第一惯性信息、所述第二惯性信息以及所述预估相对位姿，计算所述预估相对位姿下的所述第一图像和所述第二图像之间的惯性差异，包括：
确定所述第一角速度信息和所述第二角速度信息的时间戳，并计算所述第一角速度信息和所述第二角速度信息之间的积分时间；
根据所述积分时间对所述第一角速度信息进行积分，得到旋转量；
根据所述预估旋转矩阵与所述旋转量的差值，计算得到所述惯性差异。


7.根据权利要求1或2任一所述的方法，其特征在于，所述第一图像包括多个第一像素点，所述基于所述第一深度信息和所述预估相对位姿，确定所述第一...

【专利技术属性】
技术研发人员：齐勇，项骁骏，姜翰青，章国锋，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：浙江;33