一种视觉惯性定位方法、装置及自动驾驶装置制造方法及图纸

本发明专利技术实施例提供了一种视觉惯性定位方法、装置及自动驾驶装置，方法包括：获取传感器采集的当前帧、历史地图以及惯性信息，将当前帧加入时域滑窗，并基于时域滑窗以及空域滑窗，更新先验约束条件；基于当前帧以及历史地图，确定视觉约束条件；基于当前帧与前一帧之间的惯性数据，确定惯性约束条件；基于先验约束条件、视觉约束条件以及时域滑窗中每相邻两帧图像帧之间的惯性约束条件进行视觉惯性优化，确定传感器的当前位姿，其中，先验约束条件为上一次更新得到的。通过构建空间广分布的空域滑窗和时域相邻的时域滑窗，进行视觉惯性联合优化，可以更好的控制每一时刻参与地图优化的图像帧的规模，进而可以提高视觉惯性定位的精度及鲁棒性。精度及鲁棒性。精度及鲁棒性。

【技术实现步骤摘要】
一种视觉惯性定位方法、装置及自动驾驶装置


[0001]本专利技术涉及视觉定位
，特别是涉及一种视觉惯性定位方法、装置及自动驾驶装置。

技术介绍

[0002]SLAM(Simultaneous Localization and Mapping，同步定位与建图)指的是电子设备在未知环境中通过对环境的进行视觉图像采集，来构建周围环境地图，并完成自身定位的过程。随着科学技术的发展，SLAM在移动机器人、AR(Augmented Reality，增强现实)、VR(Virtual Reality，虚拟现实)、无人机、虚拟视觉定位系统等领域都有着重要应用。
[0003]纯视觉的SLAM方法在纹理丰富的场景中效果较好，但是在遇到玻璃，墙面等特征较少的场景，视觉信息获取不足，基本上无法工作。而惯性传感器可以在传感器运动时获取加速度和角速度信息，补充视觉信息的不足。视觉信息又可以矫正惯性传感器长时间工作产生的漂移。因此将视觉和惯性信息结合进行定位是十分具有应用前景的技术。
[0004]电子设备基于地图确定自身位姿需要很大的计算量，为了减小地图优化及定位的计算量，需要控制每一时刻参与地图优化的图像帧的规模。

技术实现思路

[0005]本专利技术实施例的目的在于提供一种视觉惯性定位方法、装置及自动驾驶装置，以控制每一时刻参与地图优化的图像帧的规模。具体技术方案如下：
[0006]第一方面，本专利技术实施例提供了一种视觉惯性定位方法，所述方法包括：
[0007]获取传感器采集的当前帧、历史地图以及惯性信息，其中，所述历史地图包括由所述当前帧之前的历史帧构建的三维地图，所述惯性信息包括所述当前帧和所述当前帧的前一帧之间的惯性数据；
[0008]将所述当前帧加入时域滑窗，并基于所述时域滑窗以及空域滑窗，更新先验约束条件；
[0009]基于所述当前帧以及所述历史地图，确定视觉约束条件；
[0010]基于所述当前帧与所述前一帧之间的惯性数据，确定惯性约束条件；
[0011]基于先验约束条件、所述视觉约束条件以及所述时域滑窗中每相邻两帧图像帧之间的惯性约束条件进行视觉惯性优化，确定所述传感器的当前位姿，其中，所述先验约束条件为上一次更新得到的。
[0012]可选的，所述基于所述时域滑窗以及空域滑窗，更新先验约束条件的步骤，包括：
[0013]按照预设策略更新所述时域滑窗以及空域滑窗，并更新先验约束条件；
[0014]其中，所述预设策略使得所述时域滑窗包括的图像帧在时域的分布范围不超过第一阈值，所述空域滑窗包括的图像帧在空域上的分布范围不小于第二阈值，且所述空域滑窗包括的图像帧的数量保持不变。
[0015]可选的，所述按照预设策略更新所述时域滑窗以及空域滑窗，并更新先验约束条
件的步骤，包括：
[0016]基于所述时域滑窗中的最老帧与所述时域滑窗的最老帧的前一帧的数据关联量，判断所述时域滑窗中的最老帧是否为关键帧；
[0017]如果所述最老帧不为关键帧，将所述最老帧从所述时域滑窗中删除，并保存所述最老帧对应的惯性信息至先验约束条件；
[0018]如果所述最老帧为关键帧，将所述空域滑窗中的目标帧删除，并将所述最老帧加入所述空域滑窗，保存所述最老帧的惯性信息至先验约束条件，其中，所述目标帧与所述当前帧的数据关联量不超过第三阈值且在空域上与所述当前帧的距离不超过第四阈值。
[0019]可选的，所述基于所述当前帧以及所述历史地图，确定视觉约束条件的步骤，包括：
[0020]基于所述当前帧中特征点的位置与目标投影点的位置之间的位置关系，确定视觉约束条件；
[0021]其中，所述目标投影点为所述特征点在所述历史地图中的对应点投影至所述当前帧中的点。
[0022]可选的，在所述将所述当前帧加入时域滑窗的步骤之前，所述方法还包括：
[0023]确定所述当前帧与所述前一帧的数据关联量；
[0024]如果所述数据关联量小于预设值，确定所述当前帧为关键帧，并基于所述关键帧，通过三角化方式构建地图；
[0025]基于所构建的地图更新所述历史地图。
[0026]可选的，所述传感器为单目里程计；在所述获取传感器采集的当前帧、历史地图以及惯性信息的步骤之前，所述方法还包括：
[0027]获取传感器采集的预设数量的图像帧，基于所述预设数量的图像帧进行视觉初始化，得到无尺度地图；
[0028]获取传感器采集的图像帧，每获取一帧图像帧，基于该图像帧对所述无尺度地图进行优化，得到目标无尺度地图；
[0029]获取传感器采集的图像帧，每获取一帧图像帧，基于该图像帧以及所述目标无尺度地图进行惯性数据初始化，得到地图尺度和重力向；
[0030]按照所述地图尺度，调整所述目标无尺度地图的地图尺度，并按照所述重力向，将所述目标无尺度地图对齐至惯性系。
[0031]可选的，所述基于所述预设数量的图像帧进行视觉初始化，得到无尺度地图的步骤，包括：
[0032]针对采集时间相邻的每两个图像帧，计算得到该两个图像帧的帧间光流数据；
[0033]根据所述帧间光流数据计算得到所述传感器的基础矩阵，并分解所述基础矩阵得到该两个图像帧对应的位姿；
[0034]基于该两个图像帧对应的位姿，通过三角化方式确定地图点；
[0035]将所述地图点投影至对应的图像帧中，确定重投影误差；
[0036]在对应的重投影误差小于预设值的地图点满足预设条件的情况下，得到无尺度地图。
[0037]可选的，所述更新先验约束条件的步骤，包括：
[0038]按照以下公式计算得到先验约束值：
[0039][0040][0041]其中，表示所述空域窗口内第i帧相对与上一次边缘化时的状态变化量，为上一次边缘化时第i帧在世界坐标下的旋转矩阵，和分别为上一次边缘化时第i帧对应的速度和位置，和分别为上一次边缘化时第i帧对应的陀螺仪偏置和加速度偏置，为第i帧在世界坐标下的实时旋转矩阵，和分别为第i帧的实时速度和位置，和分别为第i帧的实时陀螺仪偏置和实时加速度偏置，H是边缘化操作得到的先验矩阵。
[0042]第二方面，本专利技术实施例提供了一种视觉惯性定位装置，所述装置包括：
[0043]信息获取模块，用于获取传感器采集的当前帧、历史地图以及惯性信息，其中，所述历史地图包括由所述当前帧之前的历史帧构建的三维地图，所述惯性信息包括所述当前帧和所述当前帧的前一帧之间的惯性数据；
[0044]先验更新模块，用于将所述当前帧加入时域滑窗，并基于所述时域滑窗以及空域滑窗，更新先验约束条件；
[0045]视觉约束条件确定模块，用于基于所述当前帧以及所述历史地图，确定视觉约束条件；
[0046]惯性约束条件确定模块，用于基于所述当前帧与所述前一帧之间的惯性数据，确定惯性约束条件；
[0047]当前位姿确定模块，用于基于先验约束条件、所述视觉约束条件以及所述时域滑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉惯性定位方法，其特征在于，所述方法包括：获取传感器采集的当前帧、历史地图以及惯性信息，其中，所述历史地图包括由所述当前帧之前的历史帧构建的三维地图，所述惯性信息包括所述当前帧和所述当前帧的前一帧之间的惯性数据；将所述当前帧加入时域滑窗，并基于所述时域滑窗以及空域滑窗，更新先验约束条件；基于所述当前帧以及所述历史地图，确定视觉约束条件；基于所述当前帧与所述前一帧之间的惯性数据，确定惯性约束条件；基于先验约束条件、所述视觉约束条件以及所述时域滑窗中每相邻两帧图像帧之间的惯性约束条件进行视觉惯性优化，确定所述传感器的当前位姿，其中，所述先验约束条件为上一次更新得到的。2.根据权利要求1所述的方法，其特征在于，所述基于所述时域滑窗以及空域滑窗，更新先验约束条件的步骤，包括：按照预设策略更新所述时域滑窗以及空域滑窗，并更新先验约束条件；其中，所述预设策略使得所述时域滑窗包括的图像帧在时域的分布范围不超过第一阈值，所述空域滑窗包括的图像帧在空域上的分布范围不小于第二阈值，且所述空域滑窗包括的图像帧的数量保持不变。3.根据权利要求2所述的方法，其特征在于，所述按照预设策略更新所述时域滑窗以及空域滑窗，并更新先验约束条件的步骤，包括：基于所述时域滑窗中的最老帧与所述时域滑窗的最老帧的前一帧的数据关联量，判断所述时域滑窗中的最老帧是否为关键帧；如果所述最老帧不为关键帧，将所述最老帧从所述时域滑窗中删除，并保存所述最老帧对应的惯性信息至先验约束条件；如果所述最老帧为关键帧，将所述空域滑窗中的目标帧删除，并将所述最老帧加入所述空域滑窗，保存所述最老帧的惯性信息至先验约束条件，其中，所述目标帧与所述当前帧的数据关联量不超过第三阈值且在空域上与所述当前帧的距离不超过第四阈值。4.根据权利要求1所述的方法，其特征在于，所述基于所述当前帧以及所述历史地图，确定视觉约束条件的步骤，包括：基于所述当前帧中特征点的位置与目标投影点的位置之间的位置关系，确定视觉约束条件；其中，所述目标投影点为所述特征点在所述历史地图中的对应点投影至所述当前帧中的点。5.根据权利要求1所述的方法，其特征在于，在所述将所述当前帧加入时域滑窗的步骤之前，所述方法还包括：确定所述当前帧与所述前一帧的数据关联量；如果所述数据关联量小于预设值，确定所述当前帧为关键帧，并基于所述关键帧，通过三角化方式构建地图；基于所构建的地图更新所述历史地图。6.根据权利要求1所述的方法，其特征在于，所述传感器为单目里程计；在所述获取传感器采集的当前帧、历史地图以及惯性信息的步骤之前，所述方法还包
括：获取传感器采集的预设数量的图像帧，基于所述预设数量的图像帧进行视觉初...

【专利技术属性】
技术研发人员：毛洋，李佳宁，李杰，毛慧，浦世亮，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：