建图方法、装置、电子设备和存储介质制造方法及图纸

本公开实施例公开了一种建图方法、装置、电子设备和存储介质，该方法包括：获取图像数据，根据图像数据中的特征数据建立初始视觉地图，并基于初始视觉地图、轮速计信息以及方向盘转角信息，确定关键帧集合、关键帧集合中各关键帧位姿以及尺度恢复地图；基于各关键帧位姿，判断惯性测量单元的数据是否满足初始化条件；在惯性测量单元的数据至少部分满足初始化条件的情况下，对惯性测量单元进行初始化，确定惯性测量单元的初始化结果；根据惯性测量单元的初始化结果以及尺度恢复地图，确定目标地图。本公开在惯性测量单元中部分初始化成功的情况下就加入建图，并且对初始化结果进行验证，提高初始化的有效性，进而，提高建图的效率以及准确性。以及准确性。以及准确性。

【技术实现步骤摘要】
建图方法、装置、电子设备和存储介质


[0001]本公开涉及自动驾驶
，尤其涉及一种建图方法、装置、电子设备和存储介质。

技术介绍

[0002]建图与定位是自动驾驶中的关键技术之一。对于无人车来说，通常需要对周围环境进行建图，然后在建好的地图中实现定位功能。目前，主流的单目视觉方案存在无法确定尺度信息且不能应对快速移动的问题，因此，可以引入惯性测量单元(Inertial Measurement Unit，imu)，这样可以结合视觉及惯性测量单元的优点，取长补短。
[0003]然而，针对imu来说，在初始化阶段，并不一定有足够的运动对其进行激励，会导致多次无效初始化。并且，imu中的陀螺仪或加速度计中的任意一个初始化失败，就会导致imu信息均无法使用的问题，进而，导致建图系统长时间等待imu初始化成功，影响建图效率以及效果，而且，未对imu初始化的结果进行验证，无法保证imu的实际可用性。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种建图方法、装置、电子设备和存储介质，以在惯性测量单元中的加速度计和陀螺仪中至少一个初始化成功的情况下，加入建图，提高建图的效率以及准确性。
[0005]第一方面，本公开实施例提供了一种建图方法，该方法包括：
[0006]获取图像数据，根据所述图像数据中的特征数据建立初始视觉地图，并基于所述初始视觉地图、轮速计信息以及方向盘转角信息，确定关键帧集合、所述关键帧集合中各关键帧位姿以及尺度恢复地图；
[0007]基于各关键帧位姿，判断惯性测量单元的数据是否满足初始化条件；其中，所述惯性测量单元的数据包括加速度计数据和陀螺仪数据，所述初始化条件包括加速度计初始化条件以及陀螺仪初始化条件；
[0008]在所述惯性测量单元的数据至少部分满足所述初始化条件的情况下，对所述惯性测量单元进行初始化，确定所述惯性测量单元的初始化结果；其中，所述惯性测量单元的初始化结果包括初始化失败、初始化部分成功以及初始化成功；
[0009]根据所述惯性测量单元的初始化结果以及所述尺度恢复地图，确定目标地图。
[0010]第二方面，本公开实施例还提供了一种建图装置，该装置包括：
[0011]第一建图模块，用于获取图像数据，根据所述图像数据中的特征数据建立初始视觉地图，并基于所述初始视觉地图、轮速计信息以及方向盘转角信息，确定关键帧集合、所述关键帧集合中各关键帧位姿以及尺度恢复地图；
[0012]初始化条件判断模块，用于基于各关键帧位姿，判断惯性测量单元的数据是否满足初始化条件；其中，所述惯性测量单元的数据包括加速度计数据和陀螺仪数据，所述初始化条件包括加速度计初始化条件以及陀螺仪初始化条件；
[0013]初始化结果确定模块，用于在所述惯性测量单元的数据至少部分满足所述初始化条件的情况下，对所述惯性测量单元进行初始化，确定所述惯性测量单元的初始化结果；其中，所述惯性测量单元的初始化结果包括初始化失败、初始化部分成功以及初始化成功；
[0014]第二建图模块，用于根据所述惯性测量单元的初始化结果以及所述尺度恢复地图，确定目标地图。
[0015]第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的建图方法。
[0016]第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的建图方法。
[0017]本公开实施例提供的建图方法，通过根据图像数据中的特征数据建立初始视觉地图，并基于初始视觉地图、轮速计信息以及方向盘转角信息，确定关键帧集合、关键帧集合中各关键帧位姿以及尺度恢复地图，进而，基于各关键帧位姿，判断惯性测量单元的数据是否满足初始化条件，以判断加速度计和陀螺仪能否进入初始化流程，在惯性测量单元的数据至少部分满足初始化条件的情况下，对惯性测量单元进行初始化，确定惯性测量单元的初始化结果，以判断初始化后的加速度计或陀螺仪能否用于建图，根据惯性测量单元的初始化结果以及尺度恢复地图，确定目标地图，实现了在惯性测量单元中的加速度计和陀螺仪中至少一个初始化成功的情况下，加入建图，并且对初始化结果进行验证，提高初始化的有效性，进而，提高建图的效率以及准确性。
附图说明
[0018]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
[0019]图1为本公开实施例中的一种建图方法的流程图；
[0020]图2为本公开实施例中的一种建图装置的结构示意图；
[0021]图3为本公开实施例中的一种电子设备的结构示意图。
具体实施方式
[0022]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0023]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0024]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0025]常用的建图技术在系统初始化阶段，并不一定有足够的运动对惯性测量单元进行激励，无法对运动进行估计和判断，可能导致多次进行无效的初始化。并且，没有对惯性测
量单元中的不同传感器进行区分，存在因陀螺仪或加速度计其中一个初始化失败，导致二者信息都无法使用的情况。在系统初始化后，没有对初始化求解得到的加速度计和陀螺仪偏置结果进行验证，直接投入使用，存在建图准确性差的问题，后续系统运行中的鲁棒性无法得到保证。
[0026]针对上述问题，本公开实施例提供了一种建图方法，在惯性测量单元中的加速度计和陀螺仪中至少一个初始化成功的情况下，就能够加入建图，提高建图的效率以及准确性。
[0027]图1为本公开实施例中的一种建图方法的流程图。该方法可以由建图装置执行，该装置可以采用软件和/或硬件的方式实现，该装置可配置于电子设备中。如图1所示，该方法具体可以包括如下步骤：
[0028]S110、获取图像数据，根据图像数据中的特征数据建立初始视觉地图，并基于初始视觉地图、轮速计信息以及方向盘转角信息，确定关键帧集合、关键帧集合中各关键帧位姿以及尺度恢复地图。
[0029]其中，图像数据为车辆行驶过程中采集的一系列图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种建图方法，其特征在于，所述方法包括：获取图像数据，根据所述图像数据中的特征数据建立初始视觉地图，并基于所述初始视觉地图、轮速计信息以及方向盘转角信息，确定关键帧集合、所述关键帧集合中各关键帧位姿以及尺度恢复地图；基于各关键帧位姿，判断惯性测量单元的数据是否满足初始化条件；其中，所述惯性测量单元的数据包括加速度计数据和陀螺仪数据，所述初始化条件包括加速度计初始化条件以及陀螺仪初始化条件；在所述惯性测量单元的数据至少部分满足所述初始化条件的情况下，对所述惯性测量单元进行初始化，确定所述惯性测量单元的初始化结果；其中，所述惯性测量单元的初始化结果包括初始化失败、初始化部分成功以及初始化成功；根据所述惯性测量单元的初始化结果以及所述尺度恢复地图，确定目标地图。2.根据权利要求1所述的方法，其特征在于，所述惯性测量单元的初始化结果为初始化部分成功包括：所述加速度计初始化成功且所述陀螺仪初始化失败，所述加速度计初始化成功且所述陀螺仪数据不满足所述陀螺仪初始化条件，所述加速度计数据不满足所述加速度计初始化条件且所述陀螺仪初始化成功，或者，所述加速度计初始化失败且所述陀螺仪初始化成功；所述惯性测量单元的初始化结果为初始化失败包括：所述加速度计初始化失败且所述陀螺仪初始化失败，所述加速度计初始化失败且所述陀螺仪数据不满足所述陀螺仪初始化条件，或者，所述加速度计数据不满足所述加速度计初始化条件且所述陀螺仪初始化失败。3.根据权利要求2所述的方法，其特征在于，所述根据所述惯性测量单元的初始化结果以及所述尺度恢复地图，确定目标地图，包括：若所述惯性测量单元的初始化结果为初始化部分成功或初始化成功，则根据所述惯性测量单元的初始化参数对所述关键帧位姿进行约束，并对所述尺度恢复地图进行增量处理，得到目标地图；若所述惯性测量单元的初始化结果为初始化失败，则将所述尺度恢复地图确定为目标地图。4.根据权利要求3所述的方法，其特征在于，在所述根据所述惯性测量单元的初始化参数对所述关键帧位姿进行约束之前，还包括：若所述惯性测量单元的初始化结果为初始化成功，则所述惯性测量单元的初始化参数包括陀螺仪的偏置、视觉坐标系下的重力向量、加速度计偏置以及各关键帧的速度，通过下述计算式一至五确定所述初始化参数：计算式一为：其中，C
1min
为第一目标函数，为四元数的乘法符号，I为所述关键帧集合中的关键帧的总数，为视觉坐标系到惯性坐标系的旋转外参，为第i帧关键帧在视觉坐标系下的旋转姿态，为第i帧关键帧与第i+1帧关键帧之间的惯性旋转预积分量，为两帧关键帧
之间预积分量对陀螺仪的偏置δb
w
的雅可比矩阵，δb
w
为陀螺仪的偏置；计算式二为：计算式三为：计算式四为：计算式五为：r
g
＝‖g‖
‑
‖g
w
‖其中，C
2min
为第二目标函数，r
p
为位置残差，r
v
为速度残差，r
g
为重力向量模长残差，为惯性测量单元的位置预积分量，为惯性测量单元的速度预积分量，为位置预积分量对加速度计偏置的雅可比矩阵，为速度预积分量对加速度计偏置的雅可比矩阵，δb
a
为加速度计偏置，为第i帧关键帧对应的惯性测量单元在视觉坐标系的旋转位姿，为第i帧关键帧对应的惯性测量单元在视觉坐标系旋转位姿的逆矩阵，为第i帧关键帧的相机在视觉坐标系下的位置，g
w
为视觉坐标系下的重力向量，为视觉坐标系下的重力向量，为惯性坐标系到相机坐标系的平移，Δt
i
为两帧关键帧之间的时间间隔，为第i帧关键帧的速度，v
pvg
为权重系数矩阵。5.根据权利要求4所述的方法，其特征在于，在所述根据所述惯性测量单元的初始化参数对所述关键帧位姿进行约束之前，还包括：若所述惯性测量单元的初始化结果为初始化部分成功，所述初始化部分成功为所述加速度计初始化成功且所述陀螺仪初始化失败，或者，所述加速度计初始化成功且所述陀螺仪数据不满足所述陀螺仪初始化条件，则所述惯性测量单元的初始化参数包括视觉坐标系下的重力向量、加速度计偏置以及各关键帧的速度，依次通过下述计算式六至八以及所述计算式二至五确定所述初始化参数：计算式六为：其中，为第i帧关键帧在视觉坐标系下的旋转姿态，为第j帧关键帧在视觉坐标系下的旋转姿态，t为第i帧关键帧与第i+1帧关键帧之间的任意时刻，f(
·
)为插值函数，为...

【专利技术属性】
技术研发人员：周宏涛，何潇，张丹，
申请(专利权)人：驭势科技北京有限公司，
类型：发明
国别省市：