视觉里程计、车辆及定位方法技术

本申请提供了一种视觉里程计、车辆及定位方法，涉及人工智能技术领域。其中，视觉里程计包括处理模块和定位模块，处理模块和定位模块相连接，其中：处理模块，用于获取虚拟关键帧集合，虚拟关键帧集合包括多个时刻对应的虚拟关键帧，每个虚拟关键帧包括至少两个相机在相同时刻采集的图像数据；处理模块，还用于基于虚拟关键帧集合获取初始化地图数据，其中，初始化地图数据用于描述空间点，以及目标关联关系，目标关联关系为虚拟关键帧集合的图像数据中包括相同空间点的图像数据的关联关系；定位模块，用于基于初始化地图数据进行定位，确定位姿数据。本申请实施例能够提高视觉里程计的鲁棒性。鲁棒性。鲁棒性。

【技术实现步骤摘要】
视觉里程计、车辆及定位方法


[0001]本申请涉及人工智能
，尤其涉及一种视觉里程计、车辆及定位方法。

技术介绍

[0002]视觉里程计通过相机在运动过程中拍摄的一系列连续的图像来解算相机所在载体的位姿数据。目前，视觉里程计基于单目相机和惯性测量单元(Inertial Measurement Unit，IMU)的融合实现，IMU可以很好地捕捉高速运动时相机在三个坐标轴上的加速度和旋转信息，辅助相机的定位。然而，基于IMU实现的视觉里程计初始化条件较为严格，位姿约束准确性较差，导致视觉里程计的鲁棒性较差。

技术实现思路

[0003]本申请提供了一种视觉里程计、车辆及定位方法。
[0004]根据本申请的第一方面，提供了一种视觉里程计，所述视觉里程计包括处理模块和定位模块，所述处理模块和所述定位模块相连接，其中：
[0005]处理模块，用于获取虚拟关键帧集合，所述虚拟关键帧集合包括多个时刻对应的虚拟关键帧，每个所述虚拟关键帧包括至少两个相机在相同时刻采集的图像数据；
[0006]所述处理模块，还用于基于所述虚拟关键帧集合获取初始化地图数据，其中，所述初始化地图数据用于描述空间点，以及目标关联关系，所述目标关联关系为所述虚拟关键帧集合的图像数据中包括相同空间点的图像数据的关联关系；
[0007]定位模块，用于基于所述初始化地图数据进行定位，确定位姿数据。
[0008]根据本申请的第二方面，提供了一种车辆，所述车辆包括第一方面所述的视觉里程计。
[0009]根据本申请的第三方面，提供了一种定位方法，所述方法包括：
[0010]获取虚拟关键帧集合，所述虚拟关键帧集合包括多个时刻对应的虚拟关键帧，每个所述虚拟关键帧包括至少两个相机在相同时刻采集的图像数据；
[0011]基于所述虚拟关键帧集合获取初始化地图数据，其中，所述初始化地图数据用于描述空间点，以及目标关联关系，所述目标关联关系为所述虚拟关键帧集合的图像数据中包括相同空间点的图像数据的关联关系；
[0012]基于所述初始化地图数据进行定位，确定位姿数据。
[0013]根据本申请的第四方面，提供了一种计算机程序产品，包括计算机程序或指令，当所述计算机程序或指令被处理器执行时实现如第三方面所述的方法。
[0014]本申请实施例中，所述视觉里程计包括处理模块和定位模块，所述处理模块和所述定位模块相连接，其中：处理模块，用于获取虚拟关键帧集合，所述虚拟关键帧集合包括多个时刻对应的虚拟关键帧，每个所述虚拟关键帧包括至少两个相机在相同时刻采集的图像数据；所述处理模块，还用于基于所述虚拟关键帧集合获取初始化地图数据，其中，所述初始化地图数据用于描述空间点，以及目标关联关系，所述目标关联关系为所述虚拟关键
帧集合的图像数据中包括相同空间点的图像数据的关联关系；定位模块，用于基于所述初始化地图数据进行定位，确定位姿数据。这样，通过建立目标关联关系初始化地图数据，不依赖于IMU实现视觉里程计初始化，能够提高视觉里程计的鲁棒性。
附图说明
[0015]图1是本申请实施例提供的一种电子设备的结构示意图；
[0016]图2是本申请实施例提供的一种视觉里程计的结构示意图；
[0017]图3是本申请实施例提供的一种定位方法的流程示意图；
[0018]图4是本申请实施例提供的一种车辆的结构示意图。
具体实施方式
[0019]以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0020]图1示出了可以用来实施本申请的实施例的示例电子设备100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
[0021]如图1所示，电子设备100包括计算单元101，其可以根据存储在只读存储器(ROM)102中的计算机程序或者从存储单元108加载到随机访问存储器(RAM)103中的计算机程序，来执行各种适当的动作和处理。在RAM 103中，还可存储电子设备100操作所需的各种程序和数据。计算单元101、ROM 102以及RAM 103通过总线104彼此相连。输入/输出(I/O)接口105也连接至总线104。
[0022]电子设备100中的多个部件连接至I/O接口105，包括：输入单元106，例如键盘、鼠标等；输出单元107，例如各种类型的显示器、扬声器等；存储单元108，例如磁盘、光盘等；以及通信单元109，例如网卡、调制解调器、无线通信收发机等。通信单元109允许电子设备100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0023]计算单元101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元101可用于执行本申请实施例所描述的各个方法和处理，例如本申请实施例中的定位方法。例如，在一些实施例中，定位方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 102和/或通信单元109而被载入和/或安装到电子设备100上。当计算机程序加载到RAM 103并由计算单元101执行时，可以执行定位方法的一个或多个步骤。备选地，在其他实施例中，计算单元101可以通过其他任何适当的方
式(例如，借助于固件)而被配置为执行定位方法。
[0024]需要说明的是，本申请实施例中的视觉里程计可以为电子设备100中的计算单元101。
[0025]请参见图2，图2是本申请实施例提供的一种视觉里程计的结构示意图，如图2所示，所述视觉里程计200包括处理模块201和定位模块202，所述处理模块201和所述定位模块202相连接，其中：
[0026]处理模块201，用于获取虚拟关键帧集合，所述虚拟关键帧集合包括多个时刻对应的虚拟关键帧，每个所述虚拟关键帧包括至少两个相机在相同时刻采集的图像数据；
[0027]所述处理模块201，还用于基于所述虚拟关键帧集合获取初始化地图数据，其中，所述初始化地图数据用于描述空间点，以及目标关联关系，所述目标关联关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉里程计，其特征在于，所述视觉里程计包括处理模块和定位模块，所述处理模块和所述定位模块相连接，其中：处理模块，用于获取虚拟关键帧集合，所述虚拟关键帧集合包括多个时刻对应的虚拟关键帧，每个所述虚拟关键帧包括至少两个相机在相同时刻采集的图像数据；所述处理模块，还用于基于所述虚拟关键帧集合获取初始化地图数据，其中，所述初始化地图数据用于描述空间点，以及目标关联关系，所述目标关联关系为所述虚拟关键帧集合的图像数据中包括相同空间点的图像数据的关联关系；定位模块，用于基于所述初始化地图数据进行定位，确定位姿数据。2.根据权利要求1所述的视觉里程计，其特征在于，所述目标关联关系包括第一关联关系和第二关联关系，所述第一关联关系为对同一相机的不同时刻的图像数据进行数据关联得到的关联关系，所述第二关联关系为对不同相机的图像数据进行数据关联得到的关联关系。3.根据权利要求2所述的视觉里程计，其特征在于，所述处理模块具体用于：对所述虚拟关键帧集合中的虚拟关键帧进行帧间相似度计算，确定相似关键帧，所述相似关键帧包括相似度大于预设阈值的至少两个虚拟关键帧；对所述相似关键帧进行相对位姿计算，并基于相对位姿计算结果计算重投影误差，得到重投影误差结果；基于所述重投影误差结果确定关联关键帧；将所述关联关键帧中的相同特征的特征描述子设置为同一特征描述子；其中，所述第二关联关系用于表征所述关联关键帧中的相同特征的特征描述子为同一特征描述子。4.根据权利要求3所述的视觉里程计，其特征在于，所述处理模块还用于：确定所述虚拟关键帧集合中包含相同空间点的图像数据对应的目标相机；基于车体的全局位姿、所述目标相机在车体坐标系下的相机位姿及包含所述相同空间点的图像数据的像素特征，确定目标函数；基于所述目标函数对所述初始化地图进行优化处理，其中，所述目标函数为用于优化所述初始化地图的优化函数。5.根据权利要求3所述的视觉里程计，其特征在于，所述处理模块具体用于：分别将所述虚拟关键帧集合中的虚拟关键帧输入词袋模型，获得所述虚拟关键...

【专利技术属性】
技术研发人员：王璀，
申请(专利权)人：北京集度科技有限公司，
类型：发明
国别省市：