一种地图建立方法、装置及存储介质制造方法及图纸

本发明专利技术提供一种地图建立方法、装置及存储介质，其中，方法应用于终端，终端与集成有图像采集设备以及惯性传感器的车辆通信连接，包括如下步骤：获取车辆行驶过程中的IMU数据以及IMU数据对应的图像数据；根据车辆行驶过程的IMU数据得到车辆行驶过程中的帧间位姿矩阵，根据IMU数据对应的图像数据得到车辆行驶过程中的帧间变化矩阵；根据第一目标误差算法对帧间位姿矩阵以及帧间变化矩阵进行联合约束，得到每一帧图像数据的车辆位姿矩阵；根据每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息，建立地图。通过实施本发明专利技术，能够通过图像采集设备以及惯性传感器实现特征地图建立。

【技术实现步骤摘要】
一种地图建立方法、装置及存储介质
本专利技术涉及智能导航领域，具体涉及一种地图建立方法、装置及存储介质。
技术介绍
在当前国家提出新基建的背景下，大力发展无人技术、人工智能等新技术、新应用是中国实现多种战略目标的关键之举。随着科技的发展，无人技术在我们生活的各个方面都发挥出了巨大的作用。在无人技术中，精准的定位是实现无人控制的前提，除了传统惯性导航、GPS实现定位外，高精度地图也是有效的定位手段。高精度地图相比于普通地图其拓扑结构更加复杂，不仅仅要检测车道，还要检测转弯的路标点的位置等。相关技术中，在高精度地图的路标点位置等信息的建立的过程中通常采用激光雷达、惯性导航系统、GPS等，这种地图建立方式不仅设备价格高昂，且采集数据量大、处理流程复杂，所以亟需提出一种新的地图建立方法。
技术实现思路
有鉴于此，本专利技术实施例提供了一种地图建立方法、装置及存储介质，以解决现有技术中设备价格高昂，且采集数据量大，处理流程复杂的缺陷。根据第一方面，本专利技术实施例提供一种地图建立方法，应用于终端，所述终端与集成有图像采集设备以及惯性传感器的车辆通信连接，包括如下步骤：获取车辆行驶过程中的IMU数据以及所述IMU数据对应的图像数据；根据所述车辆行驶过程的IMU数据得到车辆行驶过程中的帧间位姿矩阵，根据所述IMU数据对应的图像数据得到车辆行驶过程中的帧间变化矩阵；根据第一目标误差算法对所述帧间位姿矩阵以及所述帧间变化矩阵进行联合约束，得到每一帧图像数据的车辆位姿矩阵；根据所述每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息进行地图建立。可选地，获取车辆行驶过程中的IMU数据以及所述IMU数据对应的图像数据，包括：将车辆行驶过程中的IMU数据以及图像数据根据时间戳对齐，得到所述IMU数据对应的图像数据。可选地，所述图像采集设备为双目摄像头，所述根据所述车辆行驶过程的IMU数据得到车辆行驶过程中的帧间位姿矩阵，根据所述车辆行驶过程中图像采集设备采集到的图像数据得到车辆行驶过程中的帧间变化矩阵之前，所述方法还包括：根据初始IMU数据得到初始位姿矩阵；根据初始IMU数据对应的图像数据进行特征点匹配，得到所述特征点的深度信息；根据所述特征点的深度信息，得到所述特征点的初始坐标。可选地，所述根据所述车辆行驶过程的IMU数据得到车辆行驶过程中的帧间位姿矩阵，包括：对所述IMU数据进行预积分，根据经过预积分处理的数据得到车辆行驶过程中的帧间位姿矩阵。可选地，所述根据所述每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息进行地图建立之前，还包括：根据所述车辆位姿矩阵及对应图像数据中路标点特征信息，确定状态优化参数以及第二目标误差算法，所述状态优化参数包括路标点的逆深度；根据第二目标误差算法对每一帧图像数据中车辆位姿矩阵及路标点信息进行优化。可选地，所述根据所述每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息进行地图建立，包括：获取目标帧图像数据；将所述目标帧图像数据与相邻帧图像数据中的特征点进行匹配，得到匹配特征点；确定所述匹配特征点对应的路标点在所述地图中的位置，将所述路标点添加至所述地图；当所述目标帧图像数据对应的后续关键帧图像数据的路标点信息中不存在所述路标点，则将所述路标点在所述地图中删除。可选地，所述获取目标帧图像数据，包括：从所有帧数据中筛选出符合目标约束条件的帧数据作为关键帧；将与相邻关键帧的路标点重合的关键帧剔除，剩余关键帧作为目标帧图像数据。可选地，所述方法还包括：将所述地图中每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息，以最小化重投影目标进行优化。可选地，所述方法还包括：对所述目标帧图像数据进行回环检测。可选地，所述方法还包括：将建立的所述地图，上传至云端。根据第二方面，本实施例提供一种地图建立装置，应用于终端，所述终端与集成有图像采集设备以及惯性传感器的车辆通信连接，包括：数据获取模块，用于获取车辆行驶过程中的IMU数据以及所述IMU数据对应的图像数据；位姿获取模块，用于根据所述车辆行驶过程的IMU数据得到车辆行驶过程中的帧间位姿矩阵，根据所述IMU数据对应的图像数据得到车辆行驶过程中的帧间变化矩阵；联合约束模块，用于根据第一目标误差算法对所述帧间位姿矩阵以及所述帧间变化矩阵进行联合约束，得到每一帧图像数据的车辆位姿矩阵；地图建立模块，用于根据所述每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息进行地图建立。根据第三方面，本实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面或第一方面任一实施方式所述的地图建立方法的步骤。根据第四方面，本实施例提供一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现第一方面或第一方面任一实施方式所述的地图建立方法的步骤。本专利技术技术方案，具有如下优点：本实施例提供的地图建立方法/装置，通过图像采集设备以及惯性传感器设备即可完成地图的建立，具有价格便宜，功耗低，处理流程简单，并且图像采集设备数据以及惯性传感器数据可以相互补充。图像采集设备在大多数纹理丰富的场景中效果很好，但对于一些纹理特征不够丰富的场景，适用性并不高，并且图像采集设备可能由于车辆速度以及图像获取速度导致采集的信息不够清晰和完整，IMU数据可以对图像采集设备的缺陷进行补充；同时，惯性传感器长时间使用有很大的累计误差，但在短时间内，其相对位移数据又有很高的精度。所以图像采集设备失效时，融合imu数据，能够提高定位的精度。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例中地图建立方法的一个具体示例的流程图；图2为本专利技术实施例中地图建立装置的一个具体示例原理框图；图3为本专利技术实施例中电子设备的一个具体示例的原理框图。具体实施方式下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本专利技术的描述中，需要说明的是本文档来自技高网...

【技术保护点】
1.一种地图建立方法，应用于终端，所述终端与集成有图像采集设备以及惯性传感器的车辆通信连接，其特征在于，包括如下步骤：/n获取车辆行驶过程中的IMU数据以及所述IMU数据对应的图像数据；/n根据所述车辆行驶过程的IMU数据得到车辆行驶过程中的帧间位姿矩阵，根据所述IMU数据对应的图像数据得到车辆行驶过程中的帧间变化矩阵；/n根据第一目标误差算法对所述帧间位姿矩阵以及所述帧间变化矩阵进行联合约束，得到每一帧图像数据的车辆位姿矩阵；/n根据所述每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息进行地图建立。/n

【技术特征摘要】
1.一种地图建立方法，应用于终端，所述终端与集成有图像采集设备以及惯性传感器的车辆通信连接，其特征在于，包括如下步骤：
获取车辆行驶过程中的IMU数据以及所述IMU数据对应的图像数据；
根据所述车辆行驶过程的IMU数据得到车辆行驶过程中的帧间位姿矩阵，根据所述IMU数据对应的图像数据得到车辆行驶过程中的帧间变化矩阵；
根据第一目标误差算法对所述帧间位姿矩阵以及所述帧间变化矩阵进行联合约束，得到每一帧图像数据的车辆位姿矩阵；
根据所述每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息进行地图建立。


2.根据权利要求1所述的方法，其特征在于，所述获取车辆行驶过程中的IMU数据以及所述IMU数据对应的图像数据，包括：
将车辆行驶过程中的IMU数据以及图像数据根据时间戳对齐，得到所述IMU数据对应的图像数据。


3.根据权利要求1所述的方法，其特征在于，所述图像采集设备为双目摄像头，所述根据所述车辆行驶过程的IMU数据得到车辆行驶过程中的帧间位姿矩阵，根据所述车辆行驶过程中图像采集设备采集到的图像数据得到车辆行驶过程中的帧间变化矩阵之前，所述方法还包括：
根据初始IMU数据得到初始位姿矩阵；
根据所述IMU数据对应的图像数据进行特征点匹配，得到所述特征点的深度信息；
根据所述特征点的深度信息，得到所述特征点的初始坐标。


4.根据权利要求1所述的方法，其特征在于，所述根据所述车辆行驶过程的IMU数据得到车辆行驶过程中的帧间位姿矩阵，包括：对所述IMU数据进行预积分，根据经过预积分处理的数据得到车辆行驶过程中的帧间位姿矩阵。


5.根据权利要求1所述的方法，其特征在于，根据所述每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特征信息进行地图建立之前，还包括：
根据所述车辆位姿矩阵及对应图像数据中路标点特征信息，确定状态优化参数以及第二目标误差算法，所述状态优化参数包括路标点的逆深度；
根据第二目标误差算法对每一帧图像数据中车辆位姿矩阵及路标点信息进行优化。


6.根据权利要求1所述的方法，其特征在于，所述根据所述每一帧图像数据的车辆位姿矩阵以及对应图像数据中路标点特...

【专利技术属性】
技术研发人员：霍盈盈，严刚，李庆建，熊丽音，
申请(专利权)人：国汽北京智能网联汽车研究院有限公司，
类型：发明
国别省市：北京;11