基于地图元素数据的多传感器融合车辆定位方法及装置制造方法及图纸

本发明专利技术实施例公开一种基于地图元素数据的多传感器融合车辆定位方法及装置。该方法包括：基于从摄像机采集的上一时刻的历史传感数据中识别出的历史地图元素感知数据以及车载电子导航地图中上一时刻的地图元素数据来预估外参矩阵，通过预估的外参矩阵对目标车辆进行当前时刻的车辆定位，由于预估的外参矩阵是基于上一时刻的数据计算得到的，因此在摄像机发生安装松动和/或惯性测量单元发生安装松动时，相对于预先标定的外参矩阵，预估的外参矩阵的准确性较高，使得基于预估的外参矩阵对目标车辆进行当前时刻的车辆定位所得到的位姿精度较高。应用本发明专利技术实施例提供的方案，能够提高定位得到的目标车辆的位姿精度，提高目标车辆行驶的安全性。

【技术实现步骤摘要】
基于地图元素数据的多传感器融合车辆定位方法及装置
本专利技术涉及车辆定位
，具体而言，涉及一种基于地图元素数据的多传感器融合车辆定位方法及装置。
技术介绍
无人驾驶车辆上安装有至少包括摄像机和惯性测量单元的多种传感器，为了通过多种传感器采集的传感数据以及车载电子导航地图中的地图元素数据进行自动车辆定位得到车辆的位姿，需要预先对惯性测量单元的坐标系与摄像机的相机坐标系之间的外参矩阵进行标定。由于有时摄像机会发生安装松动和/或惯性测量单元会发生安装松动，使得预先标定的外参矩阵不够准确，不够准确的预先标定的外参矩阵将严重影响所定位得到的车辆的位姿精度，从而降低了无人驾驶车辆的安全性。
技术实现思路
本专利技术提供了一种基于地图元素数据的多传感器融合车辆定位方法及装置，以提高定位得到的目标车辆的位姿精度，提高目标车辆行驶的安全性。具体的技术方案如下：第一方面，本专利技术提供了一种基于地图元素数据的多传感器融合车辆定位方法，包括：获取安装在目标车辆上的多个传感器在行驶过程中采集的当前时刻的当前传感数据以及上一时刻的历史传感数据，其中，所述多个传感器至少包括摄像机和惯性测量单元；从所述摄像机采集的历史传感数据中识别出历史地图元素感知数据，以及从所述摄像机采集的当前传感数据中识别出当前地图元素感知数据；基于所获取的历史传感数据，确定所述目标车辆的车载电子导航地图中上一时刻的历史地图元素数据，基于所获取的当前传感数据，确定所述车载电子导航地图中当前时刻的当前地图元素数据以及所述目标车辆的当前时刻的参考位姿；基于预先标定的外参矩阵以及所述摄像机的相机坐标系与图像坐标系之间的投影矩阵，确定所述图像坐标系下与所述历史地图元素数据对应的历史地图元素投影数据以及与所述历史地图元素投影数据对应的历史地图元素感知数据，其中，所述预先标定的外参矩阵包括表征所述惯性测量单元的坐标系与所述相机坐标系之间旋转关系的旋转矩阵以及平移关系的平移矩阵；根据所述历史地图元素投影数据以及对应的历史地图元素感知数据建立预估的外参矩阵的矩阵方程组，求解所述矩阵方程组得到所述预估的外参矩阵；根据所述预估的外参矩阵以及所述投影矩阵，确定所述图像坐标系下与所述当前地图元素数据对应的当前地图元素投影数据以及与所述当前地图元素投影数据对应的当前地图元素感知数据；根据卡尔曼滤波算法，基于所述当前地图元素投影数据以及对应的当前地图元素感知数据计算出所述目标车辆的位姿调整量，根据所述位姿调整量对所述当前时刻的参考位姿进行调整，得到所述目标车辆的当前时刻的位姿。可选的，所述摄像机采集的当前传感数据以及历史传感数据分别为当前图像和历史图像，所述从所述摄像机采集的历史传感数据中识别出历史地图元素感知数据，以及从所述摄像机采集的当前传感数据中识别出当前地图元素感知数据的步骤，包括：将所述摄像机采集的历史图像以及当前图像分别输入到预先训练完成的至少一个深度学习感知模型中，得到所述历史图像中的历史地图元素感知数据以及所述当前图像中的当前地图元素感知数据；其中，每个深度学习感知模型为基于包含一类地图元素数据的图像样本数据及对应的标注信息作为模型训练数据，对初始深度学习模型进行训练得到的深度学习模型，每个深度学习感知模型用于使得图像样本数据与对应类型的地图元素数据相关联，所述地图元素数据的类型包括车道线、交通牌、路灯杆和虚线车道线的端点中的至少一种。可选的，所述基于所获取的历史传感数据，确定所述目标车辆的车载电子导航地图中上一时刻的历史地图元素数据的步骤，包括：基于预先确定的定位算法对所获取的历史传感数据进行数据融合计算，得到所述目标车辆的上一时刻的参考位姿；根据所述上一时刻的参考位姿确定所述车载电子导航地图中，上一时刻位于所述目标车辆预设范围内的历史地图元素数据。可选的，所述基于预先标定的外参矩阵以及所述摄像机的相机坐标系与图像坐标系之间的投影矩阵，确定所述图像坐标系下与所述历史地图元素数据对应的历史地图元素投影数据以及与所述历史地图元素投影数据对应的历史地图元素感知数据的步骤，包括：基于所述预先标定的外参矩阵，将所述历史地图元素数据转换至所述相机坐标系中，得到所述历史地图元素数据对应的转换后地图元素数据；基于所述投影矩阵，将所述转换后地图元素数据投影至所述图像坐标系中，得到所述历史地图元素数据对应的历史地图元素投影数据；针对每类历史地图元素投影数据，计算该类历史地图元素投影数据与该类历史地图元素感知数据之间的重投影残差，针对该类历史地图元素投影数据中的每个历史地图元素投影数据，将最小的重投影残差对应的历史地图元素感知数据作为与该历史地图元素投影数据对应的数据。可选的，所述根据所述历史地图元素投影数据以及对应的历史地图元素感知数据建立预估的外参矩阵的矩阵方程组，求解所述矩阵方程组得到所述预估的外参矩阵的步骤，包括：针对每个历史地图元素投影数据，计算该历史地图元素投影数据与对应的历史地图元素感知数据之间的重投影残差，建立所述重投影残差与预估的外参矩阵之间的雅克比矩阵，根据所述重投影残差、所述雅克比矩阵以及所述预估的外参矩阵建立该历史地图元素投影数据的矩阵方程；联立每个历史地图元素投影数据的矩阵方程得到所述预估的外参矩阵的矩阵方程组，求解所述矩阵方程组得到所述预估的外参矩阵。第二方面，本专利技术提供了一种基于地图元素数据的多传感器融合车辆定位装置，包括：获取模块，用于获取安装在目标车辆上的多个传感器在行驶过程中采集的当前时刻的当前传感数据以及上一时刻的历史传感数据，其中，所述多个传感器至少包括摄像机和惯性测量单元；识别模块，用于从所述摄像机采集的历史传感数据中识别出历史地图元素感知数据，以及从所述摄像机采集的当前传感数据中识别出当前地图元素感知数据；确定模块，用于基于所获取的历史传感数据，确定所述目标车辆的车载电子导航地图中上一时刻的历史地图元素数据，基于所获取的当前传感数据，确定所述车载电子导航地图中当前时刻的当前地图元素数据以及所述目标车辆的当前时刻的参考位姿；第一投影模块，用于基于预先标定的外参矩阵以及所述摄像机的相机坐标系与图像坐标系之间的投影矩阵，确定所述图像坐标系下与所述历史地图元素数据对应的历史地图元素投影数据以及与所述历史地图元素投影数据对应的历史地图元素感知数据，其中，所述预先标定的外参矩阵包括表征所述惯性测量单元的坐标系与所述相机坐标系之间旋转关系的旋转矩阵以及平移关系的平移矩阵；建立模块，用于根据所述历史地图元素投影数据以及对应的历史地图元素感知数据建立预估的外参矩阵的矩阵方程组，求解所述矩阵方程组得到所述预估的外参矩阵；第二投影模块，用于根据所述预估的外参矩阵以及所述投影矩阵，确定所述图像坐标系下与所述当前地图元素数据对应的当前地图元素投影数据以及与所述当前地图元素投影数据对应的当前地图元素感知数据；位姿计算模块，用于根据卡尔曼滤波算法，基于所述当前地图元本文档来自技高网...

【技术保护点】
1.一种基于地图元素数据的多传感器融合车辆定位方法，其特征在于，包括：/n获取安装在目标车辆上的多个传感器在行驶过程中采集的当前时刻的当前传感数据以及上一时刻的历史传感数据，其中，所述多个传感器至少包括摄像机和惯性测量单元；/n从所述摄像机采集的历史传感数据中识别出历史地图元素感知数据，以及从所述摄像机采集的当前传感数据中识别出当前地图元素感知数据；/n基于所获取的历史传感数据，确定所述目标车辆的车载电子导航地图中上一时刻的历史地图元素数据，基于所获取的当前传感数据，确定所述车载电子导航地图中当前时刻的当前地图元素数据以及所述目标车辆的当前时刻的参考位姿；/n基于预先标定的外参矩阵以及所述摄像机的相机坐标系与图像坐标系之间的投影矩阵，确定所述图像坐标系下与所述历史地图元素数据对应的历史地图元素投影数据以及与所述历史地图元素投影数据对应的历史地图元素感知数据，其中，所述预先标定的外参矩阵包括表征所述惯性测量单元的坐标系与所述相机坐标系之间旋转关系的旋转矩阵以及平移关系的平移矩阵；/n根据所述历史地图元素投影数据以及对应的历史地图元素感知数据建立预估的外参矩阵的矩阵方程组，求解所述矩阵方程组得到所述预估的外参矩阵；/n根据所述预估的外参矩阵以及所述投影矩阵，确定所述图像坐标系下与所述当前地图元素数据对应的当前地图元素投影数据以及与所述当前地图元素投影数据对应的当前地图元素感知数据；/n根据卡尔曼滤波算法，基于所述当前地图元素投影数据以及对应的当前地图元素感知数据计算出所述目标车辆的位姿调整量，根据所述位姿调整量对所述当前时刻的参考位姿进行调整，得到所述目标车辆的当前时刻的位姿。/n...

【技术特征摘要】
1.一种基于地图元素数据的多传感器融合车辆定位方法，其特征在于，包括：
获取安装在目标车辆上的多个传感器在行驶过程中采集的当前时刻的当前传感数据以及上一时刻的历史传感数据，其中，所述多个传感器至少包括摄像机和惯性测量单元；
从所述摄像机采集的历史传感数据中识别出历史地图元素感知数据，以及从所述摄像机采集的当前传感数据中识别出当前地图元素感知数据；
基于所获取的历史传感数据，确定所述目标车辆的车载电子导航地图中上一时刻的历史地图元素数据，基于所获取的当前传感数据，确定所述车载电子导航地图中当前时刻的当前地图元素数据以及所述目标车辆的当前时刻的参考位姿；
基于预先标定的外参矩阵以及所述摄像机的相机坐标系与图像坐标系之间的投影矩阵，确定所述图像坐标系下与所述历史地图元素数据对应的历史地图元素投影数据以及与所述历史地图元素投影数据对应的历史地图元素感知数据，其中，所述预先标定的外参矩阵包括表征所述惯性测量单元的坐标系与所述相机坐标系之间旋转关系的旋转矩阵以及平移关系的平移矩阵；
根据所述历史地图元素投影数据以及对应的历史地图元素感知数据建立预估的外参矩阵的矩阵方程组，求解所述矩阵方程组得到所述预估的外参矩阵；
根据所述预估的外参矩阵以及所述投影矩阵，确定所述图像坐标系下与所述当前地图元素数据对应的当前地图元素投影数据以及与所述当前地图元素投影数据对应的当前地图元素感知数据；
根据卡尔曼滤波算法，基于所述当前地图元素投影数据以及对应的当前地图元素感知数据计算出所述目标车辆的位姿调整量，根据所述位姿调整量对所述当前时刻的参考位姿进行调整，得到所述目标车辆的当前时刻的位姿。


2.如权利要求1所述的方法，其特征在于，所述摄像机采集的当前传感数据以及历史传感数据分别为当前图像和历史图像，所述从所述摄像机采集的历史传感数据中识别出历史地图元素感知数据，以及从所述摄像机采集的当前传感数据中识别出当前地图元素感知数据的步骤，包括：
将所述摄像机采集的历史图像以及当前图像分别输入到预先训练完成的至少一个深度学习感知模型中，得到所述历史图像中的历史地图元素感知数据以及所述当前图像中的当前地图元素感知数据；
其中，每个深度学习感知模型为基于包含一类地图元素数据的图像样本数据及对应的标注信息作为模型训练数据，对初始深度学习模型进行训练得到的深度学习模型，每个深度学习感知模型用于使得图像样本数据与对应类型的地图元素数据相关联，所述地图元素数据的类型包括车道线、交通牌、路灯杆和虚线车道线的端点中的至少一种。


3.如权利要求1所述的方法，其特征在于，所述基于所获取的历史传感数据，确定所述目标车辆的车载电子导航地图中上一时刻的历史地图元素数据的步骤，包括：
基于预先确定的定位算法对所获取的历史传感数据进行数据融合计算，得到所述目标车辆的上一时刻的参考位姿；
根据所述上一时刻的参考位姿确定所述车载电子导航地图中，上一时刻位于所述目标车辆预设范围内的历史地图元素数据。


4.如权利要求1所述的方法，其特征在于，所述基于预先标定的外参矩阵以及所述摄像机的相机坐标系与图像坐标系之间的投影矩阵，确定所述图像坐标系下与所述历史地图元素数据对应的历史地图元素投影数据以及与所述历史地图元素投影数据对应的历史地图元素感知数据的步骤，包括：
基于所述预先标定的外参矩阵，将所述历史地图元素数据转换至所述相机坐标系中，得到所述历史地图元素数据对应的转换后地图元素数据；
基于所述投影矩阵，将所述转换后地图元素数据投影至所述图像坐标系中，得到所述历史地图元素数据对应的历史地图元素投影数据；
针对每类历史地图元素投影数据，计算该类历史地图元素投影数据与该类历史地图元素感知数据之间的重投影残差，针对该类历史地图元素投影数据中的每个历史地图元素投影数据，将最小的重投影残差对应的历史地图元素感知数据作为与该历史地图元素投影数据对应的数据。


5.如权利要求1所述的方法，其特征在于，所述根据所述历史地图元素投影数据以及对应的历史地图元素感知数据建立预估的外参矩阵的矩阵方程组，求解所述矩阵方程组得到所述预估的外参矩阵的步骤，包括：
针对每个历史地图元素投影数据，计算该历史地图元素投影数据与对应的历史地图元素感知数据之间的重投影残差，建立所述重投影残差与预估的外参矩阵之间的雅克比矩阵，根据所述重投影残差、所述雅克比矩阵以及所述预估的外参矩阵建立该历史地图元素投影数据的矩...

【专利技术属性】
技术研发人员：陈更达，韩永根，管守奎，
申请(专利权)人：北京初速度科技有限公司，
类型：发明
国别省市：北京;11