一种基于多模态数据融合的自动驾驶定位方法及系统技术方案

本发明专利技术公开了一种基于多模态数据融合的自动驾驶定位方法及系统。该方法通过定位系统获取车辆位置的粗定位坐标；根据粗定位坐标确定定位空间范围；获取车辆前方道路的RGB图像和激光点云；在定位空间范围内，将RGB图像和激光点云的数据进行融合；将融合后的RGB图像和激光点云数据，与高精度地图进行定位匹配，确定车辆位置坐标。基于多模态数据融合技术，采用环境自适应优化定位算法，不仅能解决城市复杂路况、建筑物或隧道失锁的问题，满足复杂动态环境下的定位需求；还可以提高自动驾驶车辆的定位精度。的定位精度。的定位精度。

【技术实现步骤摘要】
一种基于多模态数据融合的自动驾驶定位方法及系统


[0001]本专利技术涉及车辆定位
，具体涉及一种基于多模态数据融合的自动驾驶定位方法及系统。

技术介绍

[0002]精确实时的车辆定位技术是自动驾驶车辆的核心技术，自动驾驶车辆的常用定位方法是卫星
‑
惯导组合导航、差分GPS定位、北斗定位、视觉定位和雷达定位。北斗、GPS定位在城市路况复杂、建筑物或隧道遮挡信号、信号多径效应等因素影响下，会出现精度下降甚至失锁的情况；视觉定位精度较高，但在阴雨天可能会定位失败；激光雷达的定位精度与其分辨率相关，当环境复杂时点云数据量巨大，实时性会受影响。
[0003]随着车路云一体化的发展，跨模态融合定位成为一种可能。研究北斗、惯性导航、视觉、高精地图等多源信息的深度融合定位技术不仅可以提高定位精度，还可以满足复杂动态环境下的定位需求。

技术实现思路

[0004]本专利技术要解决的技术问题是提供一种基于多模态数据融合的自动驾驶定位方法，能够满足复杂动态环境下的定位需求，还可以提高自动驾驶车辆的定位精度。
[0005]为了解决上述技术问题，本专利技术提供一种基于多模态数据融合的自动驾驶定位方法，包括如下步骤：
[0006]步骤一：通过定位系统获取车辆位置的粗定位坐标；
[0007]步骤二：根据粗定位坐标确定定位空间范围；
[0008]步骤三：获取车辆前方道路的RGB图像和激光点云；
[0009]步骤四：在定位空间范围内，将RGB图像和激光点云的数据进行融合；
[0010]步骤五：将融合后的RGB图像和激光点云数据，与高精度地图进行定位匹配，确定车辆位置坐标。
[0011]优选的，步骤三中的RGB图像和激光点云为相同时刻的数据。
[0012]进一步的，在步骤四中，将RGB图像和激光点云进行融合包括：
[0013]获取RGB图像中的要素在第一坐标系的位置信息；
[0014]获取激光点云中的要素在第一坐标系的语义编码。优选的，第一坐标系的坐标原点位于车身上。
[0015]进一步的，在步骤五中：确定车辆位置坐标包括：
[0016]步骤b1：构建因子图，节点是待求解的定位信息，采用ti时刻的位置坐标为节点，因子表示节点间的空间约束，因子包括高精地图因子、RGB图像定位因子、激光点云定位因子；
[0017]步骤b2：根据节点与因子构造优化的目标函数，并推导雅克比矩阵，以最终完成优化；
[0018]步骤b3：采用高斯牛顿法求解，获得目标函数最优值。
[0019]为了解决上述技术问题，本专利技术还提供一种基于上述基于多模态数据融合的自动驾驶定位方法的系统，包括：粗定位模块：通过定位系统获取车辆位置的粗定位坐标；
[0020]确定模块：根据粗定位坐标确定定位空间范围；
[0021]获取模块：获取车辆前方道路的RGB图像和激光点云；
[0022]融合模块：在定位空间范围内，将RGB图像和激光点云的数据进行融合；
[0023]定位匹配模块：将融合后的RGB图像和激光点云数据，与高精度地图进行定位匹配，确定车辆位置坐标。
[0024]本专利技术的有益效果：基于多模态数据融合技术，采用环境自适应优化定位算法，不仅能解决城市复杂路况、建筑物或隧道失锁的问题，满足复杂动态环境下的定位需求；还可以提高自动驾驶车辆的定位精度。
附图说明
[0025]在附图中：
[0026]图1是基于多模态数据融合的自动驾驶定位方法的流程框图。
具体实施方式
[0027]下面结合附图对本专利技术的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本专利技术，但并不构成对本专利技术的限定。
[0028]实施例1
[0029]如图1所示，本专利技术一种基于多模态数据融合的自动驾驶定位方法，包括如下步骤：
[0030]步骤S10：通过定位系统获取车辆位置的粗定位坐标。首先，利用GPS(Global Positioning System，全球定位系统)、北斗或GNSS(GlobalNavigation Satellite System，全球导航卫星系统)或惯导进行粗定位，缩小定位范围。
[0031]步骤S20：根据粗定位坐标确定定位空间范围。基于上述粗定位范围，分别对RGB图像、激光点云进行数据筛选，剔除超出定位空间范围的数据，并获取定位空间范围的高精度地图。
[0032]步骤S30：获取车辆前方道路的RGB图像和激光点云。通常利用车辆上的相机和激光雷达获取，由于不同硬件的时间存在偏差，注意进行时间标定处理，使本步骤三采集到的前方道路RGB图像和激光点云在时间上对应。
[0033]步骤S40：在定位空间范围内，将RGB图像和激光点云的数据进行融合。将激光雷达和相机的输出相结合有助于克服其各自的局限性，优势互补。相机是检测道路，读取标志或识别车辆的非常好的工具。激光雷达更擅长准确估计该车辆的位置距离。
[0034]具体融合的方法可以为：
[0035](1)获取RGB图像中的要素在第一坐标系的位置信息。RGB图像的要素包括车道线和和路标牌，通常先进行路标牌定位，若不能实现再进行车道线定位，车道线识别定位过程较为繁琐，是路标牌的替补，减少计算过程。
[0036]可选的，基于三路标单目视觉定位方法获取路标牌的位置信息。
[0037]可选的，先在定位空间范围内，采用基于FCN的车道线检测算法，检测RGB图像上的车道线；再通过车道线定位模型，计算RGB图像上车道线在第一坐标系中的位置信息。
[0038](2)获取激光点云中的要素在第一坐标系的语义编码。具体步骤为：
[0039]①
进行语义分割。分割的语义目标由地面、交通标志牌、杆状物组成。首先，对点云进行条件滤波、统计滤波等预处理，去除离群点，基于俯仰角评估进行地面点云分割；然后，基于反射强度和形状特征实现交通标志牌的筛选。对放射强度大的进行欧式分类，基于先验知识构建多级滤波器，完成精确分割；最后，利用基于对象分析的方法分割杆状物。从剩余点云中分割杆状目标，主要包括杆状交通设置和树干，对滤除地面和交通标志牌后的剩余点云欧式聚类生成点簇集合。
[0040]②
进行语义投影。以语义目标的整体点云质心代替实际物体，将分割的交通标志牌和杆状语义目标作俯视投影。
[0041]③
进行语义编码。以俯视图为基础生成带权有限图，语义目标间的权值以欧氏距离表示。记录下每条路径下的所有信息，包括目标节点序列、目标节点间距离、目标最小外包盒尺寸以及目标离地高度，生成1条语义路。从起点S经过d
sp1
距离遍历到杆状目标，再经过d
sp1
遍历到交通标志牌，再经过d
p1s1
到达终点E。
[0042][0043]式中：l
pl
,w
pl
,h
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态数据融合的自动驾驶定位方法，其特征在于，包括如下步骤：步骤一：通过定位系统获取车辆位置的粗定位坐标；步骤二：根据粗定位坐标确定定位空间范围；步骤三：获取车辆前方道路的RGB图像和激光点云；步骤四：在定位空间范围内，将RGB图像和激光点云的数据进行融合；步骤五：将融合后的RGB图像和激光点云数据，与高精度地图进行定位匹配，确定车辆位置坐标。2.根据权利要求1所述的一种基于多模态数据融合的自动驾驶定位方法，其特征在于，在步骤四中，将RGB图像和激光点云进行融合包括：获取RGB图像中的要素在第一坐标系的位置信息；获取激光点云中的要素在第一坐标系的语义编码。3.根据权利要求2所述的一种基于多模态数据融合的自动驾驶定位方法，其特征在于，获取RGB图像中的要素在第一坐标系的位置信息包括：在定位空间范围内，采用基于FCN的车道线检测算法，检测RGB图像上的车道线；通过车道线定位模型，计算RGB图像上车道线在第一坐标系中的位置信息。4.根据权利要求3所述的一种基于多模态数据融合的自动驾驶定位方法，其特征在于，在步骤五中，将融合后的RGB图像和激光点云数据，与高精度地图进行定位匹配包括：对RGB图像的车道线采用隐马尔可夫模型进行车道级匹配。5.根据权利要求2所述的一种基于多模态数据融合的自动驾驶定位方法，其特征在于，获取RGB图像中的要素在第一坐标系的位置信息包括：基于三路标单目视觉定位方法获取路标牌的位置信息。6.根据权利要求2所述的一种基于多模态数据融合的自动驾驶定位方法，其特征在于，获取激光点云中的要素在第一坐标系的语义...

【专利技术属性】
技术研发人员：何薇，胡博伦，郭启翔，陈晖，刘磊，高宠智，屈紫君，李嫩，晏萌，付浩，赵金波，于子康，
申请(专利权)人：东风汽车股份有限公司，
类型：发明
国别省市：