一种多传感器融合的自动驾驶位姿估计方法技术

本发明专利技术涉及一种多传感器融合的自动驾驶位姿估计方法，包括以下步骤：实时获取图像数据，并进行增强，获得增强图像；采用特征提取方法提取视觉特征点并进行追踪；获取激光点云以构建局部地图，并将视觉特征点与其进行深度关联；基于视觉特征点与其深度，采用视觉重投影与

【技术实现步骤摘要】
一种多传感器融合的自动驾驶位姿估计方法


[0001]本专利技术涉及自动驾驶领域，尤其是涉及一种多传感器融合的自动驾驶位姿估计方法
。

技术介绍

[0002]近年来，随着通讯
、
能源与传感器技术的不断发展，自动驾驶成为了国家科技进步的焦点，也是工业界各企业所追求的产业升级的热点方向
。
其中，位姿估计技术是自动驾驶研究领域的关键点之一
。
无人车在随时要面临的陌生环境中，首先需要解决的就是自身定位与位姿估计问题
。
[0003]目前，主流位姿估计量产方案包括了三种：
[0004]第一种是通过差分信号的全球导航卫星系统获取实时的车辆绝对位姿
。
该方法定位误差能够达到厘米级，在野外环境中具有极高的精度
。
然而，全球导航卫星系统在丛林
、
高架路
、
山川
、
隧道
、
地下以及室内环境等信号不良的场景下表现不佳，易产生位姿估计飘移
、
失效等问题，且该设备成本较高，不利于自动驾驶量产的需求
。
[0005]第二种是将高精地图与多种自身传感器数据进行融合，从而根据感知数据与地图的匹配结果获得车辆准确的位姿
。
该方法定位精度高
、
鲁棒性好，且在
L2
级别的辅助驾驶上已实现部分量产
。
然而高精地图的采集和使用涉及国家法律法规问题，必须要获取一定资质才能够进行使用
。
另外，高精地图的生产时间长，且目前只能覆盖部分城市主要干道及高速场景，因此自动驾驶仅能在特定道路上生效
。
最后，城市地图并不是一成不变的，这就要求企业在开发算法的同时，还要考虑硬件和地图维护方面的成本
。
[0006]第三种是通过车辆自身所携带的传感器通过帧间的匹配及优化得到实时的位姿估计结果
。
这种方案最大的优势是不依赖从外界获取的信息，仅利用自身传感器观测的数据即可估计车辆位姿
。
目前该方案所使用的主流传感器包括相机
、
激光雷达以及惯性测量单元
。
[0007]这些传感器各有优势，同样也具有一定的局限性
。
相机能够从特征点及光流的变化中计算自身位姿的变化，利用丰富的色彩信息以及语义信息建图，且具有廉价
、
功耗低
、
易于部署的优点
。
但是相机受到光线的影响较高，高速状态下系统鲁棒性差，且单目相机缺少尺度信息，即使用双目相机或深度相机，其探测深度的能力仍然不足
。
激光雷达则与其相反，通过测量激光往返运行的时间进行测距，每一个激光脉冲能够精确的测量传感器到目标的距离，而且具有极高的角度分辨率和距离分辨率
。
但激光雷达点云数据大
、
频率低，处理时所需的计算量高，因而无法输出较高频率的位姿变化结果，且容易受到雨雪沙尘等恶劣天气的影响
。
相较前二者，惯性测量单元不受天气的影响，抗干扰能力强，且采样频率普遍能达到
100Hz
甚至
500Hz
，具备高频位姿计算的能力
。
但是
IMU
存在一定的零偏量，在长时间的累计后系统漂移较为严重，不能单独进行长期的定位工作
。
[0008]考虑到单一传感器的算法均有一定的弊端，因此后续以非线性优化为核心的视觉惯性里程计
、
激光惯性里程计方法被提出
。
然而尽管视觉惯性里程计解决了相机没有尺度
的问题，且显著提升了位姿输出的频率，但面对车辆行驶速度较快的情况表现出较差的鲁棒性，且其本身无法达到自动驾驶的定位精度；激光惯性里程计方法尽管定位精度较高，但无法解决大场景下
z
方向飘移的问题
。
[0009]因此，如何提供一种能够将多种传感器数据进行融合的位姿估计算法是技术人员亟待解决的问题
。

技术实现思路

[0010]本专利技术的目的就是为了提供一种融合多种传感器数据以提升位姿估计准确性的多传感器融合的自动驾驶位姿估计方法
。
[0011]本专利技术的目的可以通过以下技术方案来实现：
[0012]一种多传感器融合的自动驾驶位姿估计方法，包括以下步骤：
[0013]实时获取图像数据，并采用图像处理算法对所述图像数据进行增强，获得增强图像；
[0014]基于所述增强图像，采用特征提取方法提取视觉特征点并进行追踪；
[0015]实时获取激光点云以构建局部地图，并将所述视觉特征点与其进行深度关联；
[0016]基于所述视觉特征点与其深度，采用视觉重投影与
IMU
预积分方法优化获得初始位姿；
[0017]基于所述图像数据，采用词袋模型进行匹配，计算累积飘移量；
[0018]基于所述激光点云，采用曲率及协方差提取点云特征点；
[0019]将所述点云特征点与局部地图进行匹配，计算残差，并根据曲率赋予每个特征点不同的残差权重；
[0020]基于所述初始位姿
、
残差和残差权重，采用李代数形式表示位姿，从而计算雅可比矩阵，获得实时位姿；
[0021]基于所述实时位姿和累积飘移量，采用增量平滑算法进行位姿优化，获得最终的位姿
。
[0022]进一步地，所述提取视觉特征点的具体步骤包括：
[0023]提取所述增强图像中的
FAST
角点作为先验角点；
[0024]基于所述先验角点及其相邻的若干像素点构建矩形区域，并采用离散微分算子在所述矩形区域计算梯度值；
[0025]构建所述先验角点的协方差矩阵，并基于所述梯度值计算特征值；
[0026]基于所述特征值对先验角点进行排序；
[0027]按照最小距离对所述增强图像进行区域划分，并在每个区域中仅保留特征值最大的先验角点作为视觉特征点
。
[0028]进一步地，采用
KLT
光流算法对所述视觉特征点进行追踪
。
[0029]进一步地，所述视觉特征点进行深度关联的具体步骤包括：
[0030]基于获取的激光点云，采用分线程控制构建局部地图；
[0031]筛除所述局部地图中对深度关联无用的点，根据角度位置将其划分为若干区域，并将每个区域中深度最小的点作为区域的唯一选中点，以构建网格地图；
[0032]将所述网格地图和视觉特征点正则化到归一化球面上，搜索视觉特征点在球面上
的若干最近邻的激光正则点；
[0033]基于所述最近邻的激光正则点查询所述局部地图上对应的原始点，并构成平面；
[0034]基于所述平面上各激光点的坐标和视觉特征点在球面的坐标计算视觉特征点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多传感器融合的自动驾驶位姿估计方法，其特征在于，包括以下步骤：实时获取图像数据，并采用图像处理算法对所述图像数据进行增强，获得增强图像；基于所述增强图像，采用特征提取方法提取视觉特征点并进行追踪；实时获取激光点云以构建局部地图，并将所述视觉特征点与其进行深度关联；基于所述视觉特征点与其深度，采用视觉重投影与
IMU
预积分方法优化获得初始位姿；基于所述图像数据，采用词袋模型进行匹配，计算累积飘移量；基于所述激光点云，采用曲率及协方差提取点云特征点；将所述点云特征点与局部地图进行匹配，计算残差，并根据曲率赋予每个特征点不同的残差权重；基于所述初始位姿
、
残差和残差权重，采用李代数形式表示位姿，从而计算雅可比矩阵，获得实时位姿；基于所述实时位姿和累积飘移量，采用增量平滑算法进行位姿优化，获得最终的位姿
。2.
根据权利要求1所述的一种多传感器融合的自动驾驶位姿估计方法，其特征在于，所述提取视觉特征点的具体步骤包括：提取所述增强图像中的
FAST
角点作为先验角点；基于所述先验角点及其相邻的若干像素点构建矩形区域，并采用离散微分算子在所述矩形区域计算梯度值；构建所述先验角点的协方差矩阵，并基于所述梯度值计算特征值；基于所述特征值对先验角点进行排序；按照最小距离对所述增强图像进行区域划分，并在每个区域中仅保留特征值最大的先验角点作为视觉特征点
。3.
根据权利要求1所述的一种多传感器融合的自动驾驶位姿估计方法，其特征在于，采用
KLT
光流算法对所述视觉特征点进行追踪
。4.
根据权利要求1所述的一种多传感器融合的自动驾驶位姿估计方法，其特征在于，所述视觉特征点与其进行深度关联的具体步骤包括：基于获取的激光点云，采用分线程控制构建局部地图；筛除所述局部地图中对深度关联无用的点，根据角度位置将其划分为若干区域，并将每个区域中深度最小的点作为区域的唯一选中点，以构建网格地图；将所述网格地图和视觉特征点正则化...

【专利技术属性】
技术研发人员：马志雄，孙玮琦，
申请(专利权)人：同济大学，
类型：发明
国别省市：