【技术实现步骤摘要】
一种基于车辙线的多模态里程计方法
[0001]本专利技术属于机器人SLAM领域(Simultaneous Localization and Mapping)，具体涉及基于车辙信息的多模态里程计方法。
技术介绍
[0002]近年来，随着人工智能的发展，移动机器人也开始在社会各个领域迅速发展，在特殊场景去替代人们完成一些工作。但是，在沙地或土质较为松软的环境中，由于路面的变形，车轮会产生滑转下陷等问题导致轮式里程计失效，从而无法得到准确的机器人里程信息。而SLAM作为一种定位与地图重建技术，通过各类传感器的应用以及相互融合，可以使得移动机器人具有感知自身位置和周围环境的能力。目前没有一种普适的SLAM方案，单一传感器SLAM算法有其不可避免的传感器自身问题，尤其是面对复杂恶劣的环境，所以需要多传感器之间的融合提高SLAM算法的精度、冗余性以及鲁棒性。目前SLAM中最广泛使用的特征是点特征，在特征提取、匹配和表示上都比较成熟。然而点特征对于环境依赖较大，在纹理缺失等场景中表现不佳，导致无法得到准确的机器人里程信息；
专利技...
【技术保护点】
【技术特征摘要】
1.一种基于车辙线的多模态里程计方法，其特征在于：所述方法具体过程为：步骤一、对非重叠视角下多相机和激光雷达进行联合标定；步骤二、对非重叠视角下多相机和激光雷达的联合标定设定标定误差约束；步骤三、激光雷达获取激光点云，利用点云分割算法对激光点云进行去噪预处理；步骤四、利用帧
‑
图的匹配方式对步骤三去噪预处理后的激光点云提取点云特征，对提取的点云特征进行点云匹配，得到边缘、平面特征误差模型；步骤五、多视角相机拍摄彩色图像，提取点线特征，获得匹配追踪得到的图像帧与帧之间点特征和图像帧与帧之间线特征；步骤六、将步骤五匹配追踪得到的点特征、线特征投影到图像坐标系，投影到图像坐标系中的点与相机成像平面中对应的2D点线建立约束关系，获得点线特征误差模型；步骤七、对步骤三去噪预处理后的激光点云进行处理，获得深度恢复误差模型；步骤八、基于步骤二、步骤四、步骤六、步骤七，构建视觉激光的数据关联模型；步骤九、基于步骤八使用因子图算法对智能体的位姿进行增量式更新；步骤十、重复步骤三至步骤九，估计连续帧位姿变换，完成多模态里程计构建。2.根据权利要求1所述一种基于车辙线的多模态里程计方法，其特征在于：所述步骤一中对非重叠视角下多相机和激光雷达进行联合标定；具体过程为；联合标定分为两部分：空间标定和时间标定；空间标定为：利用张正友的相机标定法分别标定多相机系统的各个单目相机的内参，在单目相机标定完成后，构建多视角相机的约束关系；多视角相机的约束关系为：使用OpenCV生成点云标定板，在标定过程中读取点云标定板，相机个数，相机内参，在标定过程中仅需要相邻的两个相机能够同时看到标定板的同一部分，即可完成两个相机之间的标定，以此类推，即可完成整个多相机系统的标定工作；利用开源的Autoware无人驾驶中的标定工具对激光雷达进行标定；多相机系统中共有5台单目相机，镜头分别向外，构成全景视觉系统，相邻两个相机之间的重叠视野为14度，激光雷达位于五个单目相机的几何中心；根据多相机系统内部单目相机之间的相对位置和几何角度的关系，以及多视角相机的约束关系，完成单目相机之间的坐标转换，再根据单个相机与激光雷达的标定结果，即可完成激光雷达与多相机系统的联合标定；时间标定为：利用软硬触发协同统一相机和激光雷达的时间戳；从空间和时间维度完成非重叠视角下多相机和激光雷达的联合标定。3.根据权利要求1或2所述一种基于车辙线的多模态里程计方法，其特征在于：所述单个相机与激光雷达的标定结果表达为：式中，u、v是空间3D点投影到相机像素坐标系下二维像素点的横纵坐标，f
x
、f
y
为常数，c
x
、c
y
为相机内参中的平移参数；
R为3D点在相机坐标系和雷达坐标系下的旋转矩阵，t为3D点在相机坐标系和雷达坐标系下的平移向量，x、y、z为空间3D点的三维坐标，M为相机内参和相关坐标系的旋转平移的矩阵乘积，m
11
为M中第一行第一列元素，m
12
为M中第一行第二列元素，m
13
为M中第一行第三列元素，m
14
为M中第一行第四列元素，m
21
为M中第二行第一列元素，m
22
为M中第二行第二列元素，m
23
为M中第二行第三列元素，m
24
为M中第二行第四列元素，m
31
为M中第三行第一列元素，m
32
为M中第三行第二列元素，m
33
为M中第三行第三列元素，m
34
为M中第三行第四列元素。4.根据权利要求3所述一种基于车辙线的多模态里程计方法，其特征在于：，所述步骤二中对非重叠视角下多相机和激光雷达的联合标定设定标定误差约束；具体过程为：F(R,t,P
i
′
,p
i
′
)＝sK(R
·
P
i
′
+t)
‑
p
i
′
式中，F为空间点到相机坐标系的投影函数，P
i
′
为空间3D点，p
i
′
为对应的相机成像平面的2D像素点，s为尺度因子，K为相机的内参矩阵；其中，ε为标定误差约束函数；n为图像中特征点的个数，i
′
为图像中第i
′
个特征点。5.根据权利要求4所述一种基于车辙线的多模态里程计方法，其特征在于：所述步骤四中利用帧
‑
图的匹配方式对步骤三去噪预处理后的激光点云提取点云特征，对提取的点云特征进行点云匹配，得到边缘、平面特征误差模型；具体过程为；利用帧
‑
图的匹配方式对步骤三去噪预处理后的激光点云提取点云特征，利用ICP算法对提取的点云特征进行点云匹配，得到与步骤三去噪预处理后的激光点云相关的位姿变换矩阵通过将步骤三去噪预处理后的激光点云数据转换到世界坐标系下，构成局部地图M；式中，i为激光雷达第i帧关键帧，为激光雷达关键帧的总数；局部地图分为子地图边缘特征地图和平面特征地图，M＝{M
e
,M
p
}，其中，M
e
为子地图边缘特征地图，M
p
为平面特征地图；为平面特征地图；式中，为激光雷达第i帧关键帧的边缘特征点，为激光雷达第i帧关键帧的平面特征点；为激光雷达关键帧的总数；对于当前关键帧的第i
″
个计算第i
″
个边缘特征点到M
e
中对应边缘线(l,j)的距离，距离公式如下，其中，分别是i
″
，j，l三点在前一关键帧的同一激光雷达坐标系下的三维坐标；k
′
为激光雷达关键帧的序号；j,l是边缘线两个端点；L为雷达；对于当前关键帧的第i
″′
个计算第i
″′
个平面特征点到M
p
中对应特征
平面(l
′
,j
′
,m
′
)的距离，距...
【专利技术属性】
技术研发人员：孙光辉，张兵，付金宇，王艳坤，吴立刚，刘健行，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。