融合中期语义信息的视觉里程计方法技术

本发明专利技术公开了一种融合中期语义信息的视觉里程计方法，包括以下步骤：S1.跟踪线程接收双目图像流，并将单目图像传递给语义分割进程，语义分割进程对单目图像进行语义分割，将语义分割图传递给跟踪线程；S2.跟踪线程根据语义分割图构造当前帧并生成初始地图，将局部地图点与当前帧的特征点进行匹配，优化当前帧的位姿并确定关键帧，将关键帧信息及语义分割图传输至局部建图线程；S3.局部建图线程根据关键帧的特征点更新地图点，并构建中期滑窗及更新中期滑窗的语义地图点，根据语义地图点建立中期约束并优化关键帧位姿；S4.局部建图线程利用优化的位姿将地图点反向投影到语义分割图，更新语义地图点的语义信息，并根据语义地图点的质量管理语义地图点。地图点的质量管理语义地图点。地图点的质量管理语义地图点。

【技术实现步骤摘要】
融合中期语义信息的视觉里程计方法


[0001]本专利技术涉及基于视觉的智能车辆定位与导航领域，具体地说，涉及一种融合语义特征中期数据关联的智能车辆视觉里程计方法。

技术介绍

[0002]智能汽车是一类配置多种高精度传感器，涉及行驶环境感知、车辆导航定位、运动规划决策及车辆控制等多项技术，且可以在道路上自动安全行驶的移动终端。导航定位是汽车智能化的关键技术，其主要的作用在于估计车辆自身的姿态和位置，为驾驶任务中的路径规划及决策控制提供空间信息，是保证智能汽车实现无人驾驶的重要前提。里程计定位方法是依据传感器数据计算相邻两时刻间的位置变动以实现定位的重要方法。其中，摄像头是最常见，同时又成本低廉的传感器，使得视觉里程计得到了广泛而深入的研究。视觉里程计通过获取车载相机获取环境的图像序列，并根据图像间的多视图几何关系确定相邻时刻车辆位置姿态变换关系，从而得到车辆的位姿信息。现阶段视觉里程计的任务主要分为特征提取，数据关联，位姿估计三个部分。目前特征提取采用特征点法或采用直接法提取，采集到的特征是基于像素灰度关系得到的低级特征，随距离变化而变化，只能进行短期数据关联，如果位姿估计出现误差，则误差将逐渐积累，出现严重的位姿漂移现象。此外，低级特征在光照条件变化大、纹理特征缺失的环境中稳定性差，无法正确匹配建立可靠关联，导致帧间位姿估计误差增大，使得智能车辆的定位出现偏差。
[0003]而近年来人工智能技术快速发展，使计算机视觉中的很多关键问题都取得了革命性的进展，例如智能体对场景中的不同种类的物体之间的边界进行识别(语义分割)，这些技术使得智能体能够更加轻易地获取环境的语义特征，使得对环境的理解更加深刻。语义特征在形式上包括目标检测类别、语义分割像素级类别。语义分割像素级类别信息将场景类别精细到像素点，其和视觉里程计中的特征点具有相对一致的数据格式。该特征几乎不受距离影响，能长期保持稳定且在一定距离内都能被观测到，能间隔数帧建立数据关联。将当前帧与更早的关键帧建立起约束关系，从而减缓位姿估计的误差积累，改善里程计的轨迹漂移现象。此外，语义特征对光照条件变化、纹理信息依赖性小。因此，越来越多的研究者提出了将语义信息加入到视觉里程计的融合方法以提高定位精度。
[0004]研究人员提出了一种关键帧滑动窗口结构来建立语义误差边。该方法首先构建了语义误差边和ORB特征重投影误差边，并构建了融合语义误差的视觉里程计，然后将距离当前关键帧最近的数帧关键帧加入滑动窗口，然后根据这些关键帧观测到的地图点构建与当前帧的特征关联。该方法的缺点在于滑动窗口中关键帧与当前关键帧之间的语义特征关联大多与基于ORB特征的特征关联约束效果重复，使得系统定位精度性能提升不明显，无法建立合理有效的语义特征关联关系。
[0005]研究人员提出了将语义特征关联加入BA(Bundle Adjustment)优化的VSO(Visual Semantic Odometry)。该方法使用距离变换函数建模语义特征的似然观测模型，通过该观测模型建立了语义误差项，形成了融合语义的视觉里程计系统。该方法的缺点在于距离变
换函数计算前需要对语义分割图多次二值化操作，且距离变换函数本身需要计算全部像素点到所有类别之间的最近距离，计算效率低，似然观测模型的建模存在冗余。

技术实现思路

[0006]本专利技术的目的在于解决现有技术中语义特征关联针对性弱和语义观测似然模型冗余的问题，提供一种融合中期语义信息的视觉里程计方法，该方法能够建立更高效的语义特征观测模型，形成更有针对性的语义误差项以提高融合语义的视觉里程计的位姿估计精度。
[0007]为了实现上述目的，本专利技术所采用的技术方案如下：
[0008]一种融合中期语义信息的视觉里程计方法，包括以下步骤：
[0009]S1.跟踪线程接收双目相机的双目图像流，并将单目图像传递给语义分割进程，语义分割进程对单目图像进行语义分割，并将语义分割图传递给跟踪线程；
[0010]S2.跟踪线程根据语义分割图构造当前帧并生成初始地图对双目相机位姿进行跟踪，将局部地图点与当前帧的特征点进行匹配，优化当前帧的位姿并确定关键帧，将关键帧信息及语义分割图传输至局部建图线程；
[0011]S3.局部建图线程根据关键帧的特征点更新地图点，并构建中期滑窗及更新中期滑窗的语义地图点，根据语义地图点建立中期约束并优化关键帧位姿；
[0012]S4.局部建图线程利用优化的位姿将地图点反向投影到语义分割图，更新语义地图点的语义信息，并根据语义地图点的质量信息管理语义地图点。
[0013]进一步地，步骤S1中，语义分割进程采用轻量级神经网络ERFNet对单目图像进行语义分割，提取语义特征并将语义分割图传递给跟踪线程。
[0014]进一步地，步骤S2中，跟踪线程在图像金字塔中提取ORB特征点，通过三角化初始化地图点，通过帧间的特征点匹配计算初始相机位姿，将局部地图点与当前帧中的特征点进行匹配，建立合适的数据关联，并运用最小化重投影误差优化当前帧位姿，根据当前帧的观测质量及系统的状态选择是否建立关键帧，若建立关键帧则将关键帧传递给局部建图线程。
[0015]进一步地，步骤S3中，构建中期滑窗及更新中期滑窗的语义地图点，根据语义地图点建立中期约束并优化关键帧位姿，具体为：
[0016]S31.将当前关键帧之前设定数量的关键帧作为管理地图点语义信息的滑窗容器，选取最开始的数帧作为中期滑窗，滑窗随时间不断更新；
[0017]S32.将中期滑窗中ORB特征点三角化得到语义地图点；
[0018]S33.将语义地图点语义类别设计为多权重模式；
[0019]S34.将选取的语义地图点与当前关键帧建立语义观测，计算语义观测误差；
[0020]S35.将与当前关键帧有共视地图点的图像帧定义为局部关键帧，由局部关键帧中ORB特征点三角化得到局部地图点；
[0021]S36.根据局部地图点与当前关键帧，计算重投影误差；
[0022]S37.将语义观测误差和重投影误差加入到局部BA优化的图优化模型中，优化关键帧的位姿及地图点。
[0023]进一步地，步骤S34中，将选取的语义地图点与当前关键帧建立语义观测，计算语
义观测误差，具体为：
[0024]S341.定义语义观测似然模型为
[0025]p(S
k
|Z
i
＝c,X
i
,T
k
)；
[0026]式中，k为关键帧编号，c为一种语义类别，i为地图点编号，T
k
为车辆位姿，X
i
为地图点位置，Z
i
为地图点类别，S
k
为当前帧的语义分割图；
[0027]S342.基于车辆位姿求出地图点在当前关键帧上投影的像素点坐标，u
i,k
代表地图点i的投影像素点坐标；
[0028]将观测似然对投影像素点坐标边缘化，根据贝叶斯本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合中期语义信息的视觉里程计方法，其特征在于，包括以下步骤：S1.跟踪线程接收双目相机的双目图像流，并将单目图像传递给语义分割进程，语义分割进程对单目图像进行语义分割，并将语义分割图传递给跟踪线程；S2.跟踪线程根据语义分割图构造当前帧并生成初始地图对双目相机位姿进行跟踪，将局部地图点与当前帧的特征点进行匹配，优化当前帧的位姿并确定关键帧，将关键帧信息及语义分割图传输至局部建图线程；S3.局部建图线程根据关键帧的特征点更新地图点，并构建中期滑窗及更新中期滑窗的语义地图点，根据语义地图点建立中期约束并优化关键帧位姿；S4.局部建图线程利用优化的位姿将地图点反向投影到语义分割图，更新语义地图点的语义信息，并根据语义地图点的质量信息管理语义地图点。2.根据权利要求1所述的融合中期语义信息的视觉里程计方法，其特征在于，步骤S1中，语义分割进程采用轻量级神经网络ERFNet对单目图像进行语义分割，提取语义特征并将语义分割图传递给跟踪线程。3.根据权利要求1所述的融合中期语义信息的视觉里程计方法，其特征在于，步骤S2中，跟踪线程在图像金字塔中提取ORB特征点，通过三角化初始化地图点，通过帧间的特征点匹配计算初始相机位姿，将局部地图点与当前帧中的特征点进行匹配，建立合适的数据关联，并运用最小化重投影误差优化当前帧位姿，根据当前帧的观测质量及系统的状态选择是否建立关键帧，若建立关键帧则将关键帧传递给局部建图线程。4.根据权利要求1所述的融合中期语义信息的视觉里程计方法，其特征在于，步骤S3中，构建中期滑窗及更新中期滑窗的语义地图点，根据语义地图点建立中期约束并优化关键帧位姿，具体为：S31.将当前关键帧之前设定数量的关键帧作为管理地图点语义信息的滑窗容器，选取最开始的数帧作为中期滑窗，滑窗随时间不断更新；S32.将中期滑窗中ORB特征点三角化得到语义地图点；S33.将语义地图点语义类别设计为多权重模式；S34.将选取的语义地图点与当前关键帧建立语义观测，计算语义观测误差；S35.将与当前关键帧有共视地图点的图像帧定义为局部关键帧，由局部关键帧中ORB特征点三角化得到局部地图点；S36.根据局部地图点与当前关键帧，计算重投影误差；S37.将语义观测误差和重投影误差加入到局部BA优化的图优化模型中，优化关键帧的位姿及地图点。5.根据权利要求4所述的融合中期语义信息的视觉里程计方法，其特征在于，步骤S34中，将选取的语义地图点与当前关键帧建立语义观测，计算语义观测误差，具体为：S341.定义语义观测似然模型为p(S
k
|Z
i
＝c,X
i
,T
k
)；式中，k为关键帧编号，c为一种语义类别，i为地图点编号，T
k
为车辆位姿，X
i
为地图点位置，Z
i
为地图点类别，S
k
为当前帧的语义分割图；S342.基于车辆位姿求出地图点在当前关键帧上投影的像素点坐标，u
i,k
代表地图点i的投影像素点坐标；
将观测似然对投影像素点坐标边缘化，根据贝叶斯公式表示为：S343.当前帧的语义分割图S
k
独立于其他变量，投影像素点由地图点位置和车辆位姿决定，得到：S344.假设语义分割图S
k
中每个类的先验概率相同，根据贝叶斯公式可将p(S
k
∣u
i,k
,Z
i
＝c)表示为：p(S
k
|u
i,k
,Z
i
＝c)
∝
p(u
i,k
,Z
i
＝c|S
k
)＝p(u
i,k
|S
k
,Z
i
＝c)p(Z
i
＝c|S
k
)；S345.p(u
i,k
∣X
i
,T

【专利技术属性】
技术研发人员：兰凤崇，姚司宇，陈吉清，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：