【技术实现步骤摘要】
本专利技术属于人工智能的，涉及一种基于优化角点筛选路面点的单目视觉里程计尺度恢复方法。
技术介绍
1、单目视觉里程计是一种基于单个摄像头拍摄图像进行相机运动估计的技术，在自动驾驶、场景重建等方面有重要意义，由于其成本较低，安装较简便，目前被广泛用于服务机器人与车辆，但单目视觉里程计估计的运动没有尺度(单位)，无法反映真实的运动，需要进行尺度恢复操作，才能用于实际的里程测量。
2、现有的尺度恢复算法主要有以下几种：
3、1.基于几何的方法：包含基于路面约束，基于深度约束等方法的路面点选择，进而根据路面特征点与相机高度进行尺度恢复，优点在于可以运用在一般场景，但易受到角点提取的影响，如在光照等出现问题时，角点无法准确提取，进而导致尺度恢复错误。
4、2.基于模型的端到端方法：采用深度学习进行运动估计的端到端学习，进而应用于一般情况的运动估计，优点是端到端，无需进行中间处理，使用方便；缺点是需要大量数据，训练时间长，泛化能力不强，面对训练中未涉及的新场景效果会大幅度下降到不可用的程度。
5、3.基于深度模型的混合方法：采用深度学习进行单目深度估计，进而将单目运动估计转化为带深度图的运动估计，直接采用icp等恢复尺度，优点是使用方便，结合传统模型，不完全依赖深度学习，泛化能力较端到端方法更强；缺点是深度估计需要大量数据，训练时间长，深度估计结果会严重影响运动效果。此外，当真实场景与训练场景存在较大差异时，算法泛化性较差。
技术实现思路
1、本
2、本专利技术可通过以下技术方案实现：
3、一种基于优化角点筛选路面点的单目视觉里程计尺度恢复方法，包括以下步骤：
4、步骤一、采用角点提取算法提取前一帧图像的角点，并利用语义分割模型获取前一帧图像的语义图，再根据语义图的种类，删除位于动态物体类别的角点，以实现角点筛选；
5、步骤二、对筛选出的角点进行运动估计，获取初始的运动估计，并进行三角化处理获取无尺度的特征点及其三维坐标；
6、步骤三、根据语义图的种类，粗筛出处于地面类型的特征点及其三维坐标，再采用约束投票方法对粗筛后的特征点及其三维坐标进行精筛，然后利用精筛后的特征点及其三维坐标进行平面拟合获取路面模型，使用相机实际高度与路面模型的相机高度计算得到尺度参数，再结合步骤二中初始的运动估计，计算得到真实的运动估计。
7、进一步，在所述步骤三中，将各帧图像对应的尺度参数均放入尺度队列，计算尺度队列的方差，设定方差阈值，当方差大于阈值时，采用sigma＝3的高斯滤波与中值滤波进行混合滤波得到最优的尺度参数；当方差小于阈值时，采用sigma＝2的高斯滤波与中值滤波进行混合滤波得到最优的尺度参数。
8、进一步，在计算尺度队列的方差时，从当前帧图像对应的尺寸参数向前依次选择五个尺寸参数进行方差计算。
9、进一步，在进行精筛时，使用delaunay三角分割方法将特征点划分为相连的三角区域，对每个三角区域中的三个特征点两两采用下述约束进行评分，对于不满足该约束的特征点，其分数减一，反之加一，最终保留大于阈值的特征点，实现精筛，
10、根据针孔相机投影模型，位于地面的特征点存在以下约束：
11、
12、其中，vi、vj分别为第i、j个特征点在图像坐标系中纵坐标方向坐标值,分别为第i、j个特征点的深度值，若用于计算的两个特征点满足该约束，则两个特征殿都位于路面。
13、进一步，采用lk光流跟踪算法根据粗筛后的角点计算其在下一帧图像的位置，基于这个对应关系，采用分解本质矩阵方式获得初始的运动估计，采用三角测量法对初始的运动估计进行三角化处理，得到无尺度的特征点及其三维坐标。
14、有益效果：
15、1.精度高：传统方法基于特征点进行路面点筛选，特征点依赖光照等信息，三角化的点深度受其影响很大，而本专利技术的方法利用语义分割模型对前一帧图像进行语义分析，获取对应的语义图，根据语义信息进行角点和路面点的筛选，前者获取更精确的初始运动估计，后者为精筛特征点提供更鲁棒的先验，进而拥有更高的尺度恢复精度。
16、同时，传统方法的滤波往往采用单一的设计，无法满足尺度的变化，本专利技术提出的自适应的混合滤波方法拥有更强的泛用性，可以切实提高运动估计的精度。
17、2.泛化性能强：当前基于深度学习的单目运动估计方法将运动估计或者其中的重要部分如运动的长度单位、关键点的远近程度等交由深度学习负责，由于深度学习泛化性能存在问题，导致提出的方法无法应用于实际，而本专利技术的方法将语义分割模型作为模块融入传统的运动估计中，运动估计结果并不完全依赖模型结果，同时在路面特征点的筛选中，相较于传统方法，本方法提出两种筛选策略对处于路面的角点进行筛选，有效减小了深度学习泛化性能差带来错误估计的可能性，为建立准确的路面模型提高良好的数据基础。
18、3.易移植：本专利技术提出的方法可以将基于语义分割模型的角点筛选(用于运动估计)以及基于语义分割模型和约束投票方法的特征点筛选(用于路面模型建立)作为两个独立模块加入传统单目视觉里程计算法中，与之无缝衔接，兼容性好，都能使传统算法获得提升，如本专利技术提出的算法在orb-slam3和viso2上均有大幅提升。
本文档来自技高网...【技术保护点】
1.一种基于优化角点筛选路面点的单目视觉里程计尺度恢复方法，其特征在于包括以下步骤：
2.根据权利要求1所述的基于优化角点筛选路面点的单目视觉里程计尺度恢复方法，其特征在于：在所述步骤三中，将各帧图像对应的尺度参数均放入尺度队列，计算尺度队列的方差，设定方差阈值，当方差大于阈值时，采用sigma＝3的高斯滤波与中值滤波进行混合滤波得到最优的尺度参数；当方差小于阈值时，采用sigma＝2的高斯滤波与中值滤波进行混合滤波进行最优的尺度参数。
3.根据权利要求2所述的基于优化角点筛选路面点的单目视觉里程计尺度恢复方法，其特征在于：在计算尺度队列的方差时，从当前帧图像对应的尺寸参数向前依次选择五个尺寸参数进行方差计算。
4.根据权利要求1所述的基于优化角点筛选路面点的单目视觉里程计尺度恢复方法，其特征在于：在进行精筛时，使用Delaunay三角分割方法将特征点划分为相连的三角区域，对每个三角区域中的三个特征点两两采用下述约束进行评分，对于不满足该约束的特征点，其分数减一，反之加一，最终保留大于阈值的特征点，实现精筛，
5.根据权利要求1所述
...【技术特征摘要】
1.一种基于优化角点筛选路面点的单目视觉里程计尺度恢复方法，其特征在于包括以下步骤：
2.根据权利要求1所述的基于优化角点筛选路面点的单目视觉里程计尺度恢复方法，其特征在于：在所述步骤三中，将各帧图像对应的尺度参数均放入尺度队列，计算尺度队列的方差，设定方差阈值，当方差大于阈值时，采用sigma＝3的高斯滤波与中值滤波进行混合滤波得到最优的尺度参数；当方差小于阈值时，采用sigma＝2的高斯滤波与中值滤波进行混合滤波进行最优的尺度参数。
3.根据权利要求2所述的基于优化角点筛选路面点的单目视觉里程计尺度恢复方法，其特征在于：在计算尺度队列的方差时，从当前帧图像对应的尺寸参数向前依次选择五个尺寸参数进...
【专利技术属性】
技术研发人员：张会，吴志扬，安康，上官倩芡，刘翔鹏，宋亚庆，
申请(专利权)人：上海师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。