一种基于语义辅助双目视觉SLAM检测回环帧的方法技术

本申请公开了一种基于语义辅助双目视觉SLAM检测回环帧的方法，包括：通过双目相机对同一场景图像数据进行采集，利用YOLO学习框架检测目标；提取检测目标中的特征点；根据所述特征点中的描述子，采用颜色直方图将图像的像素在颜色空间中的分布提取出来；通过目标跟踪与图像检索为所述特征点匹配提供更强的约束，使得动点和误匹配最大限度筛除；利用回环检测判断相机是否经过同一场景，对全局的相机位姿与地图点进行优化。本申请实施列能够使得SLAM在复杂场景下鲁棒性和精度提高且能绘制含有语义信息的地图。语义信息的地图。语义信息的地图。

【技术实现步骤摘要】
一种基于语义辅助双目视觉SLAM检测回环帧的方法


[0001]本专利技术涉及双目视觉SLAM领域，尤其涉及一种基于语义辅助双目视觉 SLAM检测回环帧的方法。

技术介绍

[0002]随着导航技术的发展，高精度定位技术成为目前人们研究的一大热门，它有 着巨大的研究价值和广阔的市场前景，而高精度地图是定位技术的刚性需求。高 精度地图对地图细节的要求是传统地图无法相比的，而传统制图技术中大量细节 的标识需要人工完成，这使得高精度地图的制作难度与成本都非常高。传统的制 图手段效率低下，而借助相机、GNSS接收机、IMU、激光雷达等传感器采集的 数据，结合SLAM技术进行高效精确的自动化制图才是大势所趋。经典SLAM 算法的目标是定位与建图，即求解载体自身的位置与视野中的地物位置。而在双 目视觉SLAM中，摄像头是唯一的传感器，一方面负责观测地物；另一方面， 通过一些数学的手段，摄像头也可以测量运动。经典SLAM算法包括以下步骤： 首先找到同一帧中左右目像素点的对应关系，从而计算出对应的空间点相对于相 机的位置，同时采集同一帧中的场景信息；然后找到前后帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义辅助双目视觉SLAM检测回环帧的方法，其特征在于，包括：步骤1，通过双目相机对同一场景图像数据进行采集，利用YOLO学习框架检测目标，目标检测结果主要包含信息有：包围目标的边界框的中心坐标(b
x
,b
y
)、边界框的宽度b
w
和高度b
h
、以及边界框的类型；步骤2，提取边界框中的特征点；根据所述特征点中的周围像素计算得到描述子，采用颜色直方图将图像的像素在颜色空间中的分布Hist提取出来，利用标签转换函数将直方图矩阵转换为标签sig(Hist)；步骤3，匹配当前帧与前一帧中目标的边界框，关联成功的前帧中目标的边界框标记为相应的跟踪目标；否则，当前帧中目标的边界框为新出现的目标，将其标记为新的跟踪目标；步骤4：利用图像检索方法将当前帧或当前帧及前一帧中左右目相机采集到的目标的边界框进行匹配找到匹配对；步骤5：根据步骤4找出的当前帧或当前帧及前一帧左右目相机采集到的目标的边界框的匹配对，计算出目标的边界框的空间点相对于相机的位置，根据步骤3中与当前帧中所述目标的边界框关联成功的前一帧中目标的边界框，使用迭代最近点ICP算法计算出相机的在当前帧与前一帧之间的运动；步骤6：根据目标的边界框的类型，对当前帧和之前的所有帧所采集的场景图像设置一个描述向量，其维度为种类不同的多种静态目标的边界框的类型，元素值分别为各类目标的边界框的个数；计算当前帧的描述向量与之前的所有帧的描述向量的距离，初筛出距离小于阈值的剩余帧；步骤7：基于步骤3的方法输出剩余帧中目标的边界框的预测结果和当前帧图像中的目标的边界框的总匹配度best；步骤8：筛选出剩余帧中best值最大的前几帧作为备选帧，重复步骤4的图像检索方法检查当前帧与几帧备选帧之间的匹配对，并将误匹配最少的一帧作为最终的回环帧，若误匹配数一样则取best最大一帧作为最终的回环帧。2.根据权利要求1所述的方法，其特征在于，采用颜色直方图将图像的像素在颜色空间中的分布Hist提取出来的步骤包括：首先，计算HSV颜色空间下的图像矩阵为I(i,j)，其中i,j分别为图像矩阵行标和列标，H,S,V分别为像素在HSV颜色空间下的色度分量，饱和度分量以及明度分量；然后，利用函数in[h，v，I(i,j)]对图像矩阵为I(i,j)进行颜色量化，即将颜色空间划分为若干区间，并统计落在区间中的像素数量；
色度域分为bin
H
个区间，饱和度域分为bin
S
个区间，h,v为直方图矩阵中的区间下标，1、2代表通道；最后，计算图像矩阵在色度与饱和度两个维度下的二维直方图矩阵Hist3.根据权利要求1所述的方法，其特征在于，所述步骤6中静态目标有两类，即交通灯与交通标志牌。4.根据权利要求1所述的方法，其特征在于，步骤3的匹配步骤包括，重复步骤1～2采集场景图像当前帧中目标的边界框，基于SORT算法对前一帧与当前帧中目标的边界框进行建模：s为目标的边界框宽高比，X中后四项为前四项相应的变化率，使用卡尔曼滤波对前一帧中目标的边界框在当前帧中的位置进行预测，前一帧的目标经卡尔曼滤波预测的边界框集合为Prediction＝{P1，P2，
…
,P
m
},当前帧的检测结果在边界框的集合为Detection＝{D1，D2，
…
,D
m
}，以这两个集合为顶点，建立带权二分图，带权二分图对应的邻接矩阵为W，则有：mdist(Xp
i
,Xq
j
)为待匹配帧边界框集合中各边界框间的马氏距离，帧间待匹配边界框的下标分别为i,j，马氏距离设置限值为T
mdist
，，Σ
‑1为边界框的m维协方差矩阵Σ的逆，两帧间目标的边界框的移动距离为move，动态系数为k，则给出动态约束：将带权二分图对应的邻接矩阵送入KM算法进行匹配，得到边界框的预测结果与当前帧中目标的边界框之间的对应关系。5.根据权利要求4所述的方法，其特征在于，步骤4中利用图像检索方法将当前帧或当
前帧及前一帧中左右目相机采集到的目标的边界框进行匹配找到匹配对的步骤包括：建立基于左目与右目中目标的边界框的相似度约束、行对准约束、尺度约束的带权二分图的邻接矩阵，将带权二分图的邻接矩阵送入KM算法进行匹配，得到左目与右目中目标的边界框之间的对应关系，若左目与右目中目标的边界框关联成功，则将该目标的边界框标记为相应的匹配对；相似度约束：EMD(sig
i
,sig
j
)≤T
EMD
Hist
i
与Hist
j
分别为左目与右目中目标的边界框的直方图矩阵，将Hist
i
转换得到的标签记作P，P＝sig(Hist
i
)，将Hist
j
转换得到的标签记作Q，Q＝sig(Hist
j
)，P＝{(p1，ω
p1
)，(p2，ω
p2
)，
…
，(p
m
，ω
pm
)}Q＝{(q1，ω
q1
)，(q2，ω
q2
)，
…
，(q
m
，ω
qm
)}其中p与q分别为P与Q中的特征，是维度相同的向量；ω则表示对应特征的权重，是一个标量，定义一个流动矩阵F，描述P调整到Q需要经历的运输过程，F(ij,)即从p
i
到q
j
的运输量；量；对目标函数的值进行归一化处理，就得到EMD指标：EMD限值为T
EMD
，EMD(P,Q)≤T
EMD

【专利技术属性】
技术研发人员：张红娟，陈志军，李文卓，钱闯，
申请(专利权)人：武汉市虎联智能科技有限公司，
类型：发明
国别省市：