点线面特征融合的回环检测方法、装置、设备和存储介质制造方法及图纸

本发明专利技术提出点线面特征融合的回环检测方法、装置、设备和存储介质，其中点线面特征融合的回环检测方法，包括：对大量图片进行训练，构建词袋模型，在回环检测中，获取当前帧与所有参考帧在词袋模型中的综合相似度，获取第一参考帧的数量，获取第一参考帧和当前帧中数量最多的旋转角度作为图片的旋转角度φ

【技术实现步骤摘要】
点线面特征融合的回环检测方法、装置、设备和存储介质


[0001]本专利技术涉及图像识别
，特别是点线面特征融合的回环检测方法、装置、设备和存储介质。

技术介绍

[0002]在自动驾驶、无人驾驶、自主移动机器人等领域中，建图与定位技术是关键技术之一，而回环检测在建图与定位技术中重要的一步。比如视觉定位系统中ORB
‑
SLAM中就运用了回环技术。在视觉定位系统中，回环检测时可有效的提升视觉建图和定位的效果，减少数据漂移和偏差，但若是回环出现了问题，将导致更大的误差。
[0003]现有的回环检测方案中主要时通过词袋模型进行回环检测，词袋模型中主要是针对点特征、线特征或者是点线特征。特别是在室内进行视觉定位时，由于室内小场景下图像采集位置受限，点特征、线特征或者是点线特征的获取受阻，从而影响检测的技术精度，最终影响定位和建图的效果。

技术实现思路

[0004]针对上述缺陷，本专利技术的目的在于提出点线面特征融合的回环检测方法、装置、设备和存储介质，能够对室内弱纹理等情况可有效的进行回环，为后续的后端优化提供更准确的信息，从而提高整个ORB
‑
SLAM定位精度。
[0005]为达此目的，本专利技术采用以下技术方案：点线面特征融合的回环检测方法，包括以下步骤：
[0006]步骤S1：对大量图片进行训练，获取图片中的角点的BRIEF描述子和线特征LBD描述子，构建词袋模型，其中词袋模型包括点特征词袋模型与线特征词袋模型；
[0007]步骤S2：在回环检测中，获取当前帧与所有参考帧在词袋模型中的综合相似度，获取第一参考帧的数量，其中第一参考帧为综合相似度满足相似度阈值的参考帧，判断第一参考帧数量是否满足数量阈值，若满足则执行步骤S3；
[0008]步骤S3：对第一参考帧和当前帧的进行点特征的提取ORB特征点，计算每个FAST角点的旋转角度，统计旋转角度，获取数量最多的旋转角度作为图片的旋转角度φ
i
；
[0009]步骤S4：对第一参考帧和当前帧的进行旋转，其旋转角度为φ
i
，获取LBD描述子；
[0010]对当前帧和N个第一参考帧进行线特征的匹配，获取线特征；
[0011]获取的线特征进入角度过滤器进行过滤；
[0012]步骤S5：采用深度图构建平面参数空间，将笛卡尔空间上的点映射到平面参数空间获取当前帧和N个第一参考帧的面特征；
[0013]步骤S6：对面特征与线特征进行关联构建，获取得到平面
‑
直线关联图；
[0014]步骤S7：对平面
‑
直线关联图进行特征匹配，获取综合得分最高的第一参考帧作为成功回环的帧。
[0015]优选的，所述步骤S1中构建词袋模型的具体方法如下：
[0016]步骤S11：在大量图片样本中随机选取n个点；
[0017]步骤S12：分别计算每一种特征与n个点的欧式距离，并选取欧式距离最小的点作为该种特征的类；
[0018]步骤S13：收集该特征的所有的类，获取该特征所有的类的均值位置作为该类的中心点；
[0019]步骤S14：重复步骤S12～13，获取所有特征的类以及该类的中心点；
[0020]步骤S15：设置节点权重，计算所有类的直径权重W
distance
以及所有类的直径D
distance
；
[0021]步骤S16：构建k
‑
d树，其中k取n，d取8，构建出词袋模型；
[0022]其中步骤S15中类的直径权重W
distance
与直径D
distance
的计算方法如下：
[0023]在每个类中选取出选择权重值最大的前四个节点w1，w2，w3和w4，4个节点的权重值分别：η1，η2，η3以及η4，4个节点的在图像上对应的像素坐标分别为：(x1,y1)，(x2,y2)，(x3,y3)以及(x4,y4)；
[0024]其中
[0025][0026]其中词袋模型的组合为：
[0027]Bag
‑
of
‑
words＝(w1,η1),(w2,η2),.....(w
n
,η
n
),(W
distance
,D
distance
)，其中w
n
为第n个节点，其中η
n
＝IDF
n
*TF
n
，IDF
i
为第n个节点的逆文本频率指数，TF
n
为第n个节点词频。
[0028]优选的，所述步骤S2中，获取当前帧与所有参考帧在词袋模型中的相似度的具体方法如下：使用L1范数分别计算当前帧与参考帧之间点特征、线特征相似性分数，其中点特征的相似度计算公式如下：
[0029][0029]和分别表示当前帧与参考帧的点特征的词袋向量；
[0030]线特征的相似度计算如下：
[0031][0031]和分别表示当前帧与参考帧的线特征的词袋向量；
[0032]其中综合相似度的计算公式如下：
[0033]S＝γS
L
+(1
‑
γ)S
P
，其中γ为设置的线特征所占的权重。
[0034]优选的，所述步骤S3中：
[0035]统计旋转角度，获取数量最多的旋转角度作为图片的旋转角φ
i
的具体步骤如下：以10度为一个区间，统计出旋转角度数量最多的角度以及该角度落在的区间，选取该区间的中间角度书作为图片的旋转角度φ
i
。
[0036]优选的，所述步骤S4中的角度过滤器过滤方法如下：
[0037]步骤S41：计算当前帧的线特征以及第一参考帧的线特征相对于图片的坐标原点之间的角度。
[0038]步骤S42：将360度平均划分为36份，并编号1
‑
36号，第一参考帧的线特征和当前帧
的线特征相对于图片的坐标原点之间的夹角角度匹配到对应的编号中；
[0039]步骤S43：统计第一参考帧中存在有最多线特征的编号，并标记为筛选编号，剔除当前帧中非筛选标号的线特征。
[0040]优选的，步骤S5的具体步骤如下：
[0041]步骤S51：将笛卡尔空间上的点映射到平面参数空间，其中映射的公式如下：
[0042][0043]其中为平面参数空间的三个轴，(n
x
,n
y
,n
z
)为笛卡尔空间下平面法向量，d为相机坐标系原点到平面的距离；
[0044]步骤S52：使用基于STING的平面提取算法对第一参考帧与当前帧的深度图进行平面特征提取，提取的的平面可表示为π＝[n
T
,d]T
，其中表示平面的单位法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.点线面特征融合的回环检测方法，其特征在于，包括以下步骤：步骤S1：对大量图片进行训练，获取图片中的角点的BRIEF描述子和线特征LBD描述子，构建词袋模型，其中词袋模型包括点特征词袋模型与线特征词袋模型；步骤S2：在回环检测中，获取当前帧与所有参考帧在词袋模型中的综合相似度，获取第一参考帧的数量，其中第一参考帧为综合相似度满足相似度阈值的参考帧，判断第一参考帧数量是否满足数量阈值，若满足则执行步骤S3；步骤S3：对第一参考帧和当前帧的进行点特征的提取ORB特征点，计算每个FAST角点的旋转角度，统计旋转角度，获取数量最多的旋转角度作为图片的旋转角度φ
i
；步骤S4：对第一参考帧和当前帧的进行旋转，其旋转角度为φ
i
，获取LBD描述子；对当前帧和N个第一参考帧进行线特征的匹配，获取线特征；获取的线特征进入角度过滤器进行过滤；步骤S5：采用深度图构建平面参数空间，将笛卡尔空间上的点映射到平面参数空间获取当前帧和N个第一参考帧的面特征；步骤S6：对面特征与线特征进行关联构建，获取得到平面
‑
直线关联图；步骤S7：对平面
‑
直线关联图进行特征匹配，获取综合得分最高的第一参考帧作为成功回环的帧。2.根据权利要求1所述的点线面特征融合的回环检测方法，其特征在于，所述步骤S1中构建词袋模型的具体方法如下：步骤S11：在大量图片样本中随机选取n个点；步骤S12：分别计算每一种特征与n个点的欧式距离，并选取欧式距离最小的点作为该种特征的类；步骤S13：收集该特征的所有的类，获取该特征所有的类的均值位置作为该类的中心点；步骤S14：重复步骤S12～13，获取所有特征的类以及该类的中心点；步骤S15：设置节点权重，计算所有类的直径权重W
distance
以及所有类的直径D
distance
；步骤S16：构建k
‑
d树，其中k取n，d取8，构建出词袋模型；其中步骤S15中类的直径权重W
distance
与直径D
distance
的计算方法如下：在每个类中选取出选择权重值最大的前四个节点w1，w2，w3和w4，4个节点的权重值分别：η1，η2，η3以及η4，4个节点的在图像上对应的像素坐标分别为：(x1,y1)，(x2,y2)，(x3,y3)以及(x4,y4)；其中其中其中词袋模型的组合为：Bag
‑
of
‑
words＝(w1,η1),(w2,η2),.....(w
n
,η
n
),(W
distance
,D
distance
)，其中w
n
为第n个节点，其中η
n
＝IDF
n
*TF
n
，IDF
i
为第n个节点的逆文本频率指数，TF
n
为第n个节点词频。3.根据权利要求1所述的点线面特征融合的回环检测方法，其特征在于，所述步骤S2中，获取当前帧与所有参考帧在词袋模型中的相似度的具体方法如下：使用L1范数分别计
算当前帧与参考帧之间点特征、线特征相似性分数，其中点特征的相似度计算公式如下：算当前帧与参考帧之间点特征、线特征相似性分数，其中点特征的相似度计算公式如下：和分别表示当前帧与参考帧的点特征的词袋向量；线特征的相似度计算如下：征的相似度计算如下：和分别表示当前帧与参考帧的线特征的词袋向量；其中综合相似度的计算公式如下：S＝γS
L
+(1
‑
γ)S
P
，其中γ为设置的线特征所占的权重。4.根据权利要求1所述的点线面特征融合的回环检测方法，其特征在于，所述步骤S3中：统计旋转角度，获取数量最多的旋转角度作为图片的旋转角φ
i
的具体步骤如下：以10度为一个区间，统计出旋转角度数量最多的角度以及该角度落在的区...

【专利技术属性】
技术研发人员：鲁仁全，雷群楼，陶杰，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：