一种同步定位与建图方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种同步定位与建图方法、装置及存储介质，包括：接收视频帧流并估计位姿信息及轨迹信息，生成地图点和选定关键帧；接收关键帧和地图点，通过2D语义分割与投影，为生成的地图点附上语义信息；针对附上语义信息的地图点和轨迹信息，执行回环检测并对地图点与轨迹信息进行全局优化。采用本发明专利技术，克服了动态物体在建图与回环检测的稳定性对ORB特征点的影响，不仅可以更好地进行全局优化，还能提供给其他应用，例如AR。确定建图制度，提升建图精度；提高了回环检测的正确率；为场景点云附加语义信息，有利于下游应用。有利于下游应用。有利于下游应用。

【技术实现步骤摘要】
一种同步定位与建图方法、装置及存储介质


[0001]本专利技术涉及通信
，特别涉及一种同步定位与建图方法、装置及存储介质。

技术介绍

[0002]视频已经成为了世界各地的电信运营商广泛关注的大热点，将成为未来移动流量增长的主要引擎。大视频时代的到来，对于电信运营商而言，将为正在进行的数字化转型带来全新的市场机会。展望未来视频业务的发展，将依然遵循体验为王的不二法则，主要集中在以下两个方面，其一，视频业务走向超高清化。其二，VR(虚拟现实，Virtual Reality)/AR(增强现实，Augmented Reality)成为视频业务的新亮点。其应用也十分广泛，包括导航、教育、客服、旅游、视频通话和直播等众多业务。对于实现AR远程协作能力，需要从视频中获取视频中的场景的模型与物体的定位，即同步建图与定位技术。
[0003]目前关于同步定位与建图的技术方案如下：
[0004]同步定位与建图方面：传统基于人工特征的视觉SLAM(同步定位与建图，simultaneous localization and mapping)系统，可以运行在搭载在单目摄像机主体上。其具体实现系统主要有三个进程：
[0005]1.Tracking(跟踪)；
[0006]2.Local Mapping(局部映射)；
[0007]3.Loop Closing(环路闭合)。
[0008]其中，Tracking主要负责在相机运动过程中对当前帧中的相机位姿和轨迹进行估计和优化，并决定是否将当前帧作为关键帧插入共视图，并用于接下来两个进程的处理。
[0009]Local Mapping接收由Tracking进程输出的关键帧，并利用共视图中的公式关系构建该关键帧的局部地图，以此生成并优化地图中的空间点位置。其中，对于空间点的生成策略，采取尽可能多的生成然后裁剪的策略，以尽可能地生成有效的地图点。
[0010]上述的Tracking以及Local Mapping基本上完成了SLAM系统所应实现的所有功能。但是，由于主体在未知场景中运动产生的累积漂移，以及前述进程大多基于帧的局部信息，需要使用Loop Closing进程来消除累积漂移，并使用共视图的全局信息来对构建的场景进行全局优化。
[0011]首先，对于累积漂移，传统SLAM系统在运行中对共视图中存在的关键帧构建基于词袋模型的数据库，每当Loop Closing接收到新的关键帧时，就通过数据库查询的方式获取Loop关键帧，并通过执行传递性的矫正算法矫正相机轨迹和和地图点。对于全局优化，SLAM系统提出了essential graph(本质图)的概念，essential graph是共视图的子图，但仅保留了共视关系较强的关键帧之间的边。根据SLAM系统中的实验结果，使用essential graph进行全局优化，能够达到相当于直接使用共视图优化的效果，而且能够节省大量计算资源。
[0012]现有技术的不足在于，当场景中存在动态物体时，建图与回环检测的稳定性容易受到动态物体上产生的ORB特征点影响。

技术实现思路

[0013]本专利技术提供了一种同步定位与建图方法、装置及存储介质，用以解决当场景中存在动态物体时，建图与回环检测的稳定性容易受到动态物体上产生的ORB特征点影响的问题。
[0014]本专利技术提供以下技术方案：
[0015]一种同步定位与建图方法，包括：
[0016]接收视频帧流并估计位姿信息及轨迹信息，生成地图点和选定关键帧；
[0017]接收关键帧和地图点，通过2D语义分割与投影，为生成的地图点附上语义信息；
[0018]针对附上语义信息的地图点和轨迹信息，执行回环检测并对地图点与轨迹信息进行全局优化。
[0019]实施中，接收视频帧流并估计位姿信息，包括：
[0020]由摄像机拍摄到的视频流和由惯性运动模块记录的惯性信息输入到基于深度学习的视觉里程计；
[0021]基于深度学习的视觉里程计使用CNN提取视频帧的深度信息进行初始化后，根据ORB特征点估计相机移动轨迹信息及位姿信息。
[0022]实施中，基于深度学习的视觉里程计使用CNN提取视频帧的深度信息进行初始化后，根据ORB特征点估计相机移动轨迹信息及位姿信息，包括：
[0023]CNN深度预测网络初始化；
[0024]采用ORB特征点进行关键点跟踪，一方面基于多帧的关键点对应关系，进行图像反投影得到空间地图点，另一方面根据多帧间的图像变换，构成视觉误差函数；
[0025]通过IMU模块预积分得到惯性误差函数，将视觉与惯性误差联合优化求解，得到位姿信息。
[0026]实施中，基于深度学习的视觉里程计使用CNN提取视频帧的深度信息进行初始化后，根据定制化ORB特征点描述来估计位姿信息。
[0027]实施中，基于深度学习的视觉里程计使用CNN提取视频帧的深度信息进行初始化后，根据定制化ORB特征点描述估计相机移动轨迹信息，包括：
[0028]在CNN深度预测初始化时，通过CNN深度预测网络确立及初始化系统；
[0029]在采用ORB特征点进行关键点跟踪时，通过ORB关键点追踪帧间关键点；
[0030]对每一帧中的关键点矩阵变换后，与帧中的实际匹配点比较，构成视觉误差方程；
[0031]在进行图像反投影得到空间地图点时，对于采集到的图像像素点，反投影至三维空间，建立像素点与地图点的关联，输出局部地图点；
[0032]得到位置、速度与旋转角度的增量误差方程，与视觉误差方程紧耦合联合优化；
[0033]得到关键帧间变换矩阵，结合初始位姿，得到相机持续位姿轨迹，输出位姿信息。
[0034]实施中，基于深度学习的视觉里程计使用CNN提取视频帧的深度信息进行初始化后，根据ORB特征点估计相机移动轨迹信息及位姿信息，包括：
[0035]在CNN深度预测初始化时，CNN深度预测网络预测序列图像的深度，得到深度图，帮助尺度确立及快速初始化系统；
[0036]在采用ORB特征点进行关键点跟踪时，提取有代表性的ORB关键点，并计算关键点ORB描述子向量，依据关键点描述子向量空间距离，判断不同关键帧间的同一特征点，并追
踪帧间关键点；
[0037]对每一帧I
0:n
＝{I0,I1…
,I
n
}，I
k
帧中的关键点P
k
，经过T
k
矩阵变换后为P
k
′
+1
，与I
k+1
帧中的实际匹配点P
k+1
比较，构成视觉误差方程e
v
；
[0038]在进行图像反投影得到空间地图点时，相机采集到的图像像素点，根据坐标位置通过相机几何模型系数矩阵，反投影至三维空间，建立像素点与地图点的关联，输出局部地图点；
[0039]联合IMU传本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种同步定位与建图方法，其特征在于，包括：接收视频帧流并估计位姿信息及轨迹信息，生成地图点和选定关键帧；接收关键帧和地图点，通过2D语义分割与投影，为生成的地图点附上语义信息；针对附上语义信息的地图点和轨迹信息，执行回环检测并对地图点与轨迹信息进行全局优化。2.如权利要求1所述的方法，其特征在于，接收视频帧流并估计位姿信息，包括：由摄像机拍摄到的视频流和由惯性运动模块记录的惯性信息输入到基于深度学习的视觉里程计；基于深度学习的视觉里程计使用深度神经网络CNN提取视频帧的深度信息进行初始化后，根据定向快速旋转ORB特征点估计相机移动轨迹信息及位姿信息。3.如权利要求2所述的方法，其特征在于，基于深度学习的视觉里程计使用CNN提取视频帧的深度信息进行初始化后，根据ORB特征点估计相机移动轨迹信息及位姿信息，包括：CNN深度预测网络初始化；采用ORB特征点进行关键点跟踪，一方面基于多帧的关键点对应关系，进行图像反投影得到空间地图点，另一方面根据多帧间的图像变换，构成视觉误差函数；通过惯性测量单元IMU模块预积分得到惯性误差函数，将视觉与惯性误差联合优化求解，得到位姿信息。4.如权利要求3所述的方法，其特征在于，基于深度学习的视觉里程计使用CNN提取视频帧的深度信息进行初始化后，根据定制化ORB特征点描述来估计位姿信息。5.如权利要求4所述的方法，其特征在于，基于深度学习的视觉里程计使用CNN提取视频帧的深度信息进行初始化后，根据定制化ORB特征点描述估计相机移动轨迹信息，包括：在CNN深度预测初始化时，通过CNN深度预测网络确立及初始化系统；在采用ORB特征点进行关键点跟踪时，通过ORB关键点追踪帧间关键点；对每一帧中的关键点矩阵变换后，与帧中的实际匹配点比较，构成视觉误差方程；在进行图像反投影得到空间地图点时，对于采集到的图像像素点，反投影至三维空间，建立像素点与地图点的关联，输出局部地图点；得到位置、速度与旋转角度的增量误差方程，与视觉误差方程紧耦合联合优化；得到关键帧间变换矩阵，结合初始位姿，得到相机持续位姿轨迹，输出位姿信息。6.如权利要求3或4或5所述的方法，其特征在于，基于深度学习的视觉里程计使用CNN提取视频帧的深度信息进行初始化后，根据ORB特征点估计位姿信息，包括：在CNN深度预测初始化时，CNN深度预测网络预测序列图像的深度，得到深度图，帮助尺度确立及快速初始化系统；在采用ORB特征点进行关键点跟踪时，提取有代表性的ORB关键点，并计算关键点ORB描述子向量，依据关键点描述子向量空间距离，判断不同关键帧间的同一特征点，并追踪帧间关键点；对每一帧I
0:n
＝{I0,I1…
,I
n
}，I
k
帧中的关键点P
k
，经过T
k
矩阵变换后为P
′
k+1
，与I
k+1
帧中的实际匹配点P
k+1
比较，构成视觉误差方程e
v
；在进行图像反投影得到空间地图点时，相机采集到的图像像素点，根据坐标位置通过相机几何模型系数矩阵，反投影至三维空间，建立像素点与地图点的关联，输出局部地图
点；联合IMU传感器惯性参数预积分处理，得到位置、速度与旋转角度的增量误差方程e
b
，与视觉误差方程e
v
紧耦合联合优化，总的目标函数为：e＝e
v
+e
b
；得到关键帧间变换矩阵T
k
(k＝1,2
…
,n)，结合初始位姿C0，得到相机持续位姿轨迹C
n
＝C0×
T1×…×
T
n
，输出持续位姿信息。7.如权利要求1所述的方法，其特征在于，生成的地图点附上语义信息，包括：基于场景感知的视觉同步定位与地图绘制VSLAM根据接收到的关键帧进行语义分割并生成地图点云，将语义分割结果投影至地图点云，形成带有语义信息的地图。8.如权利要求7所述的方法，其...

【专利技术属性】
技术研发人员：李阳，杨蕾，宋沫飞，刘震东，许成，余海涛，
申请(专利权)人：东南大学中国移动通信集团有限公司，
类型：发明
国别省市：