【技术实现步骤摘要】
本专利技术涉及定位和建图领域，尤其涉及一种联合优化点线面特征和动态分割的建图方法及装置。
技术介绍
1、同时定位和建图(slam)是机器人在复杂和未知环境中进行感知和认知的一项重要技术。在过去的二十年里，滤波和非线性优化研究的进步推动了视觉slam的发展，产生了丰硕的成果，可以分为单目、双目和rgb-d slam。对于室内环境，通常使用可以直接测量深度的rgb-d slam系统。对于开阔的室外环境，通常使用单目和双目slam系统。目前视觉slam主要应用在机器人、移动终端和头戴式设备中。鉴于其低成本和视觉效果丰富的特点，近年来在ar应用和三维重建也得到了丰富的应用。
2、然而，现有的技术存在一些问题，在常用的动态slam剔除动态特征点的方法中，多视图几何判别法需要依赖于严格的环境假设，鲁棒性不足，容易定位失败，大部分都是将重投影误差超过阈值的特征进行直接剔除，当动态对象占据大部分图像视野时，会造成大量的误判，而深度学习判别法可识别的动态对象种类有限，仅限于神经网络模型训练集的有限种类，而且无法准确识别图像中不完整的动态对象，容易造成漏检。
技术实现思路
1、本专利技术提供了一种联合优化点线面特征和动态分割的建图方法、装置、终端设备及存储介质，能够实现对不同格网范围、不同播发频率的联合优化点线面特征和动态分割的建图。
2、本专利技术提供了一种联合优化点线面特征和动态分割的建图方法，包括：获取彩色图像，以及彩色图像所对应的深度图像；
3、根据所述彩色
4、根据所述彩色图像所对应的点特征和线特征，以及所述深度图像所对应的平面特征，进行位姿和地图初始化，生成具有点线面特征的初始化地图；
5、根据所述深度图像中各个像素的深度值，将初始化图像划分成各个区域，并对每一个区域赋予预设的权重值，生成初始化的静态概率地图；
6、根据所述彩色图像所对应的点特征和线特征，以及所述深度图像所对应的平面特征，构建用于位姿估计的点、线和平面特征的重投影误差项，以及构建用于动态对象分割的残差正则项、区域正则项和空间正则项；根据所述重投影误差项、残差正则项、区域正则项和空间正则项，生成用于联合优化位姿和动态对象分割的目标函数，以通过所述目标函数计算生成位姿状态量和各个区域特征的权重估计值；
7、根据所述位姿状态量和各个区域特征的权重估计值，对所述静态概率地图进行更新和优化，并构建地图表面。
8、进一步地，根据所述彩色图像所对应的点特征和线特征，以及所述深度图像所对应的平面特征，进行位姿和地图初始化，获取具有点线面特征的初始化地图，包括：
9、根据深度图提供的深度信息，将所述点特征和线特征反投影至彩色图所对应的预设相机坐标系下，同时将所述平面特征投影至所述预设相机坐标系下，生成具有点线面特征的初始化地图。
10、进一步地，根据所述深度图像中各个像素的深度值，将初始化图像划分成各个区域，并对每一个区域赋予预设的权重值，生成初始化的静态概率地图，包括：
11、根据所述深度图像中各个像素的深度值，对所述初始化图像进行基于深度值的k-means聚类，将初始化图像分割为若干个区域，并对同一区域内的点特征、线特征以及平面特征赋予相同的预设权重值，生成初始化的静态概率地图。
12、进一步地，通过以下公式构建用于位姿估计的点、线和平面特征的重投影误差项：
13、
14、
15、
16、
17、
18、其中，ep，el和eπ分别为点、线和平面特征的重投影误差项；pobs表示点特征的像素坐标，π(·)表示相机模型的投影函数；pw表示地图点的坐标，rcw和tcw分别表示当前帧的姿态和位置，tcw表示由rcw和tcw构成的位姿，表示将平面系数从世界坐标系转换至相机坐标系的转换矩阵；表示图像中的线特征的法向量；表示线特征的端点，x∈{start，end}；q(πc)表示平面πc的球坐标参数化形式；πw表示在世界坐标系下的平面系数；和表示平行和垂直平面的投影误差项；qn(·)表示平面法向量的球坐标参数化形式，nc表示平面法向量在相机坐标系的坐标，nw表示平面法向量在世界坐标系的坐标，r⊥表示旋转90°的旋转矩阵；e(ξ，b)表示点、线和平面特征的重投影误差，ξ表示位姿状态量的李代数集合，b表示区域特征的权重的集合；p表示点特征，表示点特征集合；bi(·)表示包含相应特征的区域i的权重；f(r)表示变量为r的cauchy鲁棒核函数；l表示线特征，表示线特征集合；k表示平面特征；∏表示平面特征集合；πk表示相同平面约束；表示平行平面约束；垂直平面约束；表示协方差矩阵的逆矩阵；c表示低残差和高残差的边界。
19、进一步地，通过以下公式构建残差正则项：
20、
21、
22、
23、其中，se(b)表示残差正则项；k表示区域数量；是一个控制参数；表示每个区域i中的观测到的地图元素总数；是当前帧的点线面平均残差；rmin表示最小的残差二范数；
24、通过以下公式构建区域正则项：
25、
26、其中，sr(b)区域正则项；g是一个邻接矩阵，当区域i和j在空间上相邻时，对应矩阵元素g(i，j)为1，否则为0；λr表示sr(b)相较于其他残差项和正则项的权重；
27、通过以下公式构建空间正则项：
28、
29、
30、
31、
32、
33、其中，sg(b)表示空间正则项，λp、和λπ均表示在整体优化中对这些几何约束项进行加权的权重，和∏i分别表示区域i观测到的地图点、线和平面特征的集合，zd(·)表示特征在当前帧相机坐标系的深度，zm(·)表示特征在上一帧相机坐标系的深度，xk表示特征点，和表示线特征的两个端点，πk表示平面，|zd(xk)-zm(xk)|表示特征点在两帧之间的深度差，和表示线特征两个端点在两帧之间的深度差，|zd(πk)-zm(πk)|表示平面在两帧之间的深度差，kp、kp和kp均是调节对应深度差的影响程度的控制参数，和分别表示点特征、线特征和面特征的空间一致性对权重优化过程的影响参数。。
34、进一步地，所述用于联合优化位姿和动态对象分割的目标函数为：
35、s(b)＝se(b)+sr(b)+sg(b)
36、
37、其中，s(b)表示用于动态分割的约束项；ξ表示位姿状态量的李代数集合；b表示区域特征权重的集合。
38、进一步地，所述根据所述位姿状态量和各个区域特征的权重估计值，对所述静态概率地图进行更新和优化，包括：
39、通过以下公式，对所述静态概率地图中地图元素的权重进行优化：
40、
41本文档来自技高网...
【技术保护点】
1.一种联合优化点线面特征和动态分割的建图方法，其特征在于，包括：
2.如权利要求1所述的联合优化点线面特征和动态分割的建图方法，其特征在于，根据所述彩色图像所对应的点特征和线特征，以及所述深度图像所对应的平面特征，进行位姿和地图初始化，获取具有点线面特征的初始化地图，包括：
3.如权利要求2所述的联合优化点线面特征和动态分割的建图方法，其特征在于，根据所述深度图像中各个像素的深度值，将初始化图像划分成各个区域，并对每一个区域赋予预设的权重值，生成初始化的静态概率地图，包括：
4.如权利要求3所述的联合优化点线面特征和动态分割的建图方法，其特征在于，通过以下公式构建用于位姿估计的点、线和平面特征的重投影误差项：
5.如权利要求4所述的联合优化点线面特征和动态分割的建图方法，其特征在于，通过以下公式构建残差正则项：
6.如权利要求5所述的联合优化点线面特征和动态分割的建图方法，其特征在于，所述用于联合优化位姿和动态对象分割的目标函数为：
7.如权利要求6所述的联合优化点线面特征和动态分割的建图方法，其特征在于，
8.如权利要求7所述的联合优化点线面特征和动态分割的建图方法，其特征在于，在生成初始化的静态概率地图之后，还包括：
9.如权利要求8所述的联合优化点线面特征和动态分割的建图方法，其特征在于，在根据所述彩色图像，获取所述彩色图像所对应的点特征以及线特征，根据所述深度图像，获取所述深度图像所对应的平面特征之后，还包括：
10.一种联合优化点线面特征和动态分割的建图装置，其特征在于，包括：图像获取模块、特征获取模块、初始化地图模块、静态概率地图模块、特征权重模块以及地图构建模块；
...【技术特征摘要】
1.一种联合优化点线面特征和动态分割的建图方法，其特征在于，包括：
2.如权利要求1所述的联合优化点线面特征和动态分割的建图方法，其特征在于，根据所述彩色图像所对应的点特征和线特征，以及所述深度图像所对应的平面特征，进行位姿和地图初始化，获取具有点线面特征的初始化地图，包括：
3.如权利要求2所述的联合优化点线面特征和动态分割的建图方法，其特征在于，根据所述深度图像中各个像素的深度值，将初始化图像划分成各个区域，并对每一个区域赋予预设的权重值，生成初始化的静态概率地图，包括：
4.如权利要求3所述的联合优化点线面特征和动态分割的建图方法，其特征在于，通过以下公式构建用于位姿估计的点、线和平面特征的重投影误差项：
5.如权利要求4所述的联合优化点线面特征和动态分割的建图方法，其特征在于，通过以下公式构建残差正则项：
6.如权利要求5...
【专利技术属性】
技术研发人员：朱祥维，李天赐，姚荷雄，周靖怡，沈丹，梁晓琳，马岳鑫，翁淇臻，
申请(专利权)人：中山大学·深圳，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。