基于边缘语义的视觉里程计方法、装置、存储介质及设备制造方法及图纸

本发明专利技术基于边缘语义的视觉里程计方法、装置、存储介质及设备。所述基于边缘语义的视觉里程计方法包括：提取图像序列的边缘特征和语义信息，并分别对这二者进行距离变换，以得到边缘距离残差和语义距离残差；利用所述语义距离残差对所述边缘距离残差进行约束，并联合非线性优化的边缘距离误差和语义距离误差估计相机的相对运动。本发明专利技术联合优化边缘和语义距离误差的边缘语义视觉里程计，能够充分利用语义信息来提升运动估计的鲁棒性和精确性。

【技术实现步骤摘要】
基于边缘语义的视觉里程计方法、装置、存储介质及设备
本专利技术涉及视觉里程计
，特别是涉及基于边缘语义的视觉里程计方法、装置、存储介质及设备。
技术介绍
近年来，视觉同步定位与地图构建(VisualSimultaneousLocalizationAndMapping,vSLAM)的研究引起了机器人界和计算机视觉界的极大关注。从相机获取的图像可以提供丰富的信息，在卫星定位系统无法工作的环境下，利用视觉数据进行位置和方向的精确估计在移动机器人的导航和控制、虚拟现实(VirtualReality,VR)和增强现实(AugmentedReality,AR)等应用中具有重要的意义。视觉里程计(VisualOdometry,VO)作为SLAM的前端，主要研究连续图像的相机运动估计。经过学者们多年的研究，涌现出许多优秀的vSLAM/VO工作，例如基于特征点的方法，使用从图像中提取的特征点，进行帧间匹配，完成位姿估计；直接法基于光度不变假设，使用从图像中提取的所有像素强度信息来完成位姿估计；而基于边缘的方法来进行边缘配准。r>众所周知，基于特本文档来自技高网...

【技术保护点】
1.一种基于边缘语义的视觉里程计方法，其特征在于，包括：/n提取图像序列的边缘特征和语义信息，并分别对这二者进行距离变换，以得到边缘距离残差和语义距离残差；/n利用所述语义距离残差对所述边缘距离残差进行约束，并联合非线性优化的边缘距离误差和语义距离误差估计相机的相对运动。/n

【技术特征摘要】
1.一种基于边缘语义的视觉里程计方法，其特征在于，包括：
提取图像序列的边缘特征和语义信息，并分别对这二者进行距离变换，以得到边缘距离残差和语义距离残差；
利用所述语义距离残差对所述边缘距离残差进行约束，并联合非线性优化的边缘距离误差和语义距离误差估计相机的相对运动。


2.根据权利要求1所述的方法，其特征在于，所述非线性优化的函数公式为：






其中，ξrc表示相机的相对运动，表示最佳的相对运动，p表示当前帧的边缘像素位置(px,py)，是当前帧中具有有效深度的边缘像素集，Ee(p)和Es(p)分别表示边缘距离误差和语义距离误差，λ是调整边缘距离误差和语义距离误差影响的平衡因子；re(p)和rs(p)分别表示边缘距离残差和语义距离残差，∈≥1，αp是限制边缘距离残差re(p)和语义距离残差rs(p)之间的差的变量。


3.根据权利要求2所述的方法，其特征在于，所述边缘距离误差Ee(p)的计算公式为：






其中，边缘距离残差re(p)＝DTe(τ(ξrc,p,Dc(p)))，DTe表示参考帧的边缘距离变换图，τ是当前帧的像素点与参考帧中匹配的像素点之间存在的变换方程，Dc(p)为像素点p对应的深度值；为Huber阈值，是Huber权重。


4.根据权利要求3所述的方法，其特征在于，所述边缘距离变换图的每个像素值是从像素位置到最近的边缘点的最小距离。


5.根据权利要求2所述的方法，其特征在于，所述语义距离误差Es(p)的计算公式为：

【专利技术属性】
技术研发人员：李嘉茂，彭镜铨，刘衍青，朱冬晨，张晓林，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：上海;31