本申请公开了一种SLAM定位方法、装置、电子设备和可读存储介质，所述SLAM定位方法包括：获取双目鱼眼摄像头依据时序性采集的视觉图像数据流，对视觉图像数据流的各图像帧进行灰度化处理得到灰度图像数据流，识别灰度图像数据流中的DSO特征，采用光流法对DSO特征进行特征匹配处理，得到DSO匹配对；依据DSO匹配对在灰度图像数据流中的位置信息，确定头盔本体当前的初始位姿；对初始位姿进行动态优化，得到目标优化位姿。本申请能在视觉环境复杂的情况下，更好地提升视觉SLAM的位姿定位精度。更好地提升视觉SLAM的位姿定位精度。更好地提升视觉SLAM的位姿定位精度。
【技术实现步骤摘要】
SLAM定位方法、装置、电子设备和可读存储介质
[0001]本申请涉及SLAM
，尤其涉及一种SLAM定位方法、装置、电子设备和可读存储介质。
技术介绍
[0002]目前，SLAM(simultaneous localization and mapping，即时定位与地图构建)技术已越来越发展成熟，现代流行的视觉SLAM系统大概可以分为前端和后端。前端完成数据关联，相当于VO(Visual Odometry，视觉里程计)，通过VST头显设备上的摄像头对拍摄的图像进行处理，研究帧与帧之间变换关系，完成实时的位姿跟踪，计算位姿变化，当VST头显设备中设有IMU传感器采集位姿信息时，也可参与融合计算(即VIO，Visual Inertial Odometry视觉惯性里程计的做法)，后端主要对前端的输出结果进行优化，利用滤波理论或者优化理论进行树或图的优化，得到最优的位姿估计和地图。随着SLAM技术的普遍应用，6DoF(degree of freedom，自由度)追踪与SLAM相结合，沉浸式的VR(Virtual Reality，虚拟现实)或AR(Augmented Reality，增强现实)体验已成为可能。使用者可以摆脱标识图的束缚，进行实时的位姿定位与地图构建，从而在虚拟内容上产生更加沉浸和逼真的体验。
[0003]而现在主流的视觉SLAM方法有两种，分别是基于特征法的SLAM，以及基于直接法的SLAM，其中：
[0004]基于特征法的SLAM：基于特征法的视觉里程计是在图像中提取特征点并计算描述子，通过描述子实现特征匹配，通过计算最小化重投影误差来估计当前帧的位姿，但是基于特征法的SLAM很难在视觉环境为缺少特征的弱纹理环境中运行，视觉环境中缺少纹理时，难以提取足够数量的特征点，导致位姿定位精度较低。
[0005]基于直接法的SLAM：基于直接法的视觉里程计仅提取特征点而不计算描述子，通过计算光流得到相邻两个图像帧之间特征点的匹配关系，之后通过计算最小化光度误差估计位姿信息，无需依赖特征点，只要图像中存在像素梯度，便可顺利实时运行。但是由于该方法基于一个很强的灰度不变假设，即基于直接法的SLAM很难在视觉环境为环境光照变化较大的环境中运行，在环境光照变化明显时，光流法的运动跟踪策略使其位姿定位精度出现较大的偏差。
[0006]因此，如何在视觉环境复杂的情况下，更好地提升视觉SLAM的位姿定位精度，成为亟待解决的技术问题。
技术实现思路
[0007]本申请的主要目的在于提供一种SLAM定位方法、装置、电子设备和可读存储介质，旨在解决如何在视觉环境复杂的情况下，更好地提升视觉SLAM的位姿定位精度的技术问题。
[0008]为实现上述目的，本申请提供一种SLAM定位方法，所述SLAM定位方法应用于VST头显设备，所述VST头显设备包括头盔本体，以及固连于所述头盔本体的双目鱼眼摄像头，所
述SLAM定位方法包括：
[0009]获取所述双目鱼眼摄像头依据时序性采集的视觉图像数据流，对所述视觉图像数据流的各图像帧进行灰度化处理得到灰度图像数据流；
[0010]识别所述灰度图像数据流中的DSO特征，基于光流法对所述DSO特征进行特征匹配处理，得到DSO匹配对；
[0011]依据所述DSO匹配对在所述灰度图像数据流中的位置信息，确定所述头盔本体当前的初始位姿；
[0012]对所述初始位姿进行动态优化，得到目标优化位姿。
[0013]可选地，所述依据所述DSO匹配对在所述灰度图像数据流中的位置信息，确定所述头盔本体当前的初始位姿的步骤包括：
[0014]采用逆向光流法对所述DSO匹配对进行校准，得到DSO校准对；
[0015]依据所述DSO校准对在所述灰度图像数据流中的位置信息，结合最小化光度误差法计算得到所述头盔本体当前的初始位姿。
[0016]可选地，所述对所述初始位姿进行动态优化，得到目标优化位姿的步骤包括：
[0017]从所述DSO校准对中提取ORB特征描述子和LBD特征描述子，并对所述ORB特征描述子和所述LBD特征描述子进行聚类，得到所述灰度图像数据流中的点线特征对；
[0018]依据所述点线特征对在所述灰度图像数据流中的位置信息，结合视觉重投影误差法计算得到所述头盔本体当前的目标优化位姿。
[0019]可选地，所述VST头显设备还包括固连于所述头盔本体的IMU传感器，所述对所述ORB特征描述子和所述LBD特征描述子进行聚类，得到所述灰度图像数据流中的点线特征对的步骤之后包括：
[0020]基于所述IMU传感器采集所述头盔本体当前的惯性测量数据，并对所述惯性测量数据进行预积分，得到惯导位姿变换数据；
[0021]依据所述惯导位姿变换数据，校准所述灰度图像数据流中的所述点线特征对，得到惯导校准对；
[0022]所述依据所述点线特征对在所述灰度图像数据流中的位置信息，结合视觉重投影误差法计算得到所述头盔本体当前的目标优化位姿的步骤包括：
[0023]依据所述惯导校准对在所述灰度图像数据流中的位置信息，结合视觉重投影误差法计算得到所述头盔本体当前的目标优化位姿。
[0024]可选地，所述对所述视觉图像数据流的各图像帧进行灰度化处理得到灰度图像数据流的步骤之后包括：
[0025]将所述灰度图像数据流输入至直接法里程计的前端约束中，选取得到关键帧；
[0026]累计所述关键帧的数量；
[0027]若所述关键帧的数量达到预设数量阈值，则触发所述关键帧的视觉重定位，将所述视觉重定位的结果，添加至所述直接法里程计的后端约束中，并将累计的所述关键帧的数量清零。
[0028]可选地，所述依据所述DSO匹配对在所述灰度图像数据流中的位置信息，确定所述头盔本体当前的初始位姿的步骤包括：
[0029]将所述DSO匹配对在所述灰度图像数据流中的位置信息输入至所述后端约束中，
得到消除累积误差后的所述位置信息；
[0030]依据消除累积误差后的所述位置信息，结合最小化光度误差法计算得到所述头盔本体当前的初始位姿。
[0031]可选地，所述将所述DSO匹配对在所述灰度图像数据流中的位置信息输入至所述后端约束中，得到消除累积误差后的所述位置信息的步骤包括：
[0032]将所述DSO匹配对在所述灰度图像数据流中的位置信息输入至所述后端约束中，基于所述后端约束，对所述DSO匹配对在所述灰度图像数据流中的位置信息进行跟踪匹配，识别出所述灰度图像数据流中的关键帧和冗余帧；
[0033]从所述灰度图像数据流中剔除所述冗余帧，并将所述关键帧中的所述DSO匹配对的帧间估计坐标信息，作为消除累积误差后的所述位置信息。
[0034]本申请还提供一种SLAM定位装置，所述SLAM定位装置应用于VST头显设备，所述VST头显设备包括头盔本体，以及固连于所述头盔本体的双目鱼眼摄像头，所述SLAM定位装置包括：
[0035]视本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种SLAM定位方法，其特征在于，所述SLAM定位方法应用于VST头显设备，所述VST头显设备包括头盔本体，以及固连于所述头盔本体的双目鱼眼摄像头，所述SLAM定位方法包括：获取所述双目鱼眼摄像头依据时序性采集的视觉图像数据流，对所述视觉图像数据流的各图像帧进行灰度化处理得到灰度图像数据流；识别所述灰度图像数据流中的DSO特征，基于光流法对所述DSO特征进行特征匹配处理，得到DSO匹配对；依据所述DSO匹配对在所述灰度图像数据流中的位置信息，确定所述头盔本体当前的初始位姿；对所述初始位姿进行动态优化，得到目标优化位姿。2.如权利要求1所述的SLAM定位方法，其特征在于，所述依据所述DSO匹配对在所述灰度图像数据流中的位置信息，确定所述头盔本体当前的初始位姿的步骤包括：采用逆向光流法对所述DSO匹配对进行校准，得到DSO校准对；依据所述DSO校准对在所述灰度图像数据流中的位置信息，结合最小化光度误差法计算得到所述头盔本体当前的初始位姿。3.如权利要求2所述的SLAM定位方法，其特征在于，所述对所述初始位姿进行动态优化，得到目标优化位姿的步骤包括：从所述DSO校准对中提取ORB特征描述子和LBD特征描述子，并对所述ORB特征描述子和所述LBD特征描述子进行聚类，得到所述灰度图像数据流中的点线特征对；依据所述点线特征对在所述灰度图像数据流中的位置信息，结合视觉重投影误差法计算得到所述头盔本体当前的目标优化位姿。4.如权利要求3所述的SLAM定位方法，其特征在于，所述VST头显设备还包括固连于所述头盔本体的IMU传感器，所述对所述ORB特征描述子和所述LBD特征描述子进行聚类，得到所述灰度图像数据流中的点线特征对的步骤之后包括：基于所述IMU传感器采集所述头盔本体当前的惯性测量数据，并对所述惯性测量数据进行预积分，得到惯导位姿变换数据；依据所述惯导位姿变换数据，校准所述灰度图像数据流中的所述点线特征对，得到惯导校准对；所述依据所述点线特征对在所述灰度图像数据流中的位置信息，结合视觉重投影误差法计算得到所述头盔本体当前的目标优化位姿的步骤包括：依据所述惯导校准对在所述灰度图像数据流中的位置信息，结合视觉重投影误差法计算得到所述头盔本体当前的目标优化位姿。5.如权利要求1所述的SLAM定位方法，其特征在于，所述对所述视觉图像数据流的各图像帧进行灰度化处理得到灰度图像数据流的步骤之后包括：将所述灰度图像数据流输入至直接法里程计的前端约束中，选取得到关键帧；累计所述关键帧的数量；若所述关键帧的数量达到预设数量阈...
【专利技术属性】
技术研发人员：严小天，郭秋华，王惠青，刘浩然，刘鲁峰，
申请(专利权)人：歌尔股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。