基于SLAM的远程操作场景三维重建方法技术

针对现有的航天员远场操作场景的虚拟仿真系统存在实效性差和实时诱导反馈能力不足的问题，本发明专利技术公开了一种基于SLAM的远程操作场景三维重建方法，其具体步骤包括：采用RGB

【技术实现步骤摘要】
基于SLAM的远程操作场景三维重建方法


[0001]本专利技术涉及载人航天领域，具体涉及到一种基于SLAM的远程操作场景三维重建方法。

技术介绍

[0002]目前,用于航天员在轨空间操作的地面训练的虚拟仿真系统中,航天员要获得设备的操作结果主要有两种途径,一是需地面任务指挥人员或远程教员通过语音通报获得；二是航天员转移到仪表机柜位置通过调取仪表信息页面,根据参数值人工判断操作结果是否正确。目前采取的两种方法均需中断航天员空间操作流程，其中语音通报获取方式航天员需中断操作训练，等待远程支持人员判读语音通报，导致航天员空间操作对地面支持系统的依赖性强，同时由于天地传输延迟导致航天员空间操作及训练持续时间长，效率低。而采用仪表判读方法，航天员需要在空间操作位置与仪表位置之间频繁来回切换，加重航天员的负担，易受环境影响，出错率高，而且过于依赖航天员的个人技能和经验。同时，目前基于增强现实/混合现实的新型航天员操作辅助系统都是“以计算机为中心”的程序化引导系统，普适能力差，仅实现了虚拟信息和真实场景的增强现实叠加，尚未做到对操作过程的实时状态自主判断与实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于SLAM的远程操作场景三维重建方法，其特征在于，其具体步骤包括：图像获取，利用获取的图像进行特征/像素匹配，再进行最优相机位姿估计，闭环检测和建图，网格地图生成。2.如权利要求1所述的基于SLAM的远程操作场景三维重建方法，其特征在于，所述的图像获取，采用RGB
‑
D相机对航天员操作场景进行图像采集，获取航天员操作场景的RGB图和Depth图；Depth图用于记录相应的RGB图上每个像素点对应的空间点的深度值。3.如权利要求2所述的基于SLAM的远程操作场景三维重建方法，其特征在于，在相机运动过程中，利用RGB
‑
D相机逐帧获得图像，并对获得的每帧图像都打上时间戳。4.如权利要求1所述的基于SLAM的远程操作场景三维重建方法，其特征在于，所述的利用获取的图像进行特征/像素匹配，再进行最优相机位姿估计，是根据当前帧图像与上一帧图像的匹配信息来估算当前相机的位姿，采用迭代最近点法实现两帧图像的配准，利用RGB直接匹配法通过最小化空间点对应的图像RGB像素光度误差来优化相机位姿态，将迭代最近点法和RGB直接匹配法得到的结果进行加权融合，得到相机位姿的估计结果。5.如权利要求4所述的基于SLAM的远程操作场景三维重建方法，其特征在于，所述的采用迭代最近点法实现两帧图像的配准，其具体包括，将每帧图像的2D点数据转换为3D点云数据，利用两帧图像的3D点云数据的距离最小为约束条件，计算得到两帧图像之间的旋转矩阵和平移向量，从而实现两帧图像的配准。6.如权利要求1所述的基于SLAM的远程操作场景三维重建方法，其特征在于，所述的闭环检测和建图，利用相机位姿的估计结果，将各个时刻的3D点云数据配准并融合成一个完整的航天员操作场景的三维地图。7.如权利要求6所述的基于SLAM的远程操作场景三维重建方法，其特征在于，闭环检测的实现包含局部优化与全局优化两个步骤，局部优化的实现步骤为：利用位姿跟踪算法求解航天员所操作设备的位姿，根据位姿将不同图像的3D点云数据进行融合；按照时间将融合后的3D点云数据划分成ACTIVE和INACTIVE两个集合，ACTIVE为随时间发生变化的3D点云数据的集合，INACTIVE为不随时间发生变化的3D点云数据的集合；根据求解得到的航天员所操作设备的位姿，将ACTIVE集合和INACTIVE集合分别在图像上进行投影，得到两幅点云图像，并对其进行配准；全局优化包括：按照邻接关系，将RGB
‑
D相机获取的整个序列图像划分成等大小的图像块；对每个图像块进行块内优化，块内优化后，用块内的第一帧图像代表该块，对块内所有帧提取的特征做融合，该块的特征用融合后的特征表示；在图像块间建立匹配关系，...

【专利技术属性】
技术研发人员：何宁，许振瑛，晁建刚，张炎，邓华，黄鹏，杜芳，林万洪，杨进，
申请(专利权)人：中国人民解放军六三九一九部队，
类型：发明
国别省市：