基于深度学习的航天员操作设备状态识别方法技术

本发明专利技术公开了一种基于深度学习的航天员操作设备状态识别方法，其具体包括：对航天员空间操作场景进行重建与匹配；采用空间感知方法，对航天员所操作设备进行特征提取与筛选；采用深度学习方法，对航天员所操作设备进行状态识别。对在空间操作场景中的航天员进行定位，并获取其观察视角，确定航天员所操作设备，采用基于SLAM的三维重构方法等比例构建空间操作场景三维模型，采用基于点云几何特征的场景匹配方法，完成航天员真实操作三维空间场景的匹配。采用卷积神经网络，构建深度学习分类器，实现航天员操作设备状态检测。本发明专利技术基于深度学习的航天员空间操作设备状态识别算法，以提高航天员增强现实操作辅助系统智能性和可用性。可用性。可用性。

【技术实现步骤摘要】
基于深度学习的航天员操作设备状态识别方法


[0001]本专利技术涉及载人航天领域，具体涉及到一种基于深度学习的航天员操作设备状态识别方法。

技术介绍

[0002]航天员在轨空间操作及地面训练时,航天员要获得设备的操作结果主要有两种途径,一是需地面任务指挥人员或远程教员通过语音通报获得；二是航天员转移到仪表机柜位置通过调取仪表信息页面,根据参数值人工判断操作结果是否正确。目前采取的两种方法均需中断航天员空间操作流程，其中语音通报获取方式航天员需中断操作训练，等待远程支持人员判读语音通报，导致航天员空间操作对地面支持系统的依赖性强，同时由于天地传输延迟导致航天员空间操作及训练持续时间长，效率低。而采用仪表判读方法，航天员需要在空间操作位置与仪表位置之间频繁来回切换，加重航天员的负担，易受环境影响，出错率高，而且过于依赖航天员的个人技能和经验。同时，目前基于增强现实/混合现实的新型航天员操作辅助系统都是“以计算机为中心”的程序化引导系统，普适能力差，仅实现了虚拟信息和真实场景的增强现实叠加，尚未作到对操作过程的实时状态自主判断与实时诱导反馈，其深层次本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的航天员操作设备状态识别方法，其特征在于，其具体包括：对航天员空间操作场景进行重建与匹配；采用空间感知方法，对航天员所操作设备进行特征提取与筛选；采用深度学习方法，对航天员所操作设备进行状态识别。2.如权利要求1所述的基于深度学习的航天员操作设备状态识别方法，其特征在于，所述的对航天员空间操作场景进行重建与匹配，其具体包括：对在空间操作场景中的航天员进行定位，并获取其观察视角，确定航天员所操作设备，采用基于SLAM的三维重构方法等比例构建空间操作场景三维模型，采用基于点云几何特征的场景匹配方法，完成航天员真实操作三维空间场景和空间操作场景三维模型的匹配，为航天员操作设备状态的识别提供先验信息。3.如权利要求2所述的基于深度学习的航天员操作设备状态识别方法，其特征在于，为确定航天员所操作设备，将航天员真实操作三维空间场景和空间操作场景三维模型匹配，建立两个场景的共享坐标系，通过计算重构的空间操作场景三维模型空间中操作设备空间坐标，进行重构空间向真实空间的映射，查询空间操作场景三维模型中相应坐标的设备，从而确定航天员所操作设备。4.如权利要求2所述的基于深度学习的航天员操作设备状态识别方法，其特征在于，所述的获取航天员观察视角，获取航天员所佩戴的视线传感器的数据，进而获得其视点到操作设备的空间向量，进而得到以视线向量为轴、设备位置坐标为顶点的圆锥空间域，在筛选特征样本时，只需选择已确定的圆锥空间域内的样本。5.如权利要求2所述的基于深度学习的航天员操作设备状态识别方法，其特征在于，所述的对航天员空间操作场景进行重建与匹配，通过获取真实场景的图像信息及深度，构建操作场景mesh地图，通过计算航天员相对舱内特征点的距离，实时定位航天员相对空间舱的位姿；航天员操作设备时，其视线关注操作设备，通过视线交互，计算视线方向与操作场景mesh地图中设备模型的交点坐标，即为所操作设备相对舱内场景的相对坐标，从而得到视点方向向量；将构建的场景mesh地图与航天员真实操作三维空间场景进行匹配，建立共享坐标系，从而实现操作场景mesh地图到已有虚拟场景的空间映射；操作设备空间坐标转换，将航天员头部位姿...

【专利技术属性】
技术研发人员：何宁，许振瑛，晁建刚，张炎，
申请(专利权)人：中国人民解放军六三九一九部队，
类型：发明
国别省市：