一种基于虚拟现实与多模态人机接口的航天器交会对接方法技术

一种基于虚拟现实与多模态人机接口的航天器交会对接方法。本发明专利技术公开了一种基于虚拟现实技术与多模态人机接口的飞行器交会对接方法及系统，其特征在于：将对接飞行器和目标飞行器的整舱三维数据输入到船载计算机，对两个飞行器三维建模；采集脑电信号、肌电信号以及人手位置参数信息；对采集到的脑电信号、肌电信号以及人手位置参数信息预处理；对脑电信号、肌电信号以及人手位置参数信息进行特征提取；基于特征提取的参数生成相应的控制指令，调整对接飞行器的位置与姿态；实时解算出对接飞行器的实时姿态和位置变化并反馈给航天员，使航天员感受到飞船位置和姿态的变化。通过将大脑与肢体运动意图信息直接转化为飞行器控制信息，更好地辅助航天员完成手控RVD任务。

【技术实现步骤摘要】
一种基于虚拟现实与多模态人机接口的航天器交会对接方法
本专利技术涉及载人航天领域，更具体地，涉及一种基于虚拟现实技术与多模态人机接口的飞行器交会对接方法。
技术介绍
空间交会对接(RendezvousandDocking，RVD)是指两个或两个以上飞行器在轨道上按预定时间和位置相会，并在相会后在结构上连成一个整体。RVD的结果往往决定了空间装配和维修、在轨组装、回收产品及废弃物品、加注燃料和补给供给、星际间的救生渡船、以及航天员轮换、营救等高级空间操作的成败。因此，随着航天技术的发展，RVD已经成为一种重要空间技术。从本质上说，RVD可以分为自主RVD和人工手控RVD两种途径，其中美国主要采取的是手控RVD策略，而俄罗斯虽然主要采用的是自主RVD，但是为了保证突发意外情况后，RVD仍能顺利的完成，手控RVD是其长期备份的方案。2012年航天员刘旺首次完成了我国手控RVD任务，成功地将神舟九号(由航天员驾驶的飞船，被称为对接飞行器)与天宫一号(无人飞船，被称为目标飞行器)对接形成组合体。展望我国未来交会对接技术的发展，手动与自动都将会是RVD的必须手段，互为备份，缺一不可，无论哪种方式都不可能偏废。在手控RVD的模式下，航天员要完成飞行器相对惯性空间中12个自由度的制导、导航、姿态等控制，因此需具备极好的手-眼-脑协调性、操作精细性和心理稳定性。以往的手控RVD主要是依靠交会雷达和舱外电视摄像头的辅助，由人在对接飞行器内控制操作手柄完成的。但是，航天员在失重状态下，会遇到以下几个方面的问题：一是航天员在地面形成的天地本体感觉、空间知觉、空间定向、方向辨认能力会明显下降；二是航天员获取与判断电视摄像头图像信息、追踪屏幕数据、手眼脑协调性等多方面能力也有下降，心理压力变大；三是在现有的手控RVD策略中，需要航天员监测与控制综合电子屏上的2D平面靶标图像来完成真实的3D靶标对接和飞行器调姿调位，人-机交互界面具有非直观性的、缺少视觉立体感等缺点。可以说现有手控RVD的人-机交互技术会使航天员承受较大的工作负荷和心理负荷。那么如何确保手控RVD的效率、提高安全性和可靠性、减轻航天员的操作复杂性是手控RVD技术中的一项关键内容。本专利技术针对此问题提出了一种基于虚拟现实与多模态人机接口的飞行器交会对接方法。为航天员提供立体视觉信息，并将大脑与肢体运动意图信息直接转化为飞行器控制信息，更好地辅助航天员完成手控RVD任务。本专利技术提出了一种基于虚拟现实与多模态人机接口的飞行器交会对接方法，其具有使手控RVD的控制模式、控制机构、控制界面更加符合人的感知、认知、理解、决策的特点，实现了全新的手控RVD方式，拓展了手控RVD的人机交互模式。还提出了一种基于虚拟现实与多模态人机接口的飞行器交会对接系统。
技术实现思路
本专利技术的目的是提供一种基于虚拟现实与多模态人机接口的飞行器交会对接方法及系统，包括虚拟现实技术，并在虚拟现实系统中实现脑电交互、肌电交互、力反馈、航天员主控手位置交互，从而克服现有技术的缺点。为实现上述目的，本专利技术提供了一种基于虚拟现实与多模态人机接口的飞行器交会对接方法，其包括如下步骤：步骤一、将对接飞行器和目标飞行器的整舱三维数据输入到船载计算机，对两个飞行器三维建模；步骤二、采集脑电信号、肌电信号以及人手位置参数信息；步骤三、对采集到的脑电信号、肌电信号以及人手位置参数信息预处理；步骤四、对脑电信号、肌电信号以及人手位置参数信息进行特征提取；步骤五、基于特征提取的参数生成相应的控制指令，调整对接飞行器的位置与姿态；步骤六、实时解算出对接飞行器的实时姿态和位置变化并反馈给航天员，使航天员感受到飞船位置和姿态的变化。进一步地，步骤四中对脑电信号的特征提取基于下述方程式(1)实现：假设有两个多维变量U,V以及他们的线性组合u＝UTwu和v＝VTwv，其中函数E()表示期望，求得的解ρ就是典型相关系数，对应的wu和wv表示典型向量，将上式中的U换成X，将V换成Yn，就可以得到典型相关系数ρn，并作为脑电信号识别的特征值。进一步地，步骤四中对肌电信号的特征提取基于下述过程实现：设可分数据集D＝{(xi,yi)|i＝1,2,...,n}，其中输入向量xi∈Rd，Rd为d维实数平面，目标数据为yi∈{-1,+1}，如果xi∈Rd属于第1类，则标记为正，即yi＝1，如果属于第2类，则标记为负，即yi＝-1，内积函数通过下述三种算法(2)、(3)、(4)进行求解：多项式函数K(xi,x)＝[1+(xi·x)]d(2)多层神经网络函数K(xi,x)＝tanh(v(xi·x)+c)(3)径向基函数求解后得到最优决策函数为：(5)，其中sgn为符号函数，偏置b在求解中直接作为副产品被轻松求解：其中NNSV为标准支持向量数，JN为标准支持向量的合集，J为支持向量的合集。进一步地，采用异步控制的策略来输出控制指令，首先预设好步长和阈值，系统根据步长来截取数据并用于特征提取和分类，当得到的预测结果相关系数值达到阈值时将此数据片段记为一次有效数据，当累计有3次相同的脑电信号、肌电信号、人手位置参数信息，且有效的预测结果时，输出控制指令。进一步地，脑电信号采集和肌电信号采集通过蓝牙连接，同步进行。本专利技术还提供了一种基于虚拟现实与多模态人机接口的飞行器交会对接系统，包括：船载计算机系统、头盔、数据手套与腕带；所述船载计算机系统包括飞行器虚拟模型模块、飞行器位置与姿态解算模块、人体生理信号处理模块和飞船控制模块；头盔包括VR显示模块、脑电信号采集模块和虚拟现实设备主机电路；所述数据手套与腕带由力反馈模块、人手位置参数模块和肌电信号采集模块组成。进一步地，所述人体生理信号处理模块包括数字信号预处理模块、特征信号提取模块和特征信号处理模块。进一步地，肌电信号采集模块包括肌电信号采集电极、采集电路、放大电路、滤波电路、A/D转换电路。与现有技术相比，本专利技术的优点在于：(1)通过VR技术突破了手控RVD过程中可视化的平面模式，打破基于平面十字靶标进行手控交会的传统模式。对于位于对接飞行器内部的航天员来说，VR能够帮助其以自我为中心的坐标系构建地图，理解和判断自身的位置和被操作物体的空间关系，提高其对飞行器当前相对运动状态的判断能力，对复杂场景空间结构快速学习和掌握能力，辅助其更快地实现目标的定位，从而减少手控过程中的燃料消耗。(2)虚拟现实结合单一生理信号控制交会对接的过程，存在单纯控制方式分类风险高、可分类模式受限、环境适应性差、操作复杂的问题。因此该方法融合了脑电信号、肌电信号和力反馈信号，增加了VR环境下实现RVD的人机交互方式，实现了手控RVD过程人机交互方式的多元化。不但可以提高航天员感知和认知RVD任务的效率，能更直接、客观地反应出人体本身的控制意图，省却了很多通过语言转述或操作手柄所消耗的时间，使得航天员在手控交互对接的过程中脑-眼-手能够更加自然的协调配合，充分实现系统全面、动态的优势组合。附图说明图1是本专利技术系统的示意图。图2是本专利技术的基本结构图。图3是本专利技术实施例中完整的脑电、肌电、手部位置信号控制真实飞行器运动的流程图。图4是本专利技术的脑电采集位置示意图。图5是本专利技术脑电、肌电信号同步采集流程图。图6是本专利技术手部动作与对接飞行器本文档来自技高网...

【技术保护点】
1.一种基于虚拟现实与多模态人机接口的航天器交会对接方法，其包括如下步骤：步骤一、将对接飞行器和目标飞行器的整舱三维数据输入到船载计算机，对两个飞行器三维建模；步骤二、采集脑电信号、肌电信号以及人手位置参数信息；步骤三、对采集到的脑电信号、肌电信号以及人手位置参数信息预处理；步骤四、对脑电信号、肌电信号以及人手位置参数信息进行特征提取；步骤五、基于特征提取的参数生成相应的控制指令，调整对接飞行器的位置与姿态；步骤六、实时解算出对接飞行器的实时姿态和位置变化并反馈给航天员，使航天员感受到飞船位置和姿态的变化。

【技术特征摘要】
1.一种基于虚拟现实与多模态人机接口的航天器交会对接方法，其包括如下步骤：步骤一、将对接飞行器和目标飞行器的整舱三维数据输入到船载计算机，对两个飞行器三维建模；步骤二、采集脑电信号、肌电信号以及人手位置参数信息；步骤三、对采集到的脑电信号、肌电信号以及人手位置参数信息预处理；步骤四、对脑电信号、肌电信号以及人手位置参数信息进行特征提取；步骤五、基于特征提取的参数生成相应的控制指令，调整对接飞行器的位置与姿态；步骤六、实时解算出对接飞行器的实时姿态和位置变化并反馈给航天员，使航天员感受到飞船位置和姿态的变化。2.如权利要求1所述的航天器交会对接方法，其特征在于：步骤四中对脑电信号的特征提取基于下述方程式(1)实现：假设有两个多维变量U,V以及他们的线性组合u＝UTwu和v＝VTwv，其中函数E()表示期望，求得的解ρ就是典型相关系数，对应的wu和wv表示典型向量，将上式中的U换成X，将V换成Yn，就可以得到典型相关系数ρn，并作为脑电信号识别的特征值。3.如权利要求1所述的航天器交会对接方法，其特征在于：步骤四中对肌电信号的特征提取基于下述过程实现：设可分数据集D＝{(xi,yi)|i＝1,2,...,n}，其中输入向量xi∈Rd，Rd为d维实数平面。目标数据为yi∈{-1,+1}，如果xi∈Rd属于第1类，则标记为正，即yi＝1，如果属于第2类，则标记为负，即yi＝-1，内积函数通过下述三种算法(2)、(3)、(4)进行求解：多项式函数K(xi,x)＝[1+(xi·x)]d(2)多层神经网...

【专利技术属性】
技术研发人员：印二威，赵岩，李靖，鹿迎，曹璐，王春慧，邓宝松，闫野，
申请(专利权)人：中国航天员科研训练中心，中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：北京,11