一种驾驶舱人机视觉交互系统技术方案

本发明专利技术是一种驾驶舱人机视觉交互系统，能够适用于民用飞机下一代触控式的驾驶舱，与触控交互形成互为冗余的人机交互手段，在特定的人机交互场景中(如切换MFD信息、更改自动飞行模式、HUD操作等)，本发明专利技术使交互方式更加直觉化，其采用的视线测量方法能够保证视线测量的实时性和精度能够支持飞行员提高情景意识。

A Cockpit Human-Computer Vision Interactive System

The invention is a cockpit human-computer vision interaction system, which can be applied to the next generation touch-controlled cockpit of civil aircraft, and forms redundant human-computer interaction means with touch-control interaction. In specific human-computer interaction scenarios (such as switching MFD information, changing automatic flight mode, HUD operation, etc.), the invention makes the interaction mode more intuitive, and the line-of-sight measurement method adopted by the system can be used. Ensuring the real-time and accuracy of line-of-sight measurement can support pilots to improve situational awareness.

【技术实现步骤摘要】
一种驾驶舱人机视觉交互系统
本专利技术涉及可穿戴设备领域，具体涉及一种人机视觉交互系统，属于一种民用飞机的驾驶舱人机交互系统。
技术介绍
民用航空领域的驾驶舱采用的人机交互方式是利用飞行显示器呈现各种关键飞行信息，并在显示器周围部署各种控制器(包括拨动或触动式开关、按键、旋钮等)。飞行员被训练为能够理解显示器画面与控制接口之间的关联，一边观察显示器的同时，能够用手操作控制器，完成一系列操作，从而实现“飞行员人在控制回路”的概念。目前法国泰雷兹、中国商飞等公司正在研究基于触控交互的下一代驾驶舱，通过部署大尺寸触控显示器，将控制按键集成在显示画面中，模糊了显示信息与控制按键的物理界限，尤其在飞行计划与导航路线设置的操作中，能极大提高飞行员的直觉化的操作体验和情景意识，降低飞行员所需训练水平。在此技术背景之下，本专利技术以基于触控交互的驾驶舱为使用环境，提出一种基于视觉的交互系统，使视觉控制与触摸控制互为冗余。这种视觉的交互系统期望能够使飞行员免于实际接触显示器屏幕，而是直接通过眼部活动同时完成信息浏览和操作控制。这种控制方式能够在特定的人机交互场景中(如切换MFD信息、更改自动飞行模式、HUD操作等)，使交互方式更加直觉化。
技术实现思路
要解决的技术问题为了避免现有技术的不足之处，本专利技术提出一种由民用飞机飞行员使用的驾驶舱人机视觉交互系统。能够适用于下一代触控式的驾驶舱，与触控交互形成互为冗余的人机交互手段。技术方案一种驾驶舱人机视觉交互系统，其特征在于包括穿戴结构体、穿戴式显示部件、视线测量与控制部件、头部定位部件、处理器A和处理器B；所述的穿戴结构体被配置为能够为穿戴式显示部件、头部定位部件及视线测量与控制部件提供物理安装接口，当佩戴时，穿戴结构体相对于佩戴者头部保持稳固，并使穿戴式显示部件的光学系统置于飞行员眼球前方；所述的穿戴式显示部件被配置为安装在穿戴结构体上，用于显示任何由处理器B生成的图像信号DS；所述的视线测量与控制部件被配置为安装在穿戴结构体上，当飞行员佩戴时，执行以下功能：1)用于感应佩戴者的眼部运动；2)建立飞行员眼动模型，形成眼动信号RV，眼动信号包含两部分信息，一部分是眼球转动的定位信息RvP，另一部分是感应佩戴者是否出现眨眼动作的控制信息RvB；将RV发送给处理器A；所述的头部定位部件用于测量飞行员头部的姿态，包括陀螺仪、定位传感器以及定位标记，其中：1)陀螺仪被配置为安装在穿戴结构体上，能够生成惯性定位信号RI，并向处理器A发送；2)定位传感器被配置为安装在能够感应定位标记的驾驶舱内任一其他飞机系统的物理结构上，传感方向为能够覆盖飞行员座椅区域的方向；3)能够生成传感定位信号RS，并向处理器A发送；4)定位标记被配置为安装在穿戴结构体上；所述的处理器A被配置为安装在驾驶舱中不影响飞行员正常操纵飞机视线的位置，能够接收定位传感器的信号，处理为视线测量信号，具体执行以下功能：1)接收来自陀螺仪的惯性定位信号RI，来自定位传感器的传感定位信号RS，以及来自视线测量与控制部件的眼动信号RV；2)执行惯性定位信号RI与传感定位信号RS的数据融合，形成头部定位信号RF；3)将RF与RvP信号进行叠加，转换至驾驶舱坐标系，并附带RvB信号，形成视线测量信号RFV，并发送给处理器B；所述的处理器B被配置为安装在驾驶舱中不影响飞行员正常操纵飞机视线的位置，能够执行以下功能：1)接收来自飞机系统的机载飞行信息信号FI，接收来自处理器A的视线测量信号RFV；2)建立驾驶舱模型，根据RFV，高亮识别飞行员视线对应的驾驶舱飞行显示信息,形成图像信号DS，发送至穿戴式显示部件；3)检测视线测量信号RFV中的RvB信号，若包含佩戴者眨眼的信息，则根据功能2)识别的飞行显示信息，识别出该信息对应的交互，形成交互指令CI，并发送给飞行系统。所述的处理器A的数据融合的方法具体如下：将RI转换为定位传感器坐标系下，形成信号RIC；将第N个RS替换第M个RIC。N与M之间满足：M＝N*(VI/VS)-(VI/VS-1)其中VI为RI信号的数据更新率，单位为Hz，VS为RS信号的数据更新率，单位为Hz。所述的穿戴式显示部件采用光波导光学系统。所述的陀螺仪生成惯性定位信号RI的速率不小于10kHz。所述的定位传感器生成传感定位信号RS的速率不小于20Hz。有益效果本专利技术提出的一种驾驶舱人机视觉交互系统，相比于传统的按键式交互方式，简化操作流程，操作方式更直觉化，能够解放飞行员的双手，使飞行员可以保持正常的坐姿就能完成驾驶舱内的控制工作，降低工作负荷。相比于具有触控式的驾驶舱，在特定的人机交互场景中(如切换MFD信息、更改自动飞行模式、HUD操作等)，本专利技术使交互方式更加直觉化，其采用的视线测量方法能够保证视线测量的实时性和精度能够支持飞行员提高情景意识。附图说明图1为本专利技术的驾驶舱人机视觉交互系统架构框图。图2为本专利技术的驾驶舱人机视觉交互系统的通常工作流程图。具体实施方式现结合实施例、附图对本专利技术作进一步描述：本专利技术涉及到一种驾驶舱人机视觉交互系统，由飞行员佩戴在头部，提供显示与飞行员的视线测量，进一步识别出飞行员目视观察的驾驶舱显示飞行信息，并允许飞行员以眨眼的方式对该飞行信息进行交互。其包含的组件包括：穿戴式显示部件、头部定位部件、视线测量与控制部件、处理器A、处理器B以及穿戴结构体。其中，头部定位部件进一步包括陀螺仪、定位传感器以及定位标记(如图1)。本专利技术具体由以下部分组成：·穿戴式显示部件。被配置为安装在穿戴结构体上，用于显示任何由处理器B生成的图像信号(DS)。·头部定位部件。用于测量飞行员头部的姿态。头部定位部件进一步包括陀螺仪、定位传感器以及定位标记。其中：1)陀螺仪被配置为安装在穿戴结构体上，能够生成惯性定位信号(RI)，并向处理器A发送。2)定位传感器被配置为安装在能够感应定位标记的驾驶舱内任一其他飞机系统的物理结构上，传感方向为能够覆盖飞行员座椅区域的方向。3)能够生成传感定位信号(RS)，并向处理器A发送。4)定位标记被配置为安装在穿戴结构体上。·视线测量与控制部件。被配置为安装在穿戴结构体上。当飞行员佩戴时，执行以下功能：1)用于感应佩戴者的眼部运动。2)建立飞行员眼动模型，形成眼动信号(RV)。眼动信号包含两部分信息，一部分是眼球转动的定位信息(RvP)，另一部分是感应佩戴者是否出现眨眼动作的控制信息(RvB)。将RV发送给处理器A。·处理器A：被配置为安装在驾驶舱中不影响飞行员正常操纵飞机视线的位置，能够接收定位传感器的信号，处理为视线测量信号，具体执行以下功能：1)接收来自陀螺仪的惯性定位信号(RI)，来自定位传感器的传感定位信号(RS)，以及来自视线测量与控制部件的眼动信号(RV)。2)执行惯性定位信号(RI)与传感定位信号(RS)的数据融合，形成头部定位信号(RF)。3)将RF与RvP信号进行叠加，转换至驾驶舱坐标系，并附带RvB信号，形成视线测量信号RFV，并发送给处理器B。·处理器B。被配置为安装在驾驶舱中不影响飞行员正常操纵飞机视线的位置，能够执行以下功能：1)接收来自飞机系统的机载飞行信息信号(FI)，接收来自处理器A的视线测量信号(RFV)。2)建立驾驶舱模型(包含物理本文档来自技高网...

【技术保护点】
1.一种驾驶舱人机视觉交互系统，其特征在于包括穿戴结构体、穿戴式显示部件、视线测量与控制部件、头部定位部件、处理器A和处理器B；所述的穿戴结构体被配置为能够为穿戴式显示部件、头部定位部件及视线测量与控制部件提供物理安装接口，当佩戴时，穿戴结构体相对于佩戴者头部保持稳固，并使穿戴式显示部件的光学系统置于飞行员眼球前方；所述的穿戴式显示部件被配置为安装在穿戴结构体上，用于显示任何由处理器B生成的图像信号DS；所述的视线测量与控制部件被配置为安装在穿戴结构体上，当飞行员佩戴时，执行以下功能：1)用于感应佩戴者的眼部运动；2)建立飞行员眼动模型，形成眼动信号RV，眼动信号包含两部分信息，一部分是眼球转动的定位信息RvP，另一部分是感应佩戴者是否出现眨眼动作的控制信息RvB；将RV发送给处理器A；所述的头部定位部件用于测量飞行员头部的姿态，包括陀螺仪、定位传感器以及定位标记，其中：1)陀螺仪被配置为安装在穿戴结构体上，能够生成惯性定位信号RI，并向处理器A发送；2)定位传感器被配置为安装在能够感应定位标记的驾驶舱内任一其他飞机系统的物理结构上，传感方向为能够覆盖飞行员座椅区域的方向；3)能够生成传感定位信号RS，并向处理器A发送；4)定位标记被配置为安装在穿戴结构体上；所述的处理器A被配置为安装在驾驶舱中不影响飞行员正常操纵飞机视线的位置，能够接收定位传感器的信号，处理为视线测量信号，具体执行以下功能：1)接收来自陀螺仪的惯性定位信号RI，来自定位传感器的传感定位信号RS，以及来自视线测量与控制部件的眼动信号RV；2)执行惯性定位信号RI与传感定位信号RS的数据融合，形成头部定位信号RF；3)将RF与RvP信号进行叠加，转换至驾驶舱坐标系，并附带RvB信号，形成视线测量信号RFV，并发送给处理器B；所述的处理器B被配置为安装在驾驶舱中不影响飞行员正常操纵飞机视线的位置，能够执行以下功能：1)接收来自飞机系统的机载飞行信息信号FI，接收来自处理器A的视线测量信号RFV；2)建立驾驶舱模型，根据RFV，高亮识别飞行员视线对应的驾驶舱飞行显示信息,形成图像信号DS，发送至穿戴式显示部件；3)检测视线测量信号RFV中的RvB信号，若包含佩戴者眨眼的信息，则根据功能2)识别的飞行显示信息，识别出该信息对应的交互，形成交互指令CI，并发送给飞行系统。...

【技术特征摘要】
1.一种驾驶舱人机视觉交互系统，其特征在于包括穿戴结构体、穿戴式显示部件、视线测量与控制部件、头部定位部件、处理器A和处理器B；所述的穿戴结构体被配置为能够为穿戴式显示部件、头部定位部件及视线测量与控制部件提供物理安装接口，当佩戴时，穿戴结构体相对于佩戴者头部保持稳固，并使穿戴式显示部件的光学系统置于飞行员眼球前方；所述的穿戴式显示部件被配置为安装在穿戴结构体上，用于显示任何由处理器B生成的图像信号DS；所述的视线测量与控制部件被配置为安装在穿戴结构体上，当飞行员佩戴时，执行以下功能：1)用于感应佩戴者的眼部运动；2)建立飞行员眼动模型，形成眼动信号RV，眼动信号包含两部分信息，一部分是眼球转动的定位信息RvP，另一部分是感应佩戴者是否出现眨眼动作的控制信息RvB；将RV发送给处理器A；所述的头部定位部件用于测量飞行员头部的姿态，包括陀螺仪、定位传感器以及定位标记，其中：1)陀螺仪被配置为安装在穿戴结构体上，能够生成惯性定位信号RI，并向处理器A发送；2)定位传感器被配置为安装在能够感应定位标记的驾驶舱内任一其他飞机系统的物理结构上，传感方向为能够覆盖飞行员座椅区域的方向；3)能够生成传感定位信号RS，并向处理器A发送；4)定位标记被配置为安装在穿戴结构体上；所述的处理器A被配置为安装在驾驶舱中不影响飞行员正常操纵飞机视线的位置，能够接收定位传感器的信号，处理为视线测量信号，具体执行以下功能：1)接收来自陀螺仪的惯性定位信号RI，来自定位传感器的传感定位信号RS，以及来自视线测量与控制部件的...

【专利技术属性】
技术研发人员：李绎南，冯国昌，常帅，
申请(专利权)人：中国航空工业集团公司洛阳电光设备研究所，
类型：发明
国别省市：河南,41