【技术实现步骤摘要】
本专利技术涉及航空安全，尤其涉及一种识别飞行员执行任务类型的系统与方法。
技术介绍
1、飞行员在遭遇突发情况时需要执行快速检查单（quick reference handbook，qrh），不同的突发情况对应不同的qrh任务流程，因此飞行员视觉注意力分配也会相应的发生变化。一般的，飞行员的主要任务是维持飞机的正常运行，而当遭遇突发情况是，飞行员既需要执行原来稳定飞行的任务，又需要按照快速检查单的步骤执行检查的任务，这意味着，此时飞行员的行为是这两种行为的叠加。这种叠加导致在执行快速检查单的过程中，飞行员的视觉注意力分配呈现出2个特点，第一是不完备性，视觉注意力分配的变化过程不会与执行的检查单类型完全高度吻合；第二是干扰性，对于飞行员而言，其通过眼睛获取信息的过程是一个受到干扰的过程。这些特点使得视觉注意力分配的变化中包含了丰富的信息可以用于识别飞行员执行的检查单任务类型，但在实际识别中又存在一定的挑战。
2、描述飞行员何时开始进入处理突发情况的特定任务程序具有重要意义，其为分析飞行员在执行这些特定任务过程中可能遇到的干扰提供了重要的信号基础，对于机组人员的管理、培训优化，以及事故的分析与预防等方面，都是十分重要的信息。然而，现阶段缺乏专门用于分析飞行员执行任务类型变化情况的模型，以及更缺乏有效的方法来准确判断飞行员何时进入特定的任务程序。
3、使用滑动窗口的方法可以了解在整个过程中飞行员执行任务的变化情况，但是，传统的确定滑动窗口长度的方法均存在一些不足，例如需要大量先验知识对不同的窗口长度进行调试，基于
4、因此，本领域的技术人员致力于开发一种识别飞行员执行任务类型的系统与方法。
技术实现思路
1、有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是如何真实准确地反映出执行任务类型切换的过程，准确地定位进入特定执行任务类型的时间。
2、本申请为了更好分析飞行员qrh执行任务类型的变化情况，以及更精确地描述飞行员进入特定qrh执行任务程序的时间，提出基于飞行员视觉注意力分配变化的执行任务类型预测模型。采集飞行员在执行特定任务过程中的眼动数据，生成眼动特征序列作为输入数据，任务类型作为输出数据，使用根据视觉注意力分配变化情况，训练出飞行员执行任务类型的执行任务分类模块。然后使用滑动窗口的方法，分析出在具体时刻飞行员最有可能执行的任务类型。根据任务类型随滑动窗口（时间）的移动，确定飞行员进入最有可能执行的任务类型的时间。本申请使用自适应动态调整滑动窗口的后验算法，通过迭代的方式使得滑动窗口长度能随着时间的推移而动态调整，从而得到更加准确的分析结果。
3、本申请的一个实施例中，提供了一种识别飞行员执行任务类型的系统，包括：
4、眼动特征采集模块，采集飞行员的眼动数据，生成眼动特征序列；
5、滑动窗口处理器模块，对于整个飞行过程中的眼动特征序列，设定滑动窗口序列，让滑动窗口序列中的滑动窗口随时间平移，获得滑动窗口内的眼动特征序列；
6、执行任务分类模块，输入滑动窗口内的眼动特征序列，进行特征提取与融合，对执行任务类型进行识别，得到滑动窗口内的最有可能的执行任务类型；
7、滑动窗口自适应模块，根据滑动窗口内的最有可能的执行任务类型，使用自适应动态调整滑动窗口的后验算法，自动迭代计算出最优的滑动窗口长度，滑动窗口长度随时间变化动态调整，动态调整后的滑动窗口组成新的滑动窗口序列；
8、序列分析器模块，输入滑动窗口内的最有可能的执行任务类型，精确计算飞行员进入最有可能的执行任务类型的时间点，描述整个飞行过程中执行任务类型切换的情况和单个执行任务类型的时间。
9、眼动特征采集模块、滑动窗口处理器模块、执行任务分类模块和序列分析器模块依次通信连接，执行任务分类模块和滑动窗口自适应模块通信连接。
10、可选地，在上述实施例中的识别飞行员执行任务类型的系统中，眼动特征采集模块使用眼动仪。
11、进一步地，在上述实施例中的识别飞行员执行任务类型的系统中，眼动仪使用tobii glasses 3。
12、可选地，在上述任一实施例中的识别飞行员执行任务类型的系统中，眼动数据包括采样点信息，采样点信息包括：时间戳、眼动类型、注视仪表盘的位置。
13、进一步地，在上述实施例中的识别飞行员执行任务类型的系统中，眼动类型包括凝视（fixation）和扫视（saccade）。
14、可选地，在上述任一实施例中的识别飞行员执行任务类型的系统中，执行任务分类模块包括：
15、特征提取单元，将一次执行任务类型的眼动特征序列作为输入，提取出该执行任务类型情况下表征视觉注意力分配的特征向量；
16、特征筛选单元，对表征视觉注意力分配的特征向量进行降维并筛选，去除特征中的冗余信息；
17、分类器单元，驻留执行任务类型预测模型，输入经过筛选的特征向量，输出滑动窗口内的最有可能的执行任务类型。
18、进一步地，在上述实施例中的识别飞行员执行任务类型的系统中，特征提取单元包括：
19、统计学计算子单元，根据滑动窗口内的眼动特征序列，计算表征视觉注意力分配变化的统计学指标并拼接成向量，得到统计学指标的特征向量；
20、aoi转换子单元，把驾驶舱内可见的区域划分为不同的感兴趣区域（area ofinterest，aoi），将飞行员每一个时刻注视的点划分到对应的aoi下，将滑动窗口内的眼动特征序列转换为aoi状态转移序列；对该aoi状态转移序列建立马尔可夫模型，提取转移速率特征向量和aoi内停留的时间分布与指数分布的距离特征向量，描述飞行员视觉注意力分配的变化。
21、进一步地，在上述实施例中的识别飞行员执行任务类型的系统中，对统计学指标的特征向量、转移速率特征向量和aoi内停留的时间分布与指数分布的距离特征向量加权并拼接，得到表征视觉注意力分配的特征向量。
22、进一步地，在上述实施例中的识别飞行员执行任务类型的系统中，统计学指标包括凝视平均时长、扫视平均时长、扫视平均跨度、眨眼频率、瞳孔平均直径大小。
23、进一步地，在上述实施例中的识别飞行员执行任务类型的系统中，不同的感兴趣区域（aoi）包括主飞行显示器（pfd）、导航显示器（mcp）、备用板（standby）、电子集中监视系统（ecam）、控制显示组件（cdu）、飞行控制组件（fcp）、窗外（otw）。
24、可选地，在上述任一实施例中的识别飞行员执行任务类型的系统中，表征视觉注意力分配的特本文档来自技高网...
【技术保护点】
1.一种识别飞行员执行任务类型的系统，其特征在于，包括：
2.如权利要求1所述识别飞行员执行任务类型的系统，其特征在于，所述执行任务分类模块包括：
3.如权利要求2所述识别飞行员执行任务类型的系统，其特征在于，所述特征提取单元包括：
4.如权利要求3所述识别飞行员执行任务类型的系统，其特征在于，所述执行任务类型预测模型基于支持向量机。
5.如权利要求4所述识别飞行员执行任务类型的系统，其特征在于，所述执行任务类型预测模型训练过程包括：
6.一种识别飞行员执行任务类型的方法，使用如权利要求5所述的识别飞行员执行任务类型的系统，其特征在于，包括如下步骤：
7.如权利要求6所述的识别飞行员执行任务类型的方法，其特征在于，所述步骤S100包括：
8.如权利要求6所述的识别飞行员执行任务类型的方法，其特征在于，所述步骤S200包括：
9.如权利要求6所述的识别飞行员执行任务类型的方法，其特征在于，所述步骤S300包括：
10.如权利要求6所述的识别飞行员执行任务类型的方法，其特征在于
...【技术特征摘要】
1.一种识别飞行员执行任务类型的系统，其特征在于，包括：
2.如权利要求1所述识别飞行员执行任务类型的系统，其特征在于，所述执行任务分类模块包括：
3.如权利要求2所述识别飞行员执行任务类型的系统，其特征在于，所述特征提取单元包括：
4.如权利要求3所述识别飞行员执行任务类型的系统，其特征在于，所述执行任务类型预测模型基于支持向量机。
5.如权利要求4所述识别飞行员执行任务类型的系统，其特征在于，所述执行任务类型预测模型训练过程包括：
6.一种识...
【专利技术属性】
技术研发人员：廖原，陆燕玉，张晗，傅山，
申请(专利权)人：上海交通大学宁波人工智能研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。