一种基于精神疲劳监测的驾驶舱人机交互系统技术方案

本发明专利技术公开了一种基于精神疲劳监测的驾驶舱人机交互系统，可以根据生理信号和面部图像识别飞行员精神疲劳，判断飞行员可能出现的失误及概率。该系统包括信号采集模块、精神疲劳监测模块、失误判断模块以及驾驶舱人机交互模块四个部分。信号采集模块包括采集飞行员的生理信号、面部图像以及飞行环境参数。精神疲劳监测模块的特征层融合得到正常、轻度、严重三类疲劳分类结果，决策层融合对特征层融合结果、PERCLOS、眨眼频率、哈欠频率以及点头频率进行加权平均。失误判断模块判断飞行员可能出现的失误模式及其概率。驾驶舱人机交互模块能进行疲劳预警。本发明专利技术提高了识别准确率、实时性强，同时符合人因工程学理论，有利于减少飞行员认知负荷。行员认知负荷。行员认知负荷。

【技术实现步骤摘要】
一种基于精神疲劳监测的驾驶舱人机交互系统


[0001]本专利技术属于人机交互
，具体涉及一种驾驶舱人机交互系统。

技术介绍

[0002]航空运输是一个人
‑
机
‑
环境高度交互和耦合的过程。其中，人作为这个复杂系统中最重要同时也是最复杂多变的部分，对民航运输的安全性一直起着决定性的作用。近年来，由于科技的不断进步及新材料和新技术的不断应用，飞机自身设备故障导致的飞行事故率已经非常小，而因为飞行员自身失误导致的飞行事故占比却呈现上升趋势。根据飞行事故原因统计数据，在航空事故中有70％的事故是由人为失误造成的，所以研究飞行员精神疲劳的意义至关重要。
[0003]专利技术专利202010424867.X公开了一种融合肌电和心电信号的疲劳监测系统及方法，包括肌电信号采集及处理、心电信号采集及处理和非线性支持向量机算法数据融合模块，仅考虑生理信号，检测精度难以达到预期效果。专利技术专利201610264968.4公开了一种基于视频智能算法的疲劳检测系统及方法，该系统检测包括判断工作人员的眼睛和嘴巴的开合度，但仅考虑面部图像，精度存在欺骗性，难以准确地进行高精度的检测。

技术实现思路

[0004]为了克服现有技术的不足，本专利技术提供了一种基于精神疲劳监测的驾驶舱人机交互系统，可以根据生理信号和面部图像识别飞行员精神疲劳，判断飞行员可能出现的失误及概率。该系统包括信号采集模块、精神疲劳监测模块、失误判断模块以及驾驶舱人机交互模块四个部分。信号采集模块包括采集飞行员的生理信号、面部图像以及飞行环境参数。精神疲劳监测模块的特征层融合得到正常、轻度、严重三类疲劳分类结果，决策层融合对特征层融合结果、PERCLOS、眨眼频率、哈欠频率以及点头频率进行加权平均。失误判断模块判断飞行员可能出现的失误模式及其概率。驾驶舱人机交互模块能进行疲劳预警。本专利技术提高了识别准确率、实时性强，同时符合人因工程学理论，有利于减少飞行员认知负荷。
[0005]本专利技术解决其技术问题所采用的技术方案如下：
[0006]一种基于精神疲劳监测的驾驶舱人机交互系统，包括信号采集模块、精神疲劳监测模块、失误判断模块和驾驶舱人机交互模块；
[0007]所述信号采集模块采集飞行员的心电、皮电、脉搏、呼吸生理信号、捕捉飞行员面部图像和导入飞行环境参数；
[0008]所述精神疲劳监测模块包括生理信号处理子模块、面部图像识别子模块和基于多模信息融合的疲劳识别子模块；所述生理信号处理子模块对信号采集模块采集到的生理信号依次进行低通滤波处理、带陷滤波处理和基线漂移纠正处理，再进行生理信号特征提取并进行归一化；所述面部图像识别子模块对信号采集模块采集到的飞行员面部图像进行人脸关键点提取，再通过人脸关键点计算飞行员的PERCLOS、眨眼频率、哈欠频率和点头频率；
[0009]所述基于多模信息融合的疲劳识别子模块包括特征层融合和决策层融合。
[0010]所述特征层融合先对生理信号特征和人脸关键点进行CCA降维处理，再将降维结果导入卷积神经网络模型进行训练，并将训练好的卷积神经网络模型作为精神疲劳分类器；所述卷积神经网络模型使用7层卷积层提取特征，每两层卷积层后添加一层池化层；每层卷积层使用双曲正切函数tanh；所述精神疲劳分为正常、轻度、严重三类；
[0011]所述决策层融合的输入包括特征层融合结果即精神疲劳分类器分类结果、PERCLOS、眨眼频率、哈欠频率和点头频率五个属性，采用加权平均的方法进行决策层融合；决策层融合最终输出综合疲劳指标；
[0012]所述失误判断模块采用CREAM预测分析法来判断飞行员出现的失误以及失误的概率；所述采用CREAM预测分析法进行失误判断时的输入为飞行环境参数和综合疲劳指标，首先通过建立认知需求剖面确定驾驶舱环境下飞行员的失误模式及对应的失误概率基本值；然后再评价共同绩效条件，包括组织完整性、工作条件、人机界面与运行支持的完整性、规程/计划可用性、同时出现的目标数量、可用时间、工作时间、培训和经验的充分性、班组成员合作质量9种；最终识别最可能的认知功能失效模式和预测失误概率；
[0013]所述驾驶舱人机交互模块包括前置诱发实验子模块、数据管理及处理系统和预警子模块；所述前置诱发实验子模块对飞行员进行疲劳诱发实验和情绪诱发实验；所述疲劳诱发实验要求飞行员进行不同时段的睡眠剥夺；所述情绪诱发实验通过音视频诱发飞行员的高兴、悲伤、愤怒情绪；所述数据管理及处理系统包括数据采集配置子模块、数据文件管理子模块和结果可视化子模块；所述数据采集配置子模块通过选择通信串口以及采集设备来进行采集飞行员生理信号时的相关配置，再通过对数据库类型以及用户类型的选择来确定采集获取的生理信号的存储位置以及操作权限模式；所述数据文件管理字模块通过读取文件按钮将存储于数据库中的文件读取到显示面板中，并对文件操作；所述结果可视化字模块通过调用精神疲劳监测模块可视化显示对飞行员的精神疲劳分类器分类结果、PERCLOS、眨眼频率、哈欠频率、点头频率以及最终的综合疲劳指标；
[0014]所述预警模块包括警示灯和飞行建议；预警模块根据综合疲劳指标决定是否发出警报以及给出飞行建议；当飞行员的综合疲劳指标达到阈值时触发警示灯；所述飞行建议包括更换主飞行员、进行休息、出现的失误类型及解决方案。
[0015]进一步地，所述信号采集模块使用蓝牙脉搏皮电呼吸传感器和心电信号传感器采集飞行员的心电、皮电、脉搏、呼吸生理信号；采用摄像头捕捉飞行员面部图像。
[0016]进一步地，所述飞行环境参数包括飞行阶段、ATM指令、航线约束、A/C的性能约束、天气因素、地形；飞行环境参数由X
‑
PLANE飞行仿真软件提供。
[0017]进一步地，所述心电信号传感器型号为BMD101，包括低噪音放大器、ADC模数转换器和一个检测感应器是否脱落的电路，能够采集从uV到mV的生物信号。
[0018]进一步地，所述生理信号特征为SDNN或LFP/HFP或近似熵特征；采用离差标准化方法进行归一化。
[0019]进一步地，所述面部图像识别子模块对信号采集模块采集到的飞行员面部图像进行人脸关键点提取，再通过人脸关键点计算飞行员的PERCLOS、眨眼频率、哈欠频率和点头频率，具体方法为：
[0020]利用人脸识别开源库Dlib进行人脸关键点提取，特征提取器采用shape_predictor_68_face_landmarks.dat；通过人脸关键点计算PERCLOS、眨眼频率、哈欠频率以
及点头频率；
[0021]所述PERCLOS是指在单位时间内眼睛闭合程度超过设定闭值的时间占总时间的百分比，即眼睛闭合帧数与检测时间段总帧数之比；设定闭值标准为P80，即眼睑遮住瞳孔的面积超过80％就计为眼睛闭合，统计在固定时间内眼睛闭合时所占的时间比例即为PERCLOS；
[0022]所述眨眼频率通过计算眼睛纵横比得到；眼睛纵横比EAR为左眼和右眼纵横比的平均值，计算公式如本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于精神疲劳监测的驾驶舱人机交互系统，其特征在于，包括信号采集模块、精神疲劳监测模块、失误判断模块和驾驶舱人机交互模块；所述信号采集模块采集飞行员的心电、皮电、脉搏、呼吸生理信号、捕捉飞行员面部图像和导入飞行环境参数；所述精神疲劳监测模块包括生理信号处理子模块、面部图像识别子模块和基于多模信息融合的疲劳识别子模块；所述生理信号处理子模块对信号采集模块采集到的生理信号依次进行低通滤波处理、带陷滤波处理和基线漂移纠正处理，再进行生理信号特征提取并进行归一化；所述面部图像识别子模块对信号采集模块采集到的飞行员面部图像进行人脸关键点提取，再通过人脸关键点计算飞行员的PERCLOS、眨眼频率、哈欠频率和点头频率；所述基于多模信息融合的疲劳识别子模块包括特征层融合和决策层融合；所述特征层融合先对生理信号特征和人脸关键点进行CCA降维处理，再将降维结果导入卷积神经网络模型进行训练，并将训练好的卷积神经网络模型作为精神疲劳分类器；所述卷积神经网络模型使用7层卷积层提取特征，每两层卷积层后添加一层池化层；每层卷积层使用双曲正切函数tanh；所述精神疲劳分为正常、轻度、严重三类；所述决策层融合的输入包括特征层融合结果即精神疲劳分类器分类结果、PERCLOS、眨眼频率、哈欠频率和点头频率五个属性，采用加权平均的方法进行决策层融合；决策层融合最终输出综合疲劳指标；所述失误判断模块采用CREAM预测分析法来判断飞行员出现的失误以及失误的概率；所述采用CREAM预测分析法进行失误判断时的输入为飞行环境参数和综合疲劳指标，首先通过建立认知需求剖面确定驾驶舱环境下飞行员的失误模式及对应的失误概率基本值；然后再评价共同绩效条件，包括组织完整性、工作条件、人机界面与运行支持的完整性、规程/计划可用性、同时出现的目标数量、可用时间、工作时间、培训和经验的充分性、班组成员合作质量9种；最终识别最可能的认知功能失效模式和预测失误概率；所述驾驶舱人机交互模块包括前置诱发实验子模块、数据管理及处理系统和预警子模块；所述前置诱发实验子模块对飞行员进行疲劳诱发实验和情绪诱发实验；所述疲劳诱发实验要求飞行员进行不同时段的睡眠剥夺；所述情绪诱发实验通过音视频诱发飞行员的高兴、悲伤、愤怒情绪；所述数据管理及处理系统包括数据采集配置子模块、数据文件管理子模块和结果可视化子模块；所述数据采集配置子模块通过选择通信串口以及采集设备来进行采集飞行员生理信号时的相关配置，再通过对数据库类型以及用户类型的选择来确定采集获取的生理信号的存储位置以及操作权限模式；所述数据文件管理字模块通过读取文件按钮将存储于数据库中的文件读取到显示面板中，并对文件操作；所述结果可视化字模块通过调用精神疲劳监测模块可视化显示对飞行员的精神疲劳分类器分类结果、PERCLOS、眨眼频率、哈欠频率、点头频率以及最终的综合疲劳指标；所述预警模块包括警示灯和飞行建议；预警模块根据综合疲劳指标决定是否发出警报以及给出飞行建议；当飞行员的综合疲劳指标达到阈值时触发警示灯；所述飞行建议包括更换主飞行员、进行休息、出现的失误类型及解决方案。2.根据权利要求1所述的一种基于精神疲劳监测的驾驶舱人机交互系统，其特征在于，所述信号采集模块使用蓝牙脉搏皮电呼吸传感器和心电信号传感器采集飞行员的心电、皮电、脉搏、呼吸生理信号；采用摄像头捕捉飞行员面部图像。
3.根据权利要求1所述的一种基于精神疲劳监测的驾驶舱人机交互系统，其特征在于，所述飞行环境参数包括飞行阶段、ATM指令、航线约束、A/C的性能约束、天气因素、地形；飞行环境参数由X
‑
PLANE飞行仿真软件提供。4.根据权利要求1所述的一种基于精神疲劳监测的驾驶舱人机交互系统，其特征在于，所述心电信号传感器型号为BMD101，包括低噪音放大器、ADC模数转换器和一个检测感应器是否脱落的电路，能够采集从uV到mV的生物信号。5.根据权利要求1所述的一种基于精神疲劳监测的驾驶舱人机交互系统，其特征在于，所述生理信号特征为SDNN或LFP/HFP或近似熵特征；采用离差标准化方法进行归一化。6.根据权利要求1所述的一种基于精神疲劳监测的驾驶舱人机交互系统，其特征在于，所述面部图像识别子模块对信号采集模块采集到的飞行员面部图像进行人脸关键点提取，再通过人脸关键点计算飞行员的PERCLOS、眨眼频率、哈欠频率和点头频率，具体方法为：利用人脸识别开源库Dlib进行人脸关键点提取，特征提取器采用shape_predictor_68_face_l...

【专利技术属性】
技术研发人员：王文东，文莲，张志彬，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：