基于可信冲突多模态学习的飞行员疲劳状态监测方法技术

技术编号:41785125 阅读:17 留言:0更新日期:2024-06-24 20:13
本发明专利技术公开了一种基于可信冲突多模态学习的飞行员疲劳状态监测方法,包括:获取飞行员多个模态的生理数据并进行预处理,得到每个模态的生理数据的特征后,输入各模态的证据神经网络,得到每个模态的生理数据的特征被分配到第k种疲劳程度类别的证据e′<subgt;k</subgt;;基于证据e′<subgt;k</subgt;生成每个模态对应的观点后进行融合,得到融合观点w′;融合每个模态的生理数据的特征被分配到第k种疲劳程度类别的证据e″<subgt;k</subgt;,并根据得到的融合证据e″<subgt;k</subgt;计算飞行员为第k种疲劳程度类别的概率p′<subgt;k</subgt;;基于最大的概率p′<subgt;k</subgt;确定飞行员的疲劳程度类别,并根据融合观点w′确定对应地置信度。本发明专利技术实现了对模态间的冲突程度和决策的可信性的量化。

【技术实现步骤摘要】

本专利技术属于疲劳检测,具体涉及一种基于可信冲突多模态学习的飞行员疲劳状态监测方法


技术介绍

1、目前,飞行员状态监测通常是利用采集到的飞行员的多种生理模态数据分析其疲劳程度,例如:通过可穿戴式脑电帽采集脑电信号、通过光学摄像头采集rgb图像、通过红外摄像头采集红外图像、通过心率手环采集心电信号等,其中,脑电信号、rgb图像、红外图像、心电信号等数据被称作多模态数据。获得上述多模态数据后,利用不同模态间的一致性和互补性信息,做出对飞行员驾驶疲劳程度的判断。

2、然而,不同模态间带有的信息可能存在一定冲突,例如:rgb图像模态可能因光线不足给出未疲劳的决策意见,心率模态也可能因为飞行员处理应急事务而给出高疲劳程度的决策意见,传统的多模态学习方法虽然简单的综合了各模态的决策意见,但忽视了模态间冲突信息对决策结果的干扰,不同模态中的冲突信息会使得多模态学习方法不可避免地退化甚至失效,从而导致错误的不可信检测结果,而错误的疲劳状态和疲劳程度检测结果造成防疲劳系统进行错误程度的介入会对飞行员和地面塔台人员造成不必要的麻烦,甚至引发事故。


...

【技术保护点】

1.一种基于可信冲突多模态学习的飞行员疲劳状态监测方法,其特征在于,包括:

2.根据权利要求1所述的基于可信冲突多模态学习的飞行员疲劳状态监测方法,其特征在于,所述每个模态对应的观点包括:每个模态的生理数据的特征被分配到第k种疲劳程度类别的置信度、先验概率及其被分配到各种疲劳程度类别的不可信度;

3.根据权利要求2所述的基于可信冲突多模态学习的飞行员疲劳状态监测方法,其特征在于,所述多个模态包括:脑电模态、图像模态和心电模态;

4.根据权利要求2所述的基于可信冲突多模态学习的飞行员疲劳状态监测方法,其特征在于,所述各模态对应的证据神经网络按照如下步骤预...

【技术特征摘要】

1.一种基于可信冲突多模态学习的飞行员疲劳状态监测方法,其特征在于,包括:

2.根据权利要求1所述的基于可信冲突多模态学习的飞行员疲劳状态监测方法,其特征在于,所述每个模态对应的观点包括:每个模态的生理数据的特征被分配到第k种疲劳程度类别的置信度、先验概率及其被分配到各种疲劳程度类别的不可信度;

3.根据权利要求2所述的基于可信冲突多模态学习的飞行员疲劳状态监测方法,其特征在于,所述多个模态包括:脑电模态、图像模态和心电模态;

4.根据权利要求2所述的基于可信冲突多模态学习的飞行员疲劳状态监测方法,其特征在于,所述各模态对应的证据神经网络按照如下步骤预先进行训练:

5.根据权利要求4所述的基于可信冲突多模态学习的飞行员疲劳状态监测方法,其特征在于,根据所述证据和第v个模态的第n个生理数据样本的特征对应的狄利克雷分布参数计算第v个模态的第n个生理数据样本的特征被分配到第k种疲劳程度类别的先验概率置信度及其被分配到各种疲劳程...

【专利技术属性】
技术研发人员:徐偲温子祺周畅栗彤宋翔宇管子玉赵伟
申请(专利权)人:西安电子科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1