【技术实现步骤摘要】
本专利技术属于疲劳检测，具体涉及一种基于可信冲突多模态学习的飞行员疲劳状态监测方法。
技术介绍
1、目前，飞行员状态监测通常是利用采集到的飞行员的多种生理模态数据分析其疲劳程度，例如：通过可穿戴式脑电帽采集脑电信号、通过光学摄像头采集rgb图像、通过红外摄像头采集红外图像、通过心率手环采集心电信号等，其中，脑电信号、rgb图像、红外图像、心电信号等数据被称作多模态数据。获得上述多模态数据后，利用不同模态间的一致性和互补性信息，做出对飞行员驾驶疲劳程度的判断。
2、然而，不同模态间带有的信息可能存在一定冲突，例如：rgb图像模态可能因光线不足给出未疲劳的决策意见，心率模态也可能因为飞行员处理应急事务而给出高疲劳程度的决策意见，传统的多模态学习方法虽然简单的综合了各模态的决策意见，但忽视了模态间冲突信息对决策结果的干扰，不同模态中的冲突信息会使得多模态学习方法不可避免地退化甚至失效，从而导致错误的不可信检测结果，而错误的疲劳状态和疲劳程度检测结果造成防疲劳系统进行错误程度的介入会对飞行员和地面塔台人员造成不必要的麻烦，甚至引发事故。
技术实现思路
1、为了解决现有技术中存在的上述问题，本专利技术提供了一种基于可信冲突多模态学习的飞行员疲劳状态监测方法。本专利技术要解决的技术问题通过以下技术方案实现：
2、本专利技术提供一种基于可信冲突多模态学习的飞行员疲劳状态监测方法，包括：
3、获取飞行员多个模态的生理数据并进行预处理，得到每个模态的生理数据的特征
4、将所述每个模态的生理数据的特征输入各模态对应的证据神经网络，得到每个模态的生理数据的特征被分配到第k种疲劳程度类别的证据e′k，k＝1,…,k，k表示疲劳程度类别的数量；
5、基于所述证据e＇k生成每个模态对应的观点后，对所有模态对应的观点进行融合，得到融合观点w′；
6、融合每个模态的生理数据的特征被分配到第k种疲劳程度类别的证据e′k，并根据得到的融合证据e″k计算飞行员为第k种疲劳程度类别的概率p′k；
7、基于最大的概率p′k确定飞行员的疲劳程度类别，并根据所述融合观点w′确定所述飞行员的疲劳程度类别的置信度。
8、在本专利技术的一个实施例中，所述每个模态对应的观点包括：每个模态的生理数据的特征被分配到第k种疲劳程度类别的置信度、先验概率及其被分配到各种疲劳程度类别的不可信度；
9、融合每个模态的生理数据的特征被分配到第k种疲劳程度类别的证据e′k，并根据得到的融合证据e″k计算飞行员为第k种疲劳程度类别的概率p′k的步骤，包括：
10、计算各模态的生理数据的特征被分配到第k种疲劳程度类别的证据的均值，得到融合证据e″k；
11、根据融合证据e″k计算融合模态对应的狄利克雷分布参数α′k及狄利克雷强度s′：
12、α′k＝e″k+1；
13、
14、根据所述狄利克雷分布参数α′k和狄利克雷强度s′，计算飞行员为第k种疲劳程度类别的概率p′k：
15、p′k＝α′k/s′。
16、在本专利技术的一个实施例中，所述多个模态包括：脑电模态、图像模态和心电模态；
17、获取飞行员多个模态的生理数据并进行预处理，得到每个模态的生理数据的特征的步骤，包括：
18、采集飞行员的脑电信号，并提取所述脑电信号的时域特征、频域特征和时频域特征；
19、采集飞行员的图像数据，并基于所述图像数据提取飞行员的眼动特征和表情特征；
20、采集飞行员的心电信号，并提取所述心电信号的心电特征。
21、在本专利技术的一个实施例中，所述各模态对应的证据神经网络按照如下步骤预先进行训练：
22、获取各模态的多个生理数据样本并进行预处理，得到每个模态的多个生理数据样本的特征；
23、将第v个模态的多个生理数据样本的特征输入至待训练的证据神经网络，收集得到第v个模态的第n个生理数据样本的特征被分配到第k种疲劳程度类别的证据v＝2,…,v，v表示模态数量，n＝2,…,n，n表示第v个模态的生理数据样本的数量；
24、根据所述证据和第v个模态的第n个生理数据样本的特征对应的狄利克雷分布参数计算第v个模态的第n个生理数据样本的特征被分配到第k种疲劳程度类别的先验概率置信度及其被分配到各种疲劳程度类别的不可信度
25、基于所述先验概率所述置信度和所述不可信度生成针对第v个模态下第n个生理数据样本的观点；
26、融合所有模态下的观点得到融合观点；
27、对不同模态下的观点进行冲突程度量化；
28、根据预设损失函数、冲突程度量化结果和融合观点计算损失值；
29、判断所述损失值是否满足预设条件；若否，则通过反向传播调整各模态对应的待训练的证据神经网络的参数；若是，则获得第v个模态对应的证据神经网络。
30、在本专利技术的一个实施例中，根据所述证据和第v个模态的第n个生理数据样本的特征对应的狄利克雷分布参数计算第v个模态的第n个生理数据样本的特征被分配到第k种疲劳程度类别的先验概率置信度及其被分配到各种疲劳程度类别的不可信度的步骤，包括：
31、根据所述证据计算第v个模态的第n个生理数据样本的特征对应的狄利克雷强度和k维的狄利克雷分布参数
32、
33、其中，分别表示狄利克雷分布参数中的第1,…,k维，t表示转置；
34、根据所述狄利克雷强度和狄利克雷分布参数计算第v个模态下输入的第n个生理数据样本的特征被分配到第k种疲劳程度类别的置信度及其被分配到各种疲劳程度类别的不可信度
35、计算第v个模态下输入的第n个生理数据样本的特征被分配到第k种疲劳程度类别的先验概率其中，
36、在本专利技术的一个实施例中，生成的针对第v个模态下第n个生理数据样本的观点表示为：
37、
38、式中，
39、在本专利技术的一个实施例中，分别按照如下公式计算第v个模态的第n个生理数据样本的特征被分配到第k种疲劳程度类别的置信度及其被分配到各种疲劳程度类别的不可信度
40、
41、
42、在本专利技术的一个实施例中，融合所有模态下的观点得到融合观点的步骤，包括：
43、对各模态下的观点中的狄利克雷分布参数以及第n个生理数据样本的特征被分配到第k种疲劳程度类别的置信度和不可信度进行融合，得到融合观点。
44、在本专利技术的一个实施例中，按照如下公式对所有模态下的观点进行融合：
45、
46、式中，分别表示针对第1,2,…,v个模态下第n个生理数据样本的观点，◇表示融合操作，w表示融合观点；其中，
47、按照如下公式，对生成的针对第i、j个模态下的第n个生理数据样本的观点进行融合：
48、式中，表示第i、j个模态下的第n本文档来自技高网...
【技术保护点】
1.一种基于可信冲突多模态学习的飞行员疲劳状态监测方法，其特征在于，包括：
2.根据权利要求1所述的基于可信冲突多模态学习的飞行员疲劳状态监测方法，其特征在于，所述每个模态对应的观点包括：每个模态的生理数据的特征被分配到第k种疲劳程度类别的置信度、先验概率及其被分配到各种疲劳程度类别的不可信度；
3.根据权利要求2所述的基于可信冲突多模态学习的飞行员疲劳状态监测方法，其特征在于，所述多个模态包括：脑电模态、图像模态和心电模态；
4.根据权利要求2所述的基于可信冲突多模态学习的飞行员疲劳状态监测方法，其特征在于，所述各模态对应的证据神经网络按照如下步骤预先进行训练：
5.根据权利要求4所述的基于可信冲突多模态学习的飞行员疲劳状态监测方法，其特征在于，根据所述证据和第v个模态的第n个生理数据样本的特征对应的狄利克雷分布参数计算第v个模态的第n个生理数据样本的特征被分配到第k种疲劳程度类别的先验概率置信度及其被分配到各种疲劳程度类别的不可信度的步骤，包括：
6.根据权利要求5所述的基于可信冲突多模态学习的飞行员疲劳状态监测方法
7.根据权利要求5所述的基于可信冲突多模态学习的飞行员疲劳状态监测方法，其特征在于，分别按照如下公式计算第v个模态的第n个生理数据样本的特征被分配到第k种疲劳程度类别的置信度及其被分配到各种疲劳程度类别的不可信度
8.根据权利要求4所述的基于可信冲突多模态学习的飞行员疲劳状态监测方法，其特征在于，融合所有模态下的观点得到融合观点的步骤，包括：
9.根据权利要求8所述的基于可信冲突多模态学习的飞行员疲劳状态监测方法，其特征在于，按照如下公式对所有模态下的观点进行融合：
10.根据权利要求9所述的基于可信冲突多模态学习的飞行员疲劳状态监测方法，其特征在于，按照如下公式，对生成的针对第i、j个模态下的第n个生理数据样本的观点进进行冲突程度量化：
...【技术特征摘要】
1.一种基于可信冲突多模态学习的飞行员疲劳状态监测方法，其特征在于，包括：
2.根据权利要求1所述的基于可信冲突多模态学习的飞行员疲劳状态监测方法，其特征在于，所述每个模态对应的观点包括：每个模态的生理数据的特征被分配到第k种疲劳程度类别的置信度、先验概率及其被分配到各种疲劳程度类别的不可信度；
3.根据权利要求2所述的基于可信冲突多模态学习的飞行员疲劳状态监测方法，其特征在于，所述多个模态包括：脑电模态、图像模态和心电模态；
4.根据权利要求2所述的基于可信冲突多模态学习的飞行员疲劳状态监测方法，其特征在于，所述各模态对应的证据神经网络按照如下步骤预先进行训练：
5.根据权利要求4所述的基于可信冲突多模态学习的飞行员疲劳状态监测方法，其特征在于，根据所述证据和第v个模态的第n个生理数据样本的特征对应的狄利克雷分布参数计算第v个模态的第n个生理数据样本的特征被分配到第k种疲劳程度类别的先验概率置信度及其被分配到各种疲劳程...
【专利技术属性】
技术研发人员：徐偲，温子祺，周畅，栗彤，宋翔宇，管子玉，赵伟，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。