基于多模态信息融合的疲劳驾驶检测方法技术

本发明专利技术属于航空航天、驾驶状态检测技术领域，具体涉及一种基于多模态信息融合的疲劳驾驶检测方法，旨在解决现有疲劳驾驶检测方法检测精度、鲁棒性较差的问题。本方法包括：采集待疲劳驾驶检测的目标对象的多模态数据，作为输入数据；对输入数据进行预处理，得到预处理数据；构建目标对象当前状态下的广置矩阵，通过预构建的无监督神经网络模型对所述广置矩阵进行重新构建；基于重新构建后与重新构建前的广置矩阵，获取所述目标对象的疲劳状态检测结果；若疲劳状态检测结果为处于疲劳状态，获取目标对象的疲劳类型；根据疲劳类型，获取目标对象的疲劳程度。本发明专利技术提高了疲劳检测的精度以及鲁棒性。以及鲁棒性。以及鲁棒性。

【技术实现步骤摘要】
基于多模态信息融合的疲劳驾驶检测方法


[0001]本专利技术属于航空航天、驾驶状态检测
，具体涉及一种基于多模态信息融合的疲劳驾驶检测方法、系统及电子设备。

技术介绍

[0002]据国际民航组织(International Civil Aviation Organization，ICAO)的统计，人为因素在现代航空事故中所占的比例高达76％，其中飞行人员原因造成的事故占60％以上，与飞行员疲劳有关的事故占21％。因此，减少因飞行员疲劳造成的飞行事故，对航空安全具有重大意义。
[0003]而随着全球新冠疫情的肆虐，整个航空产业正面临着巨大的挑战，在中国航空局的大力支持下，国内航空公司在海外的高风险地区执行大量的多套组往返飞行任务，为疫情的控制做出了积极的贡献。防疫政策对航空运营的人力资源调配带来了巨大的挑战，长时间隔离和长航线运行也会对机组人员产生不可忽视的影响。如何及时、高效的检测飞行员的疲劳程度，预防可能发生的飞行事故，是目前急需解决的问题。基于此，本专利技术提出了一种基于多模态信息融合的疲劳驾驶检测方法。

技术实现思路

[0004]为了解决现有技术中的上述问题，即为了解决现有疲劳驾驶检测方法检测精度、鲁棒性较差的问题，本专利技术第一方面，提出了一种基于多模态信息融合的疲劳驾驶检测方法，该方法包括：
[0005]S100，采集待疲劳驾驶检测的目标对象的多模态数据，作为输入数据；所述多模态数据包括文本数据、图像数据、生理传感数据；
[0006]S200，对所述输入数据进行预处理，得到预处理数据；
[0007]S300，对预处理后的生理传感数据按照设定时间长度划分，划分后，构建所述目标对象当前状态下的广置矩阵；通过预构建的无监督神经网络模型对所述广置矩阵进行重新构建；基于重新构建后与重新构建前的广置矩阵，获取所述目标对象的疲劳状态检测结果；所述疲劳状态检测结果包括是否处于疲劳状态；
[0008]S400，若所述疲劳状态检测结果为处于疲劳状态，则对所述预处理数据中的多个模态的数据分别进行特征提取，并进行特征融合，得到融合特征；将所述融合特征输入预构建的疲劳类型检测模型的多层感知器和softmax分类器中，获取所述目标对象的疲劳类型；所述疲劳类型包括生理性疲劳、病理性疲劳；
[0009]S500，根据所述疲劳类型，结合所述融合特征，通过预构建的疲劳程度检测模型，获取所述目标对象的疲劳程度。
[0010]在一些优选的实施方式中，基于重新构建后与重新构建前的广置矩阵，获取所述目标对象的疲劳状态检测结果，其方法为：
[0011]计算重新构建后与重新构建前的广置矩阵之间的差值，基于所述差值计算所述目
标对象在设定的疲劳状态阈值下的检测结果；所述广置矩阵为基于历史数据构建当前状态下的目标对象疲劳状态的矩阵。
[0012]在一些优选的实施方式中，所述预构建的无监督神经网络模型基于编码器、解码器构建；所述编码器、所述解码器均基于递归神经网络构建。
[0013]在一些优选的实施方式中，对所述预处理数据中的多个模态的数据分别进行特征提取，并进行特征融合，得到融合特征，其方法为：
[0014]通过所述疲劳类型检测模型中的三输入特征提取与融合网络，得到融合特征；所述疲劳类型检测模型基于依次连接的三输入特征提取与融合网络、多层感知器和softmax分类器构建；
[0015]其中，所述三输入特征提取与融合网络包括三个特征提取网络；每个特征提取网络后连接一个特征融合网络；每个特征提取网络均包括并联的第一卷积单元、第二卷积单元、第三卷积单元；所述第一卷积单元为N个级联不同尺度的标准卷积层，N>6；所述第二卷积单元与所述第一卷积单元最后N
‑
2个标准卷积层相同；所述第三卷积单元所述第一卷积单元最后N
‑
4个标准卷积层相同；所述第二卷积单元、所述第三卷积单元中的第一个标准卷积层的输入为与所述第一卷积单元对应的标准卷积层的输入；
[0016]所述特征融合网络包含2N
‑
6个并行的卷积层；将所述第一卷积单元与所述第二卷积单元对应的标准卷积层的输出特征进行融合，将所述第一卷积单元与所述第三卷积单元对应的标准卷积层的输出特征进行融合；
[0017]融合后，分别输入所述特征融合网络对应的卷积层沿通道数进行减半处理，处理后，将所述特征融合网络各卷积层输出的特征进行拼接；
[0018]将三个特征融合网络输出的拼接特征进行融合，作为融合特征。
[0019]在一些优选的实施方式中，所述疲劳类型检测模型，其在训练过程中的损失函数为：
[0020]L＝L
FEN
+L
CFY
+L
MTG
[0021][0021][0022][0023]L
MTG
＝[d
‑
S(X
image
，X
text
)]+[e
‑
S(X
text
，X
pda
)]+[f
‑
S(X
pda
，X
image
)][0024]其中，L为总损失函数，L
FEN
表示特征融合损失函数，L
CFY
表示分类损失函数，L
MTG
表示特征相似性损失函数，表示第i次融合时第一卷积单元对应的标准卷积层的输出特征，表示特征融合网络第i个卷积层的输入，即卷积单元融合后的特征，表示特征融合网络第i个卷积层输出的通道数减半后的特征，a、b表示设定的第一参数、第二参数，n表示分类的类别个数，z
j
表示样本划分到真实类型的得分，z
j*
表示样本没有划分到真实类型的得分，X
image
、X
text
、X
pda
分别表示图像数据、文本数据、生理传感数据对应的特征融合网络输出的拼接特征，S()表示相似性函数，d、e、f分别表示图像数据、文本数据、生理传感数据对应的相似性阈值。
[0025]在一些优选的实施方式中，所述疲劳程度检测模型包括全连接层和分类器；其中，所述全连接层产生相应维度的特征值，输入到分类器，得到疲劳程度；
[0026]所述疲劳程度检测模型，其在训练过程中的损失函数为：
[0027][0027][0028]其中，k表示疲劳程度的等级个数，y
i
表示疲劳程度检测模型输出的疲劳程度，表示疲劳程度的真值标签，W
i
表示第i个疲劳程度对应的特征均值，α、β表示设定的正则化参数，x表示疲劳程度检测模型输入的融合特征。
[0029]在一些优选的实施方式中，S500后还包括：计算所述目标对象的疲劳程度与历史统计的该目标对象的总精力值的比值；根据所述比值，结合预设的比值与设定排班时长的映射表，获取所述目标对象的排班时长，进而进行驾驶排本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态信息融合的疲劳驾驶检测方法，其特征在于，该方法包括：S100，采集待疲劳驾驶检测的目标对象的多模态数据，作为输入数据；所述多模态数据包括文本数据、图像数据、生理传感数据；S200，对所述输入数据进行预处理，得到预处理数据；S300，对预处理后的生理传感数据按照设定时间长度划分，划分后，构建所述目标对象当前状态下的广置矩阵；通过预构建的无监督神经网络模型对所述广置矩阵进行重新构建；基于重新构建后与重新构建前的广置矩阵，获取所述目标对象的疲劳状态检测结果；所述疲劳状态检测结果包括是否处于疲劳状态；S400，若所述疲劳状态检测结果为处于疲劳状态，则对所述预处理数据中的多个模态的数据分别进行特征提取，并进行特征融合，得到融合特征；将所述融合特征输入预构建的疲劳类型检测模型的多层感知器和softmax分类器中，获取所述目标对象的疲劳类型；所述疲劳类型包括生理性疲劳、病理性疲劳；S500，根据所述疲劳类型，结合所述融合特征，通过预构建的疲劳程度检测模型，获取所述目标对象的疲劳程度。2.根据权利要求1所述的一种基于多模态信息融合的疲劳驾驶检测方法，其特征在于，基于重新构建后与重新构建前的广置矩阵，获取所述目标对象的疲劳状态检测结果，其方法为：计算重新构建后与重新构建前的广置矩阵之间的差值，基于所述差值计算所述目标对象在设定的疲劳状态阈值下的检测结果；所述广置矩阵为基于历史数据构建当前状态下的目标对象疲劳状态的矩阵。3.根据权利要求1所述的一种基于多模态信息融合的疲劳驾驶检测方法，其特征在于，所述预构建的无监督神经网络模型基于编码器、解码器构建；所述编码器、所述解码器均基于递归神经网络构建。4.根据权利要求1所述的一种基于多模态信息融合的疲劳驾驶检测方法，其特征在于，对所述预处理数据中的多个模态的数据分别进行特征提取，并进行特征融合，得到融合特征，其方法为：通过所述疲劳类型检测模型中的三输入特征提取与融合网络，得到融合特征；所述疲劳类型检测模型基于依次连接的三输入特征提取与融合网络、多层感知器和softmax分类器构建；其中，所述三输入特征提取与融合网络包括三个特征提取网络；每个特征提取网络后连接一个特征融合网络；每个特征提取网络均包括并联的第一卷积单元、第二卷积单元、第三卷积单元；所述第一卷积单元为N个级联不同尺度的标准卷积层，N>6；所述第二卷积单元与所述第一卷积单元最后N
‑
2个标准卷积层相同；所述第三卷积单元所述第一卷积单元最后N
‑
4个标准卷积层相同；所述第二卷积单元、所述第三卷积单元中的第一个标准卷积层的输入为与所述第一卷积单元对应的标准卷积层的输入；所述特征融合网络包含2N
‑
6个并行的卷积层；将所述第一卷积单元与所述第二卷积单元对应的标准卷积层的输出特征进行融合，将所述第一卷积单元与所述第三卷积单元对应的标准卷积层的输出特征进行融合；融合后，分别输入所述特征融合网络对应的卷积层沿通道数进行减半处理，处理后，将所述特征融合网络各卷积层输出的特征进行拼接；
将三个特征融合网络输出的拼接特征进行融合，作为融合特征。5.根据权利要求4所述的一种基于多模态信息融合的疲劳驾驶检测方法，其特征在于，所述疲劳类型检测模型，其在训练过程中的损失函数为：L＝L
FEN
+L
CFY
+L
MTGMTG
L
MTG
＝[d
‑
S(X
image
,X
text
)]+[e
‑
S(X
text
,X
pda
...

【专利技术属性】
技术研发人员：李炎，何吉波，李福娟，郑佳杰，公超，郑智颖，周玉豪，毛金凤，
申请(专利权)人：东航技术应用研发中心有限公司，
类型：发明
国别省市：