驾驶人因智能状态监测方法技术

本发明专利技术提供了一种驾驶人因智能状态监测方法

【技术实现步骤摘要】
驾驶人因智能状态监测方法、系统、电子设备和存储介质


[0001]本专利技术涉及人因智能及监测
，尤其涉及驾驶人因智能状态监测方法
、
系统
、
电子设备和存储介质
。

技术介绍

[0002]随着现代交通和汽车行业的快速发展，汽车保有量的持续上升，交通事故的数量也在不断增加，其中，驾驶人的驾驶状态是影响交通事故发生率的主要原因，若可以针对驾驶人的驾驶状态进行监测，则可以有效避免驾驶人因不良的驾驶状态导致的交通事故
。
[0003]目前针对驾驶人的监测方法主要有三种，包括：基于车辆状态的监测方法
、
基于生理信号的监测方法和基于图像信号的监测方法
。
然而基于车辆状态的监测方法容易收到驾驶人的驾驶习惯
、
道路状态和天气因素等影响，容易产生误判或漏检；基于生理信号的监测方法需要在驾驶人人体皮肤表面附着生理传感器，会影响驾驶人的驾驶体验和驾驶操作；基于图像信号的监测方法常通过多个神经网络模型进行单向计算，不同模型之间缺乏联动，且很难针对多角度的图像信号给出准确的监测结果
。
[0004]当前针对驾驶人的监测技术并没有用于监测驾驶人状态的统一的算法模型，无法实现驾驶人驾驶状态的精确监测；也没有针对驾驶人驾驶状态的多种影响因素建立合适的融合策略，无法实现多种影响因素的有效融合；另外由于传统的驾驶人状态监测算法不能针对多种影响因素进行有效的并行计算，无法满足状态监测的实时性要求
。
专利技术内容
[0005]鉴于此，本专利技术实施例提供了一种驾驶人因智能状态监测方法
、
系统
、
电子设备和存储介质，以消除或改善现有技术中存在的一个或更多个缺陷
。
[0006]本专利技术的一个方面提供了一种驾驶人因智能状态监测方法，包括：
[0007]对车辆行驶过程中同一时段内采集到的不同模态的原始状态数据分别进行预处理，以将各模态的原始状态数据分别分解为采样数据点数量相同的各模态各自对应的多段采样数据，得到各模态的数据矩阵；
[0008]将各模态的数据矩阵分别输入预设的多模态驾驶人因智能状态监测模型，以对各模态的数据矩阵进行多头注意力分配，得到多头注意力自学习后的多模态矩阵，并对多头注意力自学习后的多模态矩阵进行多头注意力分配，得到多头注意力分配后的多模态融合矩阵，再根据多头注意力分配后的多模态融合矩阵中各模态的特征向量，输出该时段内驾驶人状态的监测结果
。
[0009]在本专利技术的一些实施例中，不同模态的原始状态数据包括：驾驶人生理数据
、
驾驶人图像数据
、
道路场景图像数据和车辆行为数据；各模态的数据矩阵包括：生理矩阵
、
人像矩阵
、
道路场景图像矩阵和车辆行为矩阵；对应的，所述对车辆行驶过程中同一时段内采集到的不同模态的原始状态数据分别进行预处理，以将各模态的原始状态数据分别分解为采样数据点数量相同的各模态各自对应的多段采样数据，得到各模态的数据矩阵，包括：
[0010]对同一时段内采集的所述驾驶人生理数据
、
所述驾驶人图像数据
、
所述道路场景图像数据和所述车辆行为数据分别进行预处理，以将所述驶员生理数据分解为采样数据点数量相同的多段采样数据，得到所述生理矩阵，将所述驾驶人图像数据分解为采样数据点数量相同的多段采样数据，得到所述人像矩阵，将所述道路场景图像数据分解为采样数据点数量相同的多段采样数据，得到所述道路场景图像矩阵，将所述车辆行为数据分解为采样数据点数量相同的多段采样数据，得到所述车辆行为矩阵；
[0011]所述生理矩阵
、
人像矩阵
、
道路场景图像矩阵和车辆行为矩阵中的采样数据点数量相同
。
[0012]在本专利技术的一些实施例中，还包括：获取多个历史样本，每个所述历史样本中均包含有车辆行驶过程中同一时段内采集到的不同模态的原始状态数据及对应的类型标签；
[0013]对各个所述历史样本分别进行预处理，得到每个所述历史样本各自对应的各模态的数据矩阵，以形成训练集；
[0014]基于所述训练集对预先构建的多模态驾驶人因智能状态监测模型进行迭代训练，以使该多模态驾驶人因智能状态监测模型用于根据输入的各模态的数据矩阵对应输出驾驶人状态的监测结果数据
。
[0015]在本专利技术的一些实施例中，所述对各模态的数据矩阵进行多头注意力分配，得到多头注意力自学习后的多模态矩阵，包括：
[0016]将各模态的标志向量，两个相邻的数据矩阵之间的模间学习矩阵，以及各模态的数据矩阵并行拼接为多模态矩阵；各所述模间学习矩阵均设为全零矩阵；
[0017]利用各模态的掩码矩阵以及所述数据矩阵的不同线性张量的权重矩阵对所述多模态矩阵进行多头注意力分配，得到多头注意力自学习后的多模态矩阵
。
[0018]在本专利技术的一些实施例中，所述对多头注意力自学习后的多模态矩阵进行多头注意力分配，得到多头注意力分配后的多模态融合矩阵，包括：
[0019]将多头注意力自学习后的多模态矩阵中各所述模间学习矩阵重设为非零矩阵，得到多模态融合矩阵；
[0020]利用所述数据矩阵的不同线性张量的权重矩阵对所述多模态融合矩阵进行多头注意力分配，得到多头注意力分配后的多模态融合矩阵
。
[0021]在本专利技术的一些实施例中，所述根据多头注意力分配后的多模态融合矩阵中各模态的特征向量，输出该时段内驾驶人状态的监测结果，包括：
[0022]将多头注意力分配后的多模态融合矩阵中各模态的标志向量对应位置的特征向量拼接形成语义特征矩阵；
[0023]对所述语义特征矩阵进行平均池化，以得到驾驶人状态的监测结果数据
。
[0024]在本专利技术的一些实施例中，所述对同一时段内采集的所述驾驶人生理数据
、
所述驾驶人图像数据
、
所述道路场景图像数据和所述车辆行为数据分别进行预处理，包括：
[0025]针对驾驶人生理数据，将一个时段内采集的所述驾驶人生理数据进行间隔采样，得到多段采样数据，并对每一段采样数据进行采样，得到包括预设数量的采样数据点的各段采样数据对应的生理数据向量，将该时段内的所述生理数据向量拼接形成生理矩阵；
[0026]针对所述驾驶人图像数据和所述道路场景图像数据，将一个时段内采集的多个所述驾驶人图像数据或所述道路场景图像数据分别进行特征提取，得到多个特征图像，并对
所述特征图像进行分块操作，得到包括预设数量的采样数据点的各特征图像块对应的图像数据向量，将该时段内的各个图像数据向量拼接形成人像矩阵或道路场景图像矩阵；
[0027]针对所述车辆行为数据，将一个时段内采集到的多种车辆行为数据分别进行离散化处理，得到多个包括预设数量的采样数据点的各车辆行为数据对应的行为数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种驾驶人因智能状态监测方法，其特征在于，包括：对车辆行驶过程中同一时段内采集到的不同模态的原始状态数据分别进行预处理，以将各模态的原始状态数据分别分解为采样数据点数量相同的各模态各自对应的多段采样数据，得到各模态的数据矩阵；将各模态的数据矩阵分别输入预设的多模态驾驶人因智能状态监测模型，以对各模态的数据矩阵进行多头注意力分配，得到多头注意力自学习后的多模态矩阵，并对多头注意力自学习后的多模态矩阵进行多头注意力分配，得到多头注意力分配后的多模态融合矩阵，再根据多头注意力分配后的多模态融合矩阵中各模态的特征向量，输出该时段内驾驶人状态的监测结果
。2.
根据权利要求1所述的驾驶人因智能状态监测方法，其特征在于，不同模态的原始状态数据包括：驾驶人生理数据
、
驾驶人图像数据
、
道路场景图像数据和车辆行为数据；各模态的数据矩阵包括：生理矩阵
、
人像矩阵
、
道路场景图像矩阵和车辆行为矩阵；对应的，所述对车辆行驶过程中同一时段内采集到的不同模态的原始状态数据分别进行预处理，以将各模态的原始状态数据分别分解为采样数据点数量相同的各模态各自对应的多段采样数据，得到各模态的数据矩阵，包括：对同一时段内采集的所述驾驶人生理数据
、
所述驾驶人图像数据
、
所述道路场景图像数据和所述车辆行为数据分别进行预处理，以将所述驶员生理数据分解为采样数据点数量相同的多段采样数据，得到所述生理矩阵，将所述驾驶人图像数据分解为采样数据点数量相同的多段采样数据，得到所述人像矩阵，将所述道路场景图像数据分解为采样数据点数量相同的多段采样数据，得到所述道路场景图像矩阵，将所述车辆行为数据分解为采样数据点数量相同的多段采样数据，得到所述车辆行为矩阵；所述生理矩阵
、
人像矩阵
、
道路场景图像矩阵和车辆行为矩阵中的采样数据点数量相同
。3.
根据权利要求1所述的驾驶人因智能状态监测方法，其特征在于，还包括：获取多个历史样本，每个所述历史样本中均包含有车辆行驶过程中同一时段内采集到的不同模态的原始状态数据及对应的类型标签；对各个所述历史样本分别进行预处理，得到每个所述历史样本各自对应的各模态的数据矩阵，以形成训练集；基于所述训练集对预先构建的多模态驾驶人因智能状态监测模型进行迭代训练，以使该多模态驾驶人因智能状态监测模型用于根据输入的各模态的数据矩阵对应输出驾驶人状态的监测结果数据
。4.
根据权利要求1所述的驾驶人因智能状态监测方法，其特征在于，所述对各模态的数据矩阵进行多头注意力分配，得到多头注意力自学习后的多模态矩阵，包括：将各模态的标志向量，两个相邻的数据矩阵之间的模间学习矩阵，以及各模态的数据矩阵并行拼接为多模态矩阵；各所述模间学习矩阵均设为全零矩阵；利用各模态的掩码矩阵以及所述数据矩阵的不同线性张量的权重矩阵对所述多模态矩阵进行多头注意力分配，得到多头注意力自学习后的多模态矩阵
。5.
根据权利要求1所述的驾驶人因智能状态监测方法，其特征在于...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：北京津发科技股份有限公司，
类型：发明
国别省市：