【技术实现步骤摘要】
本专利技术涉及人工智能及人因智能等，尤其涉及一种基于多模态数据的驾驶人员的驾驶状态预测方法和装置。
技术介绍
1、研究表明，驾驶人员分心会导致驾驶人员对危险的感知能力大大下降，即驾驶人员对危险的反应能力下降，从而导致驾驶人员对道路环境判断不及时和不准确，导致操作行为不当，造成驾驶事故。如果可以在驾驶人员发生驾驶分心时对驾驶人员进行提示，则可以有效地避免一些事故。有统计表明，如果驾驶人员的反应时间可以提前0.5秒，则事故发生的可能性将降低大约60％，即便事故发生也可以适当降低事故的强度。但是，相关技术中驾驶状态预测方法预测准确性较低、预测效率低、计算量较大。
技术实现思路
1、本申请实施方式旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请实施方式的目的在于提出一种基于多模态数据的驾驶人员的驾驶状态预测方法、装置、电子设备和存储介质。
2、本申请实施方式提供一种基于多模态数据的驾驶人员的驾驶状态预测方法，所述方法包括：基于驾驶人员的生理状态数据，得到针对驾驶人员驾驶状态的初始预测结果；以及基于所述初始预测结果和车辆行驶数据，得到针对车辆的驾驶状态的目标预测结果。
3、示例性地，所述车辆行驶数据包括横向速度偏移信息；所述基于所述初始预测结果和车辆行驶数据，得到针对车辆的驾驶状态的目标预测结果，包括：在所述初始预测结果和所述横向速度偏移信息均表示驾驶状态为风险驾驶的情况下，确定所述驾驶人员的驾驶状态为风险驾驶。
4、示例性地，所述车辆行驶数
5、示例性地，所述车辆行驶数据包括运动学信息的真实值，所述横向速度偏移信息包括第一横向速度偏移值；所述方法还包括：基于所述运动学信息的真实值，预测得到运动学信息的预测值；基于所述运动学信息的真实值和所述运动学信息的预测值，得到运动学信息的预测误差；以及基于所述预测误差，得到所述第一横向速度偏移值。
6、示例性地，所述横向速度偏移信息表示所述驾驶人员的驾驶状态为风险驾驶，包括：在所述第一横向速度偏移值大于预设速度偏移阈值的情况下，确定所述横向速度偏移信息表示所述驾驶人员的驾驶状态为风险驾驶。
7、示例性地，所述基于所述运动学信息的真实值，预测得到运动学信息的预测值，包括：利用多个空间状态模型基于所述运动学信息的真实值进行预测，得到与所述多个空间状态模型一一对应的多个预测值；基于与所述多个空间状态模型对应的权重，对所述多个预测值进行加权计算，得到所述运动学信息的预测值。
8、示例性地，所述车辆行驶数据还包括横向速度值，所述横向速度偏移信息包括第二横向速度偏移值；所述方法还包括：基于所述横向速度值，确定初始横向速度偏移值；以及基于所述初始横向速度偏移值和平滑系数，确定所述初始横向速度偏移值的均值，作为所述第二横向速度偏移值。
9、示例性地，所述横向速度偏移信息表示驾驶状态为所述驾驶人员的风险驾驶，包括：在所述第二横向速度偏移值处于风险置信区间的情况下，确定所述横向速度偏移信息表示所述驾驶人员的驾驶状态为风险驾驶。
10、示例性地，所述在所述初始预测结果和所述横向速度偏移信息均表示驾驶状态为风险驾驶的情况下，确定所述驾驶人员的驾驶状态为风险驾驶，包括：在所述初始预测结果表示目标数量个时间段内的所述驾驶人员的驾驶状态为风险驾驶，且所述横向速度偏移信息表示所述驾驶人员的驾驶状态为风险驾驶的情况下，基于所述目标数量确定风险驾驶级别，其中，所述目标数量与风险驾驶级别的级数成正相关关系，级数大的风险程度大于级数小的风险程度。
11、示例性地，所述方法还包括：根据所述风险驾驶级别，以对应的风险提示方式输出风险提示信息。
12、示例性地，所述生理状态数据包括眼动数据和脑电数据中的至少之一；所述基于驾驶人员的生理状态数据，得到针对驾驶人员的驾驶状态的初始预测结果，包括：将所述眼动数据和所述脑电数据中的至少之一，输入训练好的深度学习模型中进行预测，得到所述初始预测结果。
13、示例性地，对所述眼动数据进行预处理，包括以下至少一项：去除所述眼动数据中瞳孔大小变化异常、瞳孔被遮挡、瞳孔边缘存在伪影的数据；去除所述眼动数据中表示凝视视线偏差的数据；去除所述眼动数据中视线处于兴趣区之外的数据；去除所述眼动数据中表示扫视角速度大于预设角速度的数据。
14、示例性地，对所述脑电数据进行预处理，包括以下至少一项：对多通道的脑电数据进行平均得到均值，保留每个通道的脑电数据与均值之间的差值；对所述脑电数据进行滤波，保留预设波段的数据；去除所述脑电数据中因眨眼或肌体运动造成的干扰数据；对所述脑电数据进行特征提取，得到针对特定波段的功率谱密度特征数据。
15、示例性地，所述初始预测结果表征了在驾驶过程中驾驶人员是否分心，所述目标预测结果表征了在驾驶过程中是否因为驾驶人员分心导致车辆驾驶偏差。
16、示例性地，所述方法还包括：基于所述目标预测结果，切换车辆的驾驶模式。
17、示例性地，所述基于所述目标预测结果，切换车辆的驾驶模式，包括：在所述目标预测结果表征车辆处于风险驾驶状态时，将车辆的驾驶模式切换为自动驾驶模式。
18、示例性地，所述方法还包括：在车辆基于所述自动驾驶模式行驶的情况下，检测驾驶人员的舒适度信息；在所述舒适度信息表征所述驾驶人员的舒适等级小于预设等级的情况下，将车辆的驾驶模式从所述自动驾驶模式切换为辅助驾驶模式或者常规驾驶模式。
19、示例性地，所述在车辆基于所述自动驾驶模式行驶的情况下，检测驾驶人员的舒适度信息，包括：在车辆基于所述自动驾驶模式行驶的情况下，采集驾驶人员的生理信息和车辆行驶信息中的至少一个；基于所述生理信息和所述车辆行驶信息中的至少一个，检测驾驶人员的舒适度信息。
20、本申请另一实施方式提供一种基于多模态数据的驾驶人员的驾驶状态预测装置，所述装置包括：第一获得模块，用于基于驾驶人员的生理状态数据，得到针对驾驶人员的驾驶状态的初始预测结果；以及第二获得模块，用于基于所述初始预测结果和车辆行驶数据，得到针对车辆的驾驶状态的目标预测结果。
21、本申请另一实施方式提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项实施方式所述的方法的步骤。
22、本申请另一实施方式提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项实施方式所述的方法的步骤。
23、本申请另一实施方式提供一种计算机程序产品，本文档来自技高网...
【技术保护点】
1.一种基于多模态数据的驾驶人员的驾驶状态预测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述车辆行驶数据包括横向速度偏移信息；所述基于所述初始预测结果和车辆行驶数据，得到针对车辆的驾驶状态的目标预测结果，包括：
3.根据权利要求1所述的方法，其特征在于，所述车辆行驶数据包括横向速度值和横向速度偏移信息；所述基于所述初始预测结果和车辆行驶数据，得到针对车辆的驾驶状态的目标预测结果，包括：
4.根据权利要求2或3所述的方法，其特征在于，所述车辆行驶数据包括运动学信息的真实值，所述横向速度偏移信息包括第一横向速度偏移值；所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述横向速度偏移信息表示所述驾驶人员的驾驶状态为风险驾驶，包括：
6.根据权利要求4所述的方法，其特征在于，所述基于所述运动学信息的真实值，预测得到运动学信息的预测值，包括：
7.根据权利要求2或3所述的方法，其特征在于，所述车辆行驶数据还包括横向速度值，所述横向速度偏移信息包括第二横向速度偏移值；所述方法
8.根据权利要求7所述的方法，其特征在于，所述横向速度偏移信息表示驾驶状态为所述驾驶人员的风险驾驶，包括：
9.根据权利要求2或3所述的方法，其特征在于，所述在所述初始预测结果和所述横向速度偏移信息均表示驾驶状态为所述驾驶人员的风险驾驶的情况下，确定所述驾驶人员的驾驶状态为风险驾驶，包括：
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
11.根据权利要求1-3中任意一项所述的方法，其特征在于，所述生理状态数据包括眼动数据和脑电数据中的至少之一；所述基于驾驶人员的生理状态数据，得到针对驾驶人员的驾驶状态的初始预测结果，包括：
12.根据权利要求11所述的方法，其特征在于，对所述眼动数据进行预处理，包括以下至少一项：
13.根据权利要求11所述的方法，其特征在于，对所述脑电数据进行预处理，包括以下至少一项：
14.根据权利要求1-3中任意一项所述的方法，其特征在于，所述初始预测结果表征了在驾驶过程中驾驶人员是否分心，所述目标预测结果表征了在驾驶过程中是否因为驾驶人员分心导致车辆驾驶偏差。
15.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：
16.根据权利要求15所述的方法，其特征在于，所述基于所述目标预测结果，切换车辆的驾驶模式，包括：
17.根据权利要求16所述的方法，其特征在于，所述方法还包括：
18.根据权利要求17所述的方法，其特征在于，所述在车辆基于所述自动驾驶模式行驶的情况下，检测驾驶人员的舒适度信息，包括：
19.一种基于多模态数据的驾驶人员的驾驶状态预测装置，其特征在于，所述装置包括：
20.根据权利要求19所述的装置，其特征在于，所述装置应用于权利要求1-18中任一项的方法。
21.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-18中任一项所述的方法的步骤。
22.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-18中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种基于多模态数据的驾驶人员的驾驶状态预测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述车辆行驶数据包括横向速度偏移信息；所述基于所述初始预测结果和车辆行驶数据，得到针对车辆的驾驶状态的目标预测结果，包括：
3.根据权利要求1所述的方法，其特征在于，所述车辆行驶数据包括横向速度值和横向速度偏移信息；所述基于所述初始预测结果和车辆行驶数据，得到针对车辆的驾驶状态的目标预测结果，包括：
4.根据权利要求2或3所述的方法，其特征在于，所述车辆行驶数据包括运动学信息的真实值，所述横向速度偏移信息包括第一横向速度偏移值；所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述横向速度偏移信息表示所述驾驶人员的驾驶状态为风险驾驶，包括：
6.根据权利要求4所述的方法，其特征在于，所述基于所述运动学信息的真实值，预测得到运动学信息的预测值，包括：
7.根据权利要求2或3所述的方法，其特征在于，所述车辆行驶数据还包括横向速度值，所述横向速度偏移信息包括第二横向速度偏移值；所述方法还包括：
8.根据权利要求7所述的方法，其特征在于，所述横向速度偏移信息表示驾驶状态为所述驾驶人员的风险驾驶，包括：
9.根据权利要求2或3所述的方法，其特征在于，所述在所述初始预测结果和所述横向速度偏移信息均表示驾驶状态为所述驾驶人员的风险驾驶的情况下，确定所述驾驶人员的驾驶状态为风险驾驶，包括：
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
11.根据权利要求1-3中任意一项所述的方法，其特征在于...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：北京津发科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。