一种基于多模态融合的驾驶行为分类的方法和装置制造方法及图纸

本申请提供一种基于多模态融合的驾驶行为分类的方法和装置。该方法包括：获取车辆的时间序列数据，该时间序列数据包括该车辆运行过程中按时域采集的运动状态数据；确定该时间序列数据的时域分支特征向量，其中该时域分支特征向量是根据该时间序列数据和多个不同的神经网络得到的；确定该时间序列数据的频域分支特征向量，其中，该频域分支特征向量是根据频域数据中的多个频域特征的融合得到的，该频域数据是通过对该时间序列数据进行时频转换得到的；根据该时域分支特征向量和频域分支特征向量的加权融合向量，确定该车辆的驾驶行为分类结果。通过该方案，提高了驾驶行为分类结果的准确率，而且降低了计算消耗。

【技术实现步骤摘要】

本申请涉及驾驶行为分类领域，尤其涉及一种基于多模态融合的驾驶行为分类的方法、装置、电子设备及计算机可读存储介质。

技术介绍

1、世界卫生组织报告称，每年约有135万人死于交通事故，而且这一数字还在继续上升。这些事故中有很大一部分是由于不正常的驾驶行为造成的，如分心驾驶、攻击性驾驶和疲劳驾驶。如果能对驾驶行为进行实时监控，并对危险驾驶行为发出警告，交通事故将大大减少。

2、现阶段，通过驾驶行为分类如通过高级驾驶辅助系统(advanced drivingassistance system，adas)，可以根据驾驶状态和驾驶行为的分类结果来动态调整车辆控制策略，为安全、节能和减少碳排放做出贡献。因此，准确的驾驶行为分类系统对于提高道路安全和可持续交通至关重要。

3、然而，对于驾驶状态和驾驶行为的分析过程需要收集车辆或者驾驶员的动态数据如驾驶员生理数据、驾驶员图像、路边图像等，其数据采集成本、分析过程复杂性、计算资源消耗较大，处理时间也较长。

技术实现思路

1、有鉴于此，本申请提供一种基于多模本文档来自技高网...

【技术保护点】

1.一种基于多模态融合的驾驶行为分类方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述车辆的所述时间序列数据包括沿时间顺序采集的所述车辆的加速度、侧倾角、俯仰角、偏航角和车速中的一种或者多种。

3.根据权利要求1或2所述的方法，其特征在于，所述多个不同的神经网络包括一维卷积层、双向长短期记忆网络BiLSTM和KAN网络，所述确定所述时间序列数据的时域分支特征向量包括：

4.根据权利要求3所述的方法，其特征在于，所述一维卷积层包括由一维卷积、BatchNorm、Relu激活函数和MaxPool组成的卷积块组成。</p>

5.根据...

【技术特征摘要】

1.一种基于多模态融合的驾驶行为分类方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述车辆的所述时间序列数据包括沿时间顺序采集的所述车辆的加速度、侧倾角、俯仰角、偏航角和车速中的一种或者多种。

3.根据权利要求1或2所述的方法，其特征在于，所述多个不同的神经网络包括一维卷积层、双向长短期记忆网络bilstm和kan网络，所述确定所述时间序列数据的时域分支特征向量包括：

4.根据权利要求3所述的方法，其特征在于，所述一维卷积层包括由一维卷积、batchnorm、relu激活函数和maxpool组成的卷积块组成。

5.根据权...

【专利技术属性】
技术研发人员：王振，盛星，张俊哲，段宗涛，曹建荣，
申请(专利权)人：长安大学，
类型：发明
国别省市：