基于多模态的异常驾驶行为判断方法与系统技术方案

本发明专利技术涉及一种基于多模态的异常驾驶行为判断方法与系统，属于汽车驾驶行为安全技术领域。该系统包括驾乘人员状态监测、道路环境监测、车辆运动状态监测模块、危险等级预评判模块、多模态数据融合判断模块。结合该系统，该方法实时同步进行驾乘人员状态监测、车辆运动状态监测、道路环境监测；通过危险等级预评判模块预先判断驾驶的危险等级；多模态数据融合判断模块通过融合道路环境数据、车辆运动数据和驾驶员状态数据，构建基于逻辑回归的多指标动态阈值判断识别算法，实现对融合多模态数据的异常驾驶行为的准确识别。本发明专利技术及时提醒驾驶员并监督驾驶员规整驾驶行为，使得识别更准确，驾车更安全。

【技术实现步骤摘要】

本专利技术属于汽车驾驶行为安全，涉及一种基于多模态的异常驾驶行为判断方法与系统。

技术介绍

1、据统计，每年交通事故的发生频率逐渐增高，给人们的生命财产安全造成极大损失。不适当的驾驶行为已成为绝大多数车祸的主要原因，在中国，超过80％的道路交通事故与危险驾驶行为有关，研究识别异常驾驶行为对交通安全有积极的影响。

2、影响道路安全驾驶员驾驶的因素比较复杂，现有的研究将影响道路安全的因素主要归为三个方面：人、车、环境。包括驾驶员自身的数据(如动作、面部表情、眼动等)、车辆的数据(速度、加速度、gps)、环境的数据(道路状态、天气状态、外界人为环境影响)等。目前的研究大多都是基于人、车的，例如基于驾驶员本身状态的检测，检测驾驶员分心驾驶、疲劳驾驶、醉酒驾驶、晕厥等异常驾驶行为。或者基于车辆运动状态的检测，即车辆运动数据，检测车辆是否处于急加速、急减速、急转弯、急变道、超速等异常驾驶行为。

3、但较少研究考虑道路环境、乘客行为、交通状态等对异常驾驶行为识别的影响，道路交通系统中93％以上的交通事故与人因有关，驾驶人在交通环境中的决策和行为与本文档来自技高网...

【技术保护点】

1.一种基于多模态的异常驾驶行为判断方法，其特征在于：其包括以下步骤：

2.根据权利要求1所述的基于多模态的异常驾驶行为判断方法，其特征在于：在步骤S1中，应用yolov8-pose多人姿态估计框架，并构建融合自适应梯度特征的双流时空卷积网络，精确检测驾驶员的状态，并识别乘客是否存在可能影响行车安全的活动；其包括以下过程：

3.根据权利要求1所述的基于多模态的异常驾驶行为判断方法，其特征在于：在步骤S2中，构建引入自注意力机制的多检测头跨阶段局部网络，进行多任务同步处理；

4.根据权利要求1所述的基于多模态的异常驾驶行为判断方法，其特征在于：在步骤S3...

【技术特征摘要】

1.一种基于多模态的异常驾驶行为判断方法，其特征在于：其包括以下步骤：

2.根据权利要求1所述的基于多模态的异常驾驶行为判断方法，其特征在于：在步骤s1中，应用yolov8-pose多人姿态估计框架，并构建融合自适应梯度特征的双流时空卷积网络，精确检测驾驶员的状态，并识别乘客是否存在可能影响行车安全的活动；其包括以下过程：

3.根据权利要求1所述的基于多模态的异常驾驶行为判断方法，其特征在于：在步骤s2中，构建引入自注意力机制的多检测头跨阶段局部网络，进行多任务同步处理；

4.根据权利要求1所述的基于多模态的异常驾驶行为判断方法，其特征在于：在步骤s3中，其过程为：

5.根据权利要求1所述的基于多模态的异常驾驶行为判断方法，其特征在于：在步骤s4中，对各项监测数据进行初步评判，初步判别各项监测数据中是否存在影响道路安全的驾驶行...

【专利技术属性】
技术研发人员：蒋建春，盛于玲，曾素华，杨永超，胡巍，孙瑞雪，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：