【技术实现步骤摘要】
本专利技术属于城市道路驾驶行为安全，具体涉及一种基于深度学习耦合车外场景的驾驶员辅助预警系统及方法。
技术介绍
1、随着城市道路交通的不断增加，驾驶员在复杂的城市交通环境中面临着诸多挑战。道路交通事故的发生不仅威胁驾驶员和行人的生命安全，还可能导致交通堵塞和二次事故，形成交通安全恶性循环。
2、城市道路交通场景的复杂性与道路场景的事物种类息息相关。尽管在我国有相当丰富的城市道路类型，但由于数据量的庞大，事物种类繁杂且难以划分和界定，对其复杂性的判定研究，相较于国外始终迟缓，这很大程度上是由于没有合理的去提取这些道路场景的特征。
3、交通事故的发生受多种因素的影响，包括驾驶员、车辆、道路条件和环境。目前，我国拥有大量的交通视频数据，也有许多学者根据这些数据做相关的驾驶行为研究，但是很少有人从多视角和多角度来做驾驶行为的研究。
4、此外，近年来深度学习领域的快速发展为驾驶员视频和交通道路视频分析提供了强大的技术支持。通过深度学习技术，我们有望更准确地理解和挖掘这些数据中蕴含的有关驾驶员行为、道路状况以及交通场景复杂度的特征信息。借助深度学习的先进算法，我们可以更精细地分析城市道路交通数据，从而更好地理解驾驶员行为和复杂交通环境的内在关系。深度学习的应用有望推动城市道路交通系统的智能化发展，从而全面提升城市道路交通的安全性和效率。
技术实现思路
1、本专利技术针对现有技术存在的问题，提出一种基于深度学习耦合车外场景的驾驶员辅助预警系统及方法，本专利技术
2、为了实现上述目的，本专利技术通过以下技术方案予以实现：基于深度学习耦合车外场景的驾驶员辅助预警系统，包括车辆相关信息获取模块、车内驾驶员行为判别模块、yolov8模块、道路复杂度判别模块和辅助驾驶系统预警机制模块，车辆相关信息获取模块用于获得该系统中的车辆信息，车内外视频数据和动态参数数据，车内驾驶员行为判别模块读取车辆相关信息获取模块中的车内视频数据，并对视频中的驾驶员行为作分类处理；yolov8模块读取车辆相关信息获取模块中的车外视频数据，并通过yolov8目标检测算法得出检测框的大小和场景位置以及事物类别；道路复杂度判别模块用于根据yolov8模块输出的结果以及车辆相关信息获取模块中的车辆基本信息和动态参数数据生成当前交通道路复杂度的等级，辅助驾驶系统预警机制模块结合车内异常驾驶行为的持续时间和车外交通场景复杂度等级，并根据给定的分数阈值在不同情境下输出对应的预警方式。
3、进一步的，所述车辆相关信息获取模块包括车辆基本信息读取单元、车内外视频数据获取单元和车辆动态参数采集单元，所述车辆基本信息读取单元用于读取当前车辆的基本信息数据，所述车内外视频数据获取单元用于获取当前车辆的车内外视频数据，所述车辆动态参数采集单元用于获得车辆的纵向加速度、速度、横向加速度和横摆率。
4、进一步的，所述车内驾驶员行为判别模块通过3d resnet卷积神经网络模型将经过预处理的的视频数据转换为输出的异常驾驶行为分类结果。其中的模型参数是通过在训练阶段加入mix up数据增强方案和mix up对比损失函数训练得到，使得模型能够提高驾驶员行为判别的准确性。
5、本专利技术保护的另外一个技术方案为：基于深度学习耦合车外场景的驾驶员辅助预警方法，其特征在于：具体包括以下步骤：
6、s1：车辆相关信息获取模块获取当前车辆的基本信息、车内外视频数据信息、加速度信息、速度信息、横向加速度信息和横摆率参数信息并将以上信息输出，其中加速度和速度代表车辆纵向性能，横向加速度和横摆率描述横向性能；
7、s2：将车内外视频数据获取单元输出的车内驾驶员的驾驶行为视频传入车内驾驶行为判别模块，车内驾驶行为判别模块包括图片的裁剪，旋转以及归一化的预处理操作和经过训练的3d resnet卷积神经网络模型，在该模块中，视频数据首先通过预处理操作被切分为带有固定时间步的片段，然后输入到3d resnet卷积神经网络模型当中，模型以片段为输入，以每个片段的分类概率为输出，模型最终会根据设定的概率阈值输出每个片段的驾驶行为分类结果，实现异常驾驶行为的筛选并将其输出，其中分类结果包括正常驾驶行为和异常驾驶行为两种，转步骤s5；
8、s3：将车内外视频数据获取单元中车外摄像机设备输出的车外交通场景视频传入yolov8模块，yolov8模块包括常规的裁剪，旋转以及归一化的预处理操作和yolov8目标检测模型，在该模块中，视频数据首先通过预处理操作被切分为带有固定时间步的片段，然后输入到yolov8目标检测模型当中，模型以片段为输入，以每个片段的事物检测框坐标、类别和置信度为输出，转步骤s4；
9、s4：将步骤s3输出的结果和步骤s1输出的车辆基本信息和动态参数传入道路复杂度判别模块，该模块将输入的每个片段的结果根据其片段中每个事物检测框面积大小，坐标位置，类别属性得出每个事物的权重值，并据此通过权重求和得到每个片段的总权重值，然后结合车辆的动态参数根据车速，加速度等的阈值将总权重值乘以对应阈值权重得到最终的数值，并由此根据设定的数值阈值输出每个片段的复杂度等级，转步骤s5；
10、s5：将步骤s2和步骤s4的输出，同步传入到辅助驾驶系统预警机制模块，该模块结合车内异常驾驶行为的持续时间和车外交通场景复杂度等级进行处理，首先设定一个初始分数值作为每个视频片段驾驶行为危险程度的判断依据，然后对步骤s2的输出进行第一次判断，判断是否为异常驾驶行为，如果是正常驾驶行为则对初始分数值加分，否则进入到第二次判断，对步骤s4的输出进行判断并结合车内异常驾驶视频片段的持续时间给分数值进行减分，当达到设定的分数阈值时，输出对应的驾驶行为危险程度等级，最终根据危险程度等级输出对应的预警方式。
11、进一步的，所述步骤s2中的3d resnet卷积神经网络模型中的参数，通过在训练阶段加入mix up数据增强方案和mix up对比损失函数训练得到，其中mix up数据增强方案是指通过将两个数据样本按照一定比例混合来生成新样本；mix up对比损失函数的目标是预测混合分量，该分量当作损失函数中的软目标，所述mix up对比损失函数的公式如下：
12、
13、其中，dc表示余弦相似度，τ表示温度参数，z(1),z(2)表示正负样本的特征向量，表示混合样本，λ表示混合量。
14、进一步的，所述步骤s4中涉及到的每个事物权重的计算，考虑了事物的大小，场景中位置和类别，场景中位置和类别，其中类别是将事物的动态和静态属性作为类别权重依据，场景位置权重是根据事物中心点到场景中心点的距离与整个场景对角线的距离的比例为依据，尺寸权重是根据事物检测框的面积与整个场景面积的比例为依据，然后按照一定比例将三种权重指标进行相加输出本文档来自技高网...
【技术保护点】
1.基于深度学习耦合车外场景的驾驶员辅助预警系统，其特征在于：包括车辆相关信息获取模块、车内驾驶员行为判别模块、YoloV8模块、道路复杂度判别模块和辅助驾驶系统预警机制模块，车辆相关信息获取模块用于获得该系统中的车辆信息，车内外视频数据和动态参数数据，车内驾驶员行为判别模块读取车辆相关信息获取模块中的车内视频数据，并对视频中的驾驶员行为作分类处理；YoloV8模块读取车辆相关信息获取模块中的车外视频数据，并通过YoloV8目标检测算法得出检测框的大小和场景位置以及事物类别；道路复杂度判别模块用于根据YoloV8模块输出的结果以及车辆相关信息获取模块中的车辆基本信息和动态参数数据生成当前交通道路复杂度的等级，辅助驾驶系统预警机制模块结合车内异常驾驶行为的持续时间和车外交通场景复杂度等级，并根据给定的分数阈值在不同情境下输出对应的预警方式。
2.根据权利要求1所述的基于深度学习耦合车外场景的驾驶员辅助预警系统，其特征在于：所述车辆相关信息获取模块包括车辆基本信息读取单元、车内外视频数据获取单元和车辆动态参数采集单元，所述车辆基本信息读取单元用于读取当前车辆的基本信息数据
3.根据权利要求1所述的基于深度学习耦合车外场景的驾驶员辅助预警系统，其特征在于：所述车内驾驶员行为判别模块通过3D ResNet卷积神经网络模型将经过预处理的视频数据转换为输出的异常驾驶行为分类结果。
4.基于深度学习耦合车外场景的驾驶员辅助预警方法，其特征在于：具体包括以下步骤：
5.根据权利要求4所述的基于深度学习耦合车外场景的驾驶员辅助预警方法，其特征在于：所述步骤S2中的3D ResNet卷积神经网络模型中的参数，通过在训练阶段加入mix up数据增强方案和mix up对比损失函数训练得到，其中mix up数据增强方案是指通过将两个数据样本按照一定比例混合来生成新样本；mix up对比损失函数的目标是预测混合分量，该分量当作损失函数中的软目标，所述mix up对比损失函数的公式如下：
6.根据权利要求4所述的基于深度学习耦合车外场景的驾驶员辅助预警方法，其特征在于：所述步骤S4中的每个事物权重的计算的参数为事物的大小，场景中位置和类别，其中类别是将事物的动态和静态属性作为类别权重依据，场景位置权重是根据事物中心点到场景中心点的距离与整个场景对角线的距离的比例为依据，尺寸权重是根据事物检测框的面积与整个场景面积的比例为依据，然后按照一定比例将三种权重指标进行相加输出每个事物的最终权重，最终权重计算公式如下：
7.根据权利要求4所述的基于深度学习耦合车外场景的驾驶员辅助预警方法，其特征在于：所述步骤S5中的分数阈值分为简单交通场景下的异常驾驶行为持续时间阈值，中等交通场景下的异常驾驶行为持续时间阈值和复杂交通场景下的异常驾驶行为持续时间阈值，阈值设定参考了成年人遇到突发情况的反应时间和不同性别对反应时间的影响。
...【技术特征摘要】
1.基于深度学习耦合车外场景的驾驶员辅助预警系统，其特征在于：包括车辆相关信息获取模块、车内驾驶员行为判别模块、yolov8模块、道路复杂度判别模块和辅助驾驶系统预警机制模块，车辆相关信息获取模块用于获得该系统中的车辆信息，车内外视频数据和动态参数数据，车内驾驶员行为判别模块读取车辆相关信息获取模块中的车内视频数据，并对视频中的驾驶员行为作分类处理；yolov8模块读取车辆相关信息获取模块中的车外视频数据，并通过yolov8目标检测算法得出检测框的大小和场景位置以及事物类别；道路复杂度判别模块用于根据yolov8模块输出的结果以及车辆相关信息获取模块中的车辆基本信息和动态参数数据生成当前交通道路复杂度的等级，辅助驾驶系统预警机制模块结合车内异常驾驶行为的持续时间和车外交通场景复杂度等级，并根据给定的分数阈值在不同情境下输出对应的预警方式。
2.根据权利要求1所述的基于深度学习耦合车外场景的驾驶员辅助预警系统，其特征在于：所述车辆相关信息获取模块包括车辆基本信息读取单元、车内外视频数据获取单元和车辆动态参数采集单元，所述车辆基本信息读取单元用于读取当前车辆的基本信息数据，所述车内外视频数据获取单元用于获取当前车辆的车内外视频数据，所述车辆动态参数采集单元用于获得车辆的纵向加速度、速度、横向加速度和横摆率。
3.根据权利要求1所述的基于深度学习耦合车外场景的驾驶员辅助预警系统，其特征在于：所述车内驾驶员行为判别模块通过3d resnet卷积神经网络模型将经过预处理的视频数据转换...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。