一种基于多模态的车辆违章检测方法技术

本申请提供了一种基于多模态的车辆违章检测方法

【技术实现步骤摘要】
一种基于多模态的车辆违章检测方法、装置及处理设备


[0001]本申请涉及车辆违章检测领域，具体涉及一种基于多模态的车辆违章检测方法
、
装置及处理设备
。

技术介绍

[0002]近年来，随着城市化和工业化的发展，交通流量伴随汽车持有量不断地增加，高速公路上的交通违章行为在该情况下也日益突出
。
传统的固定摄像头和传感器方案在违章检测过程中存在一些局限性，如覆盖范围受限
、
实时性差等
。
为了提高违章检测的效率和准确性，交通运输行业需要寻求更先进的技术手段来监管和管理交通秩序，以保障交通的安全和畅通
。
[0003]针对高速公路的巡检以及道路违章检测受限于当前手段的弊端，如：
1.
视野受限，只能监测特定的区域；
2.
难以适应不同交通环境的变化，如不同路段的车流量和车道数变化；
3.
数据传输和处理通常需要一定时间，可能会影响违章检测的实时性，在该背景下，应用无人机还有配套的高速公路智能巡检策略已经成为当前较本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多模态的车辆违章检测方法，其特征在于，所述方法包括：获取待检测车辆违章的目标高速公路图像，其中，所述目标高速公路图像具体由无人机采集得到；将所述目标高速公路图像输入预先配置好的多模态检测模型，进行检测处理，其中，所述多模态检测模型包括第一检测模型
、
第二检测模型和第三检测模型，所述第一检测模型用于检测输入图像中的车辆并得到车辆检测框，所述第二检测模型用于检测通过所述车辆检测框从所述输入图像获得的车辆截图中车轮在地面上的接触点并得到接触关键点信息，所述第三检测模型用于检测所述输入图像中的高速公路并得到高速公路信息；根据所述多模态检测模型输出的目标接触关键点信息和目标高速公路信息，判断对应车辆是否存在车辆违章行为
。2.
根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述无人机采集得到的样本图像；为所述样本图像分别标注图像中的高速公路环境图像
I、
车辆检测框
target
i
、
所述车辆检测框
target
i
对应的车辆截图
I
i
、
所述车辆截图
I
i
对应的接触关键点信息
key
ij
和高速公路语义分割掩膜
M
，其中，
target
i
＝
[p1,p2]
，
i
表示车辆索引，
p1为检测框左上点，
p2为检测框右下点，
I
i
为车辆索引
i
的车辆截图，所述接触关键点信息
key
ij
中
j∈[1,4]
，分别表示车辆的左前轮
、
右前轮
、
右后轮和左后轮四者与地面的接触关键点，所述高速公路语义分割掩膜
M
中背景类数值为0，高速公路路面类数字为1，实线类数字为2，虚线类数字为3；以所述高速公路环境图像
I
和所述车辆检测框
target
i
为基础训练所述第一检测模型，以及，以所述车辆截图
I
i
以及所述接触关键点信息
key
ij
为基础训练所述第二检测模型，以及，以所述高速公路环境图像
I
以及所述高速公路语义分割掩膜
M
为基础训练所述第三检测模型
。3.
根据权利要求2所述的方法，其特征在于，以所述高速公路环境图像
I
和所述车辆检测框
target
i
为基础训练所述第一检测模型的过程中，包括以下内容：对所述高速公路环境图像
I
和所述车辆检测框
target
i
组成的训练数据
[I,target
i
]
，进行包括调整尺寸和归一化的预处理；通过骨干网络对所述训练数据
[I,target
i
]
中的训练图像进行特征提取，并继续通过
Neck
网络进行跨尺度的特征融合，得到融合后的特征图；将所述特征图输入建模模块
Detection Head
进行检测框的预测，实现前向传播；针对得到的预测结果，先分别计算坐标损失
Localization Loss、
置信度损失
Confidence Loss
和类别损失
Class Loss
，再通过下式进行加权求和，得到最终损失
Loss
：
Loss
＝
0.05*Localization Loss+1*Confidence Loss+0.5*Class Loss
；通过所述最终损失
Loss
优化模型参数，实现反向传播，并当多轮的迭代训练满足了收敛要求后，完成模型的训练
。4.
根据权利要求2所述的方法，其特征在于，以所述车辆截图
I
i
以及所述接触关键点信息
key
ij
为基础训练所述第二检测模型的过程中，包括以下内容：对所述车辆截图
I
i
以及所述接触关键点信息
key
ij
组成的训练数据
[I
i
,key
ij
]
，进行包括调整尺寸和归一化的预处理；通过
HRNet
的特征提取模块对所述训练数据
[I
i
,key
ij
]
中的训练图像进行特征提取，并
继续通过模型的顶部层
head
的关键点预测模块进行关键点回归预测，得到所需的4个关键点位置，实现前向传播，对应的数学表示如下：
FeatureMap
＝
F1(x)
，
PointMap
＝
F2(FeatureMap)
，
PointMask
＝
Sigmoid(PointMap)
，其中，
F1为所述特征提取模块，
F2为所述...

【专利技术属性】
技术研发人员：凌飞，刘开元，罗超，钟文杰，刘志平，杨水亮，江为，唐玲，周妙林，粟骏龙，
申请(专利权)人：广东数字生态科技有限责任公司，
类型：发明
国别省市：