一种服务于特种车辆的车路协同多目标检测方法及系统技术方案

本发明专利技术提供一种服务于特种车辆的车路协同多目标检测方法及系统。本发明专利技术方法，包括：获取路侧视角下交通道路图像信息；构建部署在路侧较低算力边缘计算平台的轻量化检测网络模型DCM3

【技术实现步骤摘要】
一种服务于特种车辆的车路协同多目标检测方法及系统


[0001]本专利技术涉及智能交通
，具体而言，尤其涉及一种服务于特种车辆的车路协同多目标检测方法及系统。

技术介绍

[0002]特种车辆指的是外廓尺寸、重量等方面超过设计车辆限界的及特殊用途的车辆，常用于牵引、清障、起重、装卸和压路等作业。特种车辆盲区直接影响到驾驶安全性，约束了驾驶性能的发挥和可靠性的保障，是车辆总布置设计过程中需要改进的重要环节。目前，常用解决方案为在车内装设固定视觉或毫米波雷达等传感器，实现盲区监测。随着智能汽车的发展，诸多先进驾驶技术逐渐被推广用于特种车辆，提高特种车辆的自动化程度是促进大型运载装备发展的重要手段。
[0003]近年来，国家开始大力推进智能网联汽车的建设，车路协同是提高多车交互智能的有效解决方案，采用路侧视角视觉感知信息对道路上的多类车辆目标进行检测，目前存在以下问题：(1)同类车辆目标在路侧视角采集的图像信息中，由于空间位置不同成像后常呈现不同尺度的问题；(2)由于固定视角下视觉传感器采集图像边缘径向畸变，导致近处车辆目标与远端车辆目标发生明显形变的问题；(3)目标检测任务需在路侧端的边缘计算平台完成，对检测模型体积轻量化、实时性与准确性的要求较高等难题。

技术实现思路

[0004]根据上述提出的技术问题，提供一种服务于特种车辆的车路协同多目标检测方法及系统。本专利技术的目的在于填补当下路侧边缘计算平台的目标检测方法轻量化设计领域内存在的空缺，提出一种面向路侧感知系统中视觉目标检测轻量化模型构建方法，本专利技术采用的技术手段如下：一种服务于特种车辆的车路协同多目标检测方法，包括：S1、获取路侧视角下交通道路图像信息；S2、构建部署在路侧较低算力边缘计算平台的轻量化检测网络模型DCM3
‑
YOLOv4；S3、将获取的路侧视角下交通道路图像信息作为原始图像，输入到构建的轻量化检测网络模型中，并对轻量化检测网络模型进行优化训练，基于坐标注意力机制增强神经网络对空间信息的长程依赖性，以获得网络自主对有车辆目标道路位置的持续关注能力。
[0005]进一步地，所述步骤S1中，获取路侧视角下交通道路图像信息，具体包括：S11、采用工业相机采集涵盖整体道路区域的路侧视角下交通道路图像信息；S12、将采集的视频信息推送至轻量化检测网络模型输入端，网络输出检测可视化结果，编写脚本对视频数据进行收流，通过具有Python接口的计算机视觉软件包OpenCV，读
取与计算平台连接的多模态传感器获取视频信息。
[0006]进一步地，所述步骤S2中，构建部署在路侧较低算力边缘计算平台的轻量化检测网络模型DCM3
‑
YOLOv4，具体包括：S21、采用轻量化单阶段多目标检测模型以单阶段算法YOLOv4为基础，结合MobileNet系列网络轻量化的特点，采用MobileNetV3的特征提取网络替换CSPDarknet53作为所述轻量化检测网络模型的骨干网络，完成对图像进行卷积并提取车辆目标特征信息的任务；S22、在完成特征提取任务后，基础检测网络M3
‑
YOLOv4在特征图输出部分采用原网络中空间金字塔池化 Spatial Pyramid Pooling，SPP与路径聚合网络 Path Aggregation Network，PANet对网络不同深度特征信息进行处理；S23、采用空间金字塔池化在MobileNet网络的最后一个特征层进行三次由卷积、批标准化和采用Leaky ReLU函数激活构成的运算单元后，分别利用四个不同尺度的最大池化进行处理；S24、采用路径聚合网络对特征进行反复提取，沟通不同深度特征层信息；S25、基础检测网络M3
‑
YOLOv4通过试验选取出合适特征层，并通过PANet进行特征融合；融合后，通过YOLO系列检测头完成对待检测目标信息的回归，对输出信息进行解码，完成路侧视觉感知任务。
[0007]进一步地，所述基础检测网络M3
‑
YOLOv4采用坐标注意力机制 Coordinate Attention，CA思想，具体分为两个步骤：步骤一、将单通道中全局池化操作分解为一对一维特征编码，完成坐标信息嵌入；步骤二、对原输入特征张量X进行通道乘算，完成坐标注意力生成。
[0008]进一步地，所述步骤一和步骤二，具体包括：对给定的输入特征张量X，使用尺寸为 (H,1) 和 (1,W) 的池化核沿着水平坐标方向和垂直坐标方向分别对每个通道进行编码；高度为h的第c通道的输出，用公式表述如下：上式中，为第c通道处输入特征张量X的值；宽度为w的第c通道的输出，用公式表述如下：上式中，为第c通道处输入特征张量X的值。
[0009]进一步地，所述步骤S2还包括引入逐通道过参数卷积 Depthwise Over
‑
parameterized Convolution，DO
‑
Conv)思想，替换原有的卷积运算，对骨干网络进行进一步优化调整优化模型性能的步骤，其中：所述逐通道过参数卷积由一个可训练的逐通道卷积核和一个可训练的常规卷积核组成，其中；
所述逐通道过参数卷积的运算采用两种等价的数学表达方式进行描述，如下公式表示：上式中，表示 在第一与第二轴的转置后的三维张量。
[0010]进一步地，所述步骤S3中，对轻量化检测网络模型进行优化训练，网络训练总损失包括置信度损失、类别损失与定位损失，其中：所述网络训练总损失的函数采用下式表示：上式中，为平衡系数；所述置信度损失采用二值交叉熵损失构建损失函数，构建的损失函数采用下式表达：上式中，表示预测目标包围框与真值包围框的交并比，表示预测值，表示依据预测值计算得出的预测置信度，表示正负样本个数；所述类别损失采用二值交叉熵损失构建损失函数，构建的损失函数采用下式表达：上式中，表示预测包围框i 中是否存在j类目标，是则该值取1，否则取0；为网络预测值，通过sigmoid函数激活得到，表示为j类概率，为正样本个数；所述定位损失将真值包围框信息进行转换，生成损失函数，损失函数采用下式表达：
上式中，真值包围框信息通过上式转换为与训练参数统一形式，通过欧氏距离公式完成损失生成。
[0011]本专利技术还提供了一种基于上述服务于特种车辆的车路协同多目标检测方法的服务于特种车辆的车路协同多目标检测系统，包括：信息获取单元，用于获取路侧视角下交通道路图像信息；轻量化检测网络模型构建单元，用于构建部署在路侧较低算力边缘计算平台的轻量化检测网络模型DCM3
‑
YOLOv4；模型训练单元，用于将获取的路侧视角下交通道路图像信息作为原始图像，输入到构建的轻量化检测网络模型中，并对轻量化检测网络模型进行优化训练，基于坐标注意力机制增强神经网络对空间信息的长程依赖性，以获得网络自主对有车辆目标道路位置的持续关注能力。
[0012]进一步地，所述信息获取单元包括高清彩色工业相机和实验室路侧信息采集单元；其中：实验室路侧信息采集单元为搭载的多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种服务于特种车辆的车路协同多目标检测方法，其特征在于，包括：S1、获取路侧视角下交通道路图像信息；S2、构建部署在路侧较低算力边缘计算平台的轻量化检测网络模型DCM3
‑
YOLOv4；S3、将获取的路侧视角下交通道路图像信息作为原始图像，输入到构建的轻量化检测网络模型中，并对轻量化检测网络模型进行优化训练，基于坐标注意力机制增强神经网络对空间信息的长程依赖性，以获得网络自主对有车辆目标道路位置的持续关注能力。2.根据权利要求1所述的服务于特种车辆的车路协同多目标检测方法，其特征在于，所述步骤S1中，获取路侧视角下交通道路图像信息，具体包括：S11、采用工业相机采集涵盖整体道路区域的路侧视角下交通道路图像信息；S12、将采集的视频信息推送至轻量化检测网络模型输入端，网络输出检测可视化结果，编写脚本对视频数据进行收流，通过具有Python接口的计算机视觉软件包OpenCV，读取与计算平台连接的多模态传感器获取视频信息。3.根据权利要求1所述的服务于特种车辆的车路协同多目标检测方法，其特征在于，所述步骤S2中，构建部署在路侧较低算力边缘计算平台的轻量化检测网络模型DCM3
‑
YOLOv4，具体包括：S21、采用轻量化单阶段多目标检测模型以单阶段算法YOLOv4为基础，结合MobileNet系列网络轻量化的特点，采用MobileNetV3的特征提取网络替换CSPDarknet53作为所述轻量化检测网络模型的骨干网络，完成对图像进行卷积并提取车辆目标特征信息的任务；S22、在完成特征提取任务后，基础检测网络M3
‑
YOLOv4在特征图输出部分采用原网络中空间金字塔池化 Spatial Pyramid Pooling，SPP与路径聚合网络 Path Aggregation Network，PANet对网络不同深度特征信息进行处理；S23、采用空间金字塔池化在MobileNet网络的最后一个特征层进行三次由卷积、批标准化和采用Leaky ReLU函数激活构成的运算单元后，分别利用四个不同尺度的最大池化进行处理；S24、采用路径聚合网络对特征进行反复提取，沟通不同深度特征层信息；S25、基础检测网络M3
‑
YOLOv4通过试验选取出合适特征层，并通过PANet进行特征融合；融合后，通过YOLO系列检测头完成对待检测目标信息的回归，对输出信息进行解码，完成路侧视觉感知任务。4.根据权利要求3所述的服务于特种车辆的车路协同多目标检测方法，其特征在于，所述基础检测网络M3
‑
YOLOv4采用坐标注意力机制 Coordinate Attention，CA思想，具体分为两个步骤：步骤一、将单通道中全局池化操作分解为一对一维特征编码，完成坐标信息嵌入；步骤二、对原输入特征张量X进行通道乘算，完成坐标注意力生成。5.根据权利要求4所述的服务于特种车辆的车路协同多目标检测方法，其特征在于，所述步骤一和步骤二，具体包括：对给定的输入特征张量X，使用尺寸为 (H,1) 和 (1,W) 的池化核沿着水平坐标方向和垂直坐标方向分别对每个通道进行编码；高度为h的第c通道的输出，用公式表述如下：
上式中，为第c通道处输入特征张量X的值；宽...

【专利技术属性】
技术研发人员：严书亭，赵丁选，郭柏苍，张舜然，
申请(专利权)人：燕山大学，
类型：发明
国别省市：