一种基于制造技术

本发明专利技术属于交通智能驾驶技术领域，具体为一种基于

【技术实现步骤摘要】
一种基于FPGA加速的改进YOLOv8s交通目标检测方法


[0001]本专利技术属于交通智能驾驶
，具体涉及改进
YOLOv8s
交通目标检测方法
。

技术介绍

[0002]近年来，无人驾驶技术飞速发展，能够实现在智能系统的控制下，依靠毫米波雷达
、
机器视觉
、
全球定位系统等辅助装置，实现保持车道车距
、
躲避障碍物
、
红灯停绿灯行等一系列驾驶行为，从而提高驾驶安全
、
降低事故率
、
提升交通效率
。
为使无人驾驶汽车能够安全稳定地运行在道路上，需要对外部环境有精准的感知，实时地对参与道路交通的各个对象如行人
、
车辆
、
路障等进行检测与定位
。
[0003]目前基于视觉的目标检测技术主要分为两类：传统的目标检测算法和基于深度学习的目标检测算法
。
由于传统的目标检测算法的特征提取都是由人工设计，存在较大的局限性，且计算量往往过大，影响着检测速度和精度，在面对复杂输入时没有较好的泛化能力，因此在自动驾驶领域难以得到较好的应用
。
与传统方法相比，神经网络有着更加强大的学习特征能力和信息表征能力，并且伴随着深度学习技术的快速发展，在目标检测领域使用卷积神经网络进行检测已经成为了主流方法
。
目前最具代表性的算法有
Faster R
‑
CNN、SSD<br/>和
YOLO
算法，
YOLO
算法将目标检测问题转换成回归问题，利用整个网络同时完成目标分类与定位，经过不断的改进与迭代，其性能表现更为优异，得到了业界的认可
。YOLOv8
作为
2023
年发布的
YOLO
系列最新版本，网络结构更为精简，检测速度和检测精度都有了一定的提升，有着较大的应用前景，考虑到硬件资源的限制，选用改进
YOLOv8s
模型进行硬件部署
。
[0004]在复杂交通场景下，需要依托目标检测进行下一步判断，因此目标检测速度极大地影响着驾驶的安全
。
为提升检测速度，可以直接在采集端的硬件设备上进行图像处理，无需传回上位机，节省数据传输时间
。FPGA
即现场可编程逻辑门阵列是以查找表为基础构建的一种半定制电路，与
CPU
相比，更适合进行并行化运算
。FPGA
高能效
、
低功耗
、
开发周期短等优点使其成为优化加速卷积神经网路的高速处理器的理想选择
。
因此提出一种基于
FPGA
加速的改进
YOLOv8s
交通目标检测方法，旨在对目标检测速度和精度两个方面实现提升
。

技术实现思路

[0005]针对现有技术的不足，本专利技术的目的在于提供一种检测速度快
、
检测精度高的基于
FPGA
加速的改进
YOLOv8s
交通目标检测方法
。
[0006]本专利技术提供的基于
FPGA
加速的改进
YOLOv8s
交通目标检测方法，具体步骤为：
[0007]步骤一
、
采集并标注训练和测试用数据集；
[0008]步骤二
、
搭建改进
YOLOv8s
网络模型，改进网络损失函数，进行数据集的网络模型训练，经过多次实验测试达最佳效果，获取最优权重文件；
[0009]步骤三
、
对改进
YOLOv8s
网络模型进行压缩，将改进
YOLOv8s
核心网络部署至
FPGA
芯片上，实现
FPGA
硬件加速；
[0010]步骤四
、
实时输入采集并标注的数据流，经
FPGA
前向推理，输出六尺度特征图，并
将其传回
PC
端；
[0011]步骤五
、
在
PC
端对输出特征图解码，并还原至原图尺度，与摄像头采集视频流进行叠加，实现可视化目标检测
。
[0012]进一步地，步骤一中，所述数据集由路侧单元和车载单元采集目标场景下的多段视频组成，另外为提升网络泛化能力，适量截取网络中不同开源数据集，与采集数据混合
。
路侧单元是在复杂交通路口安装的摄像头，车载单元是在自动驾驶车辆前端配备的前视摄像头，分别截取正常可视条件与黎明
、
黑夜
、
雨天
、
雾天和刺眼光线等恶劣条件下的视频流；每种条件下采集的视频流至少
40
段，每段不低于
10s
，按照
10Hz
频率抽取离散帧
。
使用
Labelimg
作为标注工具，为每帧图像标注检测框；检测框信息包括目标物体类别与检测框坐标，被遮挡目标需标注可见比例
。
检测的交通目标类型包括行人
、
汽车
、
卡车
、
公共汽车
、
自行车
、
摩托车
、
三轮车
、
紧急车辆
、
交通标志，为防止样本不均衡导致训练效果不佳，通过对图像进行增强处理使各类别比例趋于平衡，数据集按照
8:1:1
的比例换分为训练集，验证集和测试集
。
[0013]进一步地，步骤二中，所述损失函数改进为引入
Wise
‑
IoU
替代
CIoU
，提高收敛精度和模型泛化能力，假设
(x
，
y)
在目标框的对应位置为
(x
gt
，
y
gt
)
，
WIoUv1
公式为：
[0014][0015]其中，
R
WIOU
∈[1,e)
表示高质量锚框的损失；
IOU
为交并比，
w
c
和
h
c
为预测框和真实框的最小外接矩形的宽和高
。
定义离群度
β
描述锚框质量，离群度小意味着锚框质量高，为其分配一个小的梯度增益，使边界框回归聚焦到普通质量的锚框上；对离群度较大的锚框分配较小的梯度增益，避免质量较低的样本产生较大的有害梯度
。
利用
β
和
WIoUv1
构建
WIoUv3,
公式如下
:
[0016]L<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
FPGA
加速的改进
YOLOv8s
交通目标检测方法，其特征在于，具体步骤为：步骤一
、
采集并标注训练和测试用数据集；步骤二
、
搭建改进
YOLOv8s
网络，改进网络损失函数，进行数据集的网络模型训练，多次实验测试达最佳效果后获取最优权重文件；步骤三
、
对改进
YOLOv8s
网络模型进行压缩，将改进
YOLOv8s
核心网络部署至
FPGA
芯片上，实现
FPGA
硬件加速；步骤四
、
实时输入采集并标注的数据流，经
FPGA
前向推理，输出六尺度特征图，并将其传回
PC
端；步骤五
、
在
PC
端对输出特征图解码，并还原至原图尺度，与摄像头采集视频流进行叠加，实现可视化目标检测
。2.
根据权利要求1所述的改进
YOLOv8s
交通目标检测方法，其特征在于，步骤一中，所述数据集由路侧单元和车载单元采集目标场景下的多段视频组成；另外适量截取网络中不同开源数据集，与采集数据混合；路侧单元是在复杂交通路口安装的摄像头，车载单元是在自动驾驶车辆前端配备的前视摄像头，分别截取正常可视条件与黎明
、
黑夜
、
雨天
、
雾天和刺眼光线恶劣条件下的视频流；每种条件下采集的视频流至少
40
段，每段不低于
10s
，按照
10Hz
频率抽取离散帧；使用
Labelimg
作为标注工具，为每帧图像标注检测框；检测框信息包括目标物体类别与检测框坐标，被遮挡目标需标注可见比例；通过对图像进行增强处理使各类别比例趋于平衡，数据集按照
8:1:1
的比例换分为训练集，验证集和测试集
。3.
根据权利要求2所述的改进
YOLOv8s
交通目标检测方法，其特征在于，步骤二中，所述网络模型训练，首先使用公开的大型交通类目标数据集进行预训练，以获得预训练权重，加载预训练权重，再利用自制交通类目标数据集进行模型的重新训练；训练过程分为冻结阶段和解冻阶段，训练至模型收敛，选取损失函数最小时的权重作为最优权重
。4.
根据权利要求3所述的改进
YOLOv8s
交通目标检测方法，其特征在于，步骤三中，所述对改进
YOLOv8s
网络模型进行压缩，压缩方式为模型剪枝与定点量化以及
BN
层与卷积层融合；其中：所述模型剪枝方式，为先对网络进行常规训练，训练完成后在大型验证数据集上运行网络以获得每个神经元的
APoZ
；设定阈值修剪具有高
APoZ
的神经元，并相应移除与被修剪神经元的连接；修剪完成后，使用修剪前的权重对修剪后的网络进行初始化，并重新训练网络以增强修剪后网络性能；所述定点量化方式，为可变精度的
16
位定点数量化；对改进
YOLOv8s
各网络层权重数据进行统计，针对不同网络层数据特点，找出最优小数点位置，实现可变精度的定点量化，使量化对网络性能的影响降至最低；所述
BN
层与卷积层融合方式，其过程为：假设卷积核权重为
w
，偏置为
b
，输入数据为
x
，提取的特征数据为
y
，则有
y
＝
w*x+b
；
BN
层对输入数据进行归一化，改善训练参数梯度，卷积公式带入
BN
公式则有：
则有融合后的卷积核权重偏置参数
μ
x
为均值，为方差；该方式将两步运算合并为一步，进一步加速推理过程，减少运算复杂度
。5.
根据权利要求4所述的改进
YOLOv8s
交通目标检测方法，其特征在于，步骤三中，所述
FPGA
网络加速，其架构分为三个部分：
ARM
控制器，卷积加速器以及缓存
DDR
；其中：
ARM
控制器通过
AXI
‑
Lite
实现卷积加速器的寄存器配置，输入特征图
、
权重
、
偏置数据缓存在外部
DDR
...

【专利技术属性】
技术研发人员：陈志辉，蒋旻，张冠华，
申请(专利权)人：上海全欣智享科技有限公司，
类型：发明
国别省市：