基于YOLOv7的少样本小尺度训练以及文件部署方法技术

本发明专利技术涉及基于YOLOv7的少样本小尺度训练以及文件部署方法，包括：采集待检测物品的小尺度的小样本数据，对所述小样本数据进行处理，获取训练数据；基于YOLOv7构建小尺度目标检测模型，改进所述小尺度目标检测模型，通过所述训练数据对改进后的所述小尺度目标检测模型进行训练，获取最终模型；将所述最终模型的模型文件存放于指定文件夹，并进行模型编译，生成可执行文件，完成文件部署，实现对目标的检测。本发明专利技术方法对于YOLOv7在jetson nano上的部署步骤进行了总结归纳，可以使得模型能够在该设备上快速部署使用。够在该设备上快速部署使用。够在该设备上快速部署使用。

【技术实现步骤摘要】
基于YOLOv7的少样本小尺度训练以及文件部署方法


[0001]本专利技术涉及计算机视觉目标检测
，特别是涉及基于YOLOv7的少样本小尺度训练以及文件部署方法。

技术介绍

[0002]目标检测作为计算机视觉领域的重要组成分，在近十几年来获得了广泛的研究。目标检测的目的为在给定的图像或视频中找到具有准确定位信息的指定对象，并为每个识别到的对象分配一个对应的标签。近年来，随着深度神经网络的快速发展，目标检测在精确度，速度等方面取得了长足的发展，在机器人导航、航空航天和工业检测等方面有着广泛的应用。但是低像素、小尺度的目标检测仍然面临着巨大的困难和挑战，由于像素点数量较少，在目标检测模型中难以提取有效信息，进而常常发生漏检、错检的问题。同时对小尺度目标检测的研究在诸多的应用场景中都有着重大的价值。如自动驾驶中如果汽车能够准确预测较远距离的红绿灯、行人和车辆，则可以为动作响应预留充足的时间，从而极大增加自动驾驶的可靠性和安全性。因此，小尺度的目标检测是目前目标检测领域中十分重要且迫切的研究内容。
[0003]小尺度的目标检测目的在于提升对图像或视频中的低像素或尺度相对小的目标的检测能力。使用多尺度特征融合是提高模型对于小尺度目标检测精度的主要方法。例如，通过将图像调整为多个尺度，并为每个尺度训练专用的检测器进行小目标检测。通过特征金字塔网络，利用卷积层中存在的多尺度特征融合进行小目标检测。另外使用更短连接改善金字塔网络信息流，引入简单注意力机制也可以解决小目标检测的问题。现有的小尺度的目标检测在检测精度上仍然有一定的提升空间，因此，开发更高性能的模型进行训练以获得更精确的小尺度目标检测结果是有必要的。

技术实现思路

[0004]本专利技术的目的是要提供基于YOLOv7的少样本小尺度训练以及文件部署方法，该方法利用SPD
‑
Conv模块以及FRM模块增强YOLOv7模型对于小目标的检测能力，首先通过引入SPD
‑
Conv模块的主干网络进行特征提取，然后通过多尺度融合的方式获得不同尺寸的特征图，再将各特征图输入FRM得到用作检测的预测头，经过预训练以及对指定小尺度物体的数据进行再训练，获得最终用作推理的目标检测模型，最后将该模型部署于jetson nano,实现对小尺度目标的实时检测。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]基于YOLOv7的少样本小尺度训练以及文件部署方法，包括：
[0007]采集待检测物品的小尺度的小样本数据，对所述小样本数据进行处理，获取训练数据；
[0008]基于YOLOv7构建小尺度目标检测模型，改进所述小尺度目标检测模型，通过所述训练数据对改进后的所述小尺度目标检测模型进行训练，获取最终模型；
[0009]将所述最终模型的模型文件存放于指定文件夹，并进行模型编译，生成可执行文件，完成文件部署，实现对目标的检测。
[0010]可选地，对所述小样本数据进行处理，获取训练数据包括：
[0011]对所述小样本数据进行Mosaic数据增强处理，选取若干张照片，对所述照片进行随机缩放、裁剪和排布，获取所述训练数据。
[0012]可选地，改进所述小尺度目标检测模型包括：
[0013]在所述小尺度目标检测模型的网络添加SPD
‑
Conv模块和特征细化网络FRM模块，所述SPD
‑
Conv模块用于替换YOLOv7中stride为2的卷积模块，在不使用卷积步长或池化的情况下，实现特征图的下采样，所述FRM模块添加在YOLOv7特征金字塔和预测头之间，用于抑制YOLOv7特征金字塔多尺度特征融合中的冲突，防止微小目标被淹没在冲突信息中。
[0014]可选地，实现所述特征图的下采样包括：
[0015]所述SPD
‑
Conv模块包括：SPD层和non
‑
strided convolution层；
[0016]所述SPD层基于原始图像转换技术对所述小尺度目标检测模型的内部特征图进行下采样操作，并将特征图x转化为特征图X
′
，并基于添加有C2滤波器的所述non
‑
strided convolution层对特征图X
′
进行判断，根据判断结果，将所述特征图X
′
转化为特征图X
″
。
[0017]可选地，所述FRM模块添加在YOLOv7特征金字塔和预测头之间包括：
[0018]所述特征细化网络包括：通道净化模块和空间净化模块；
[0019]所述通道净化模块的输出为：
[0020][0021]其中，表示第m层在(x，y)位置的输出向量，a、b、c、d为通道自适应权值；
[0022]所述空间净化模块的输出为：
[0023][0024]其中，x和y为特征图的空间位置，k为输入特征图的通道，为(x，y)位置处的输出特征向量，和为相对于第m层的空间注意力权重，c为通道数，表示为第k个通道第m个特征图(x，y)位置处的值。
[0025]可选地，对改进后的所述小尺度目标检测模型进行训练包括：
[0026]获取COCO数据集，基于所述COCO数据集对改进后的所述小尺度目标检测模型进行预训练，获取预训练模型，通过所述预训练模型对所述预训练模型进行训练；
[0027]其中，在预训练和训练过程中坐标损失均采用CIoU损失函数，目标置信度损失和分类损失均采用BCEWithLoigitsLoss损失函数。
[0028]可选地，获取所述最终模型包括：通过结构重参数化，将训练后的所述预训练模型转化为所述最终模型。
[0029]可选地，将所述最终模型的模型文件存放于指定文件夹包括：
[0030]所述指定文件夹配置TensorRT、CUDA、CUDNN、OpenCV和Protobuf软件环境，将通过ONNX导出所述最终模型的模型文件，将所述模型文件存放于配置后的所述指定文件夹。
[0031]可选地，获取所述最终模型后包括：
[0032]获取评价指标，基于所述评价指标，评价所述最终模型；
[0033]其中，所述评价指标的获取方法为：
[0034][0035]其中，AP为评价指标，N为图片的数量，P(k)为能识别出k个图片时Precision的值，Δr(k)为识别图片个数由k
‑
1变化至k时Recall值的变化情况。
[0036]本专利技术的有益效果为：
[0037]本专利技术方法通过引入SPD
‑
Conv和FRM模块能够充分解决训练过程中细粒度信息丢失的问题，提升了对小尺度目标的检测精度。
[0038]本专利技术方法对于YOLOv7在jetson nano上的部署步骤进行了总结归纳，可以使得模型能够在该设备上快速部署使用。
附图说明
[0039]为了更清楚地说明本专利技术实施例或现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于YOLOv7的少样本小尺度训练以及文件部署方法，其特征在于，包括：采集待检测物品的小尺度的小样本数据，对所述小样本数据进行处理，获取训练数据；基于YOLOv7构建小尺度目标检测模型，改进所述小尺度目标检测模型，通过所述训练数据对改进后的所述小尺度目标检测模型进行训练，获取最终模型；将所述最终模型的模型文件存放于指定文件夹，并进行模型编译，生成可执行文件，完成文件部署，实现对目标的检测。2.根据权利要求1所述的基于YOLOv7的少样本小尺度训练以及文件部署方法，其特征在于，对所述小样本数据进行处理，获取训练数据包括：对所述小样本数据进行Mosaic数据增强处理，选取若干张照片，对所述照片进行随机缩放、裁剪和排布，获取所述训练数据。3.根据权利要求1所述的基于YOLOv7的少样本小尺度训练以及文件部署方法，其特征在于，改进所述小尺度目标检测模型包括：在所述小尺度目标检测模型的网络添加SPD
‑
Conv模块和特征细化网络FRM模块，所述SPD
‑
Conv模块用于替换YOLOv7中stride为2的卷积模块，在不使用卷积步长或池化的情况下，实现特征图的下采样，所述FRM模块添加在YOLOv7特征金字塔和预测头之间，用于抑制YOLOv7特征金字塔多尺度特征融合中的冲突，防止微小目标被淹没在冲突信息中。4.根据权利要求3所述的基于YOLOv7的少样本小尺度训练以及文件部署方法，其特征在于，实现所述特征图的下采样包括：所述SPD
‑
Conv模块包括：SPD层和non
‑
strided convolution层；所述SPD层基于原始图像转换技术对所述小尺度目标检测模型的内部特征图进行下采样操作，并将特征图X转化为特征图x
′
，并基于添加有C2滤波器的所述non
‑
strided convolution层对特征图x
′
进行判断，根据判断结果，将所述特征图x
′
转化为特征图x
″
...

【专利技术属性】
技术研发人员：李玉洁，王艺甫，王星河，马子航，袁峰，丁数学，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：