一种基于改进FCOS算法的无人车辆搭载摄像头目标检测方法技术

一种基于改进FCOS算法的无人车辆搭载摄像头目标检测方法，涉及计算机视觉领域。由无人车采集图像，将图像进行预处理后，放入改进的FCOS网络模型中进行训练，训练过程中模型会对图像进行特征提取，预测，损失计算，参数更新，经多多次迭代后，可以得到训练完成的检测模型文件，经过模型转换后，就可以应用部署在无人车等终端设备上。本发明专利技术在特征提取的能力上更强，而且构建的两阶段模型在小目标上的检测效果更优，有效地提升了模型的识别准确率，改善了模型的漏检和误检。改善了模型的漏检和误检。改善了模型的漏检和误检。

【技术实现步骤摘要】
一种基于改进FCOS算法的无人车辆搭载摄像头目标检测方法


[0001]本专利技术涉及计算机视觉图像处理
，特别涉及一种基于改进FCOS算法的无人车辆搭载摄像头目标检测方法。

技术介绍

[0002]汽车行业的发展超过了200年，历经了多轮技术迭代和产业升级。汽车从机械化向着电气化，电子化发展，今天智能汽车更是成为汽车发展的新主题。智能车通过安装的传感器，实时感知周围的动静态障碍物，实现及时的危险预警和驾驶辅助。自动驾驶智能车更是能够完全解放驾驶人的双手，实现车辆的环境感知，自身定位，自主进行车辆规划控制。图像处理和目标检测就是环境感知中的关键问题。
[0003]专利号CN202111633725.0，专利名称：一种基于YOLOv5的无人车辆搭载摄像头目标检测方法，其公开了一种基于YOLOv5的无人车辆搭载摄像头目标检测方法,包括无人车本体，以及安装在无人车本体前端的摄像头；所述的摄像头采集图片，将图片进行分类预处理后，再将预处理过的图片放入到YOLOv5网络模型中进行训练处理，训练过程中模型会对训练集中的图像特征点进行提取，经过多次迭代，可以得到训练完成的检测模型文件，检测模型文件为.pt格式；处理后得到的最优异的文件检测模型部署到嵌入式等设备并应用。本专利技术在训练时能够提取更多的特征信息，大大加强了YOLO算法对于隐蔽性强的目标的提取性能，有效地提升了识别准确率，训练效果较好，漏检率较低。
[0004]其针对原始YOLOv5检测模型参数量大的问题，采用将GhostBottleneck模块替换BottleneckCSP模块，采用DWConv模块替换Neck中的Conv模块。解决了YOLOv5对于隐蔽性强的目标的识别性能低，模型参数量较多的问题
[0005]本申请提出一种基于FCOS的检测模型，其anchor
‑
free的两阶段结构相对于现有的anchor
‑
base模型，泛化能力强，模型结构简单，检测精度高。此外，其采用的多分支结构、重参数化技术提升了模型的特征提取能力，同时在模型推理时，不增加参数量。两阶段结构也提升了原始FCOS模型小目标的检测能力。
[0006]专利号CN201810530668.5，专利名称：一种基于深度学习和多层特征融合的驾驶场景目标检测方法，其公开了一种基于深度学习和多层特征融合的驾驶场景目标检测方法，该方法包括以下步骤：1)采集视频图像，作为训练数据集，并进行预处理；2)搭建训练网络；3)对训练网络进行初始化，获得预训练模型；4)使用步骤3)获得的预训练模型在训练数据集上进行训练，获得训练模型；5)使用车载摄像头采集前方图像，将图像输入步骤4)获得的训练模型中，获得检测结果。本专利技术采用基于特征金字塔的多层特征融合方法来增强低层特征图的语义信息，从而提升网络的特征提取质量，获得更高的检测精度。
[0007]针对SSD检测算法检测速度慢的问题，采用了轻量化的特征提取网络Mobilenet作为特征提取网络，采用基于特征金字塔的多层特征融合方法来增强低层特征图的语义信息。解决了SSD检测算法运行速度慢，小目标检测能力低的问题
[0008]本申请提出了一种基于FCOS的检测模型其anchor
‑
free的两阶段结构相对于现有
的anchor
‑
base模型，不需要anchor的设计，简化了模型使用的流程，提升了模型的泛化性。采用轻量级主干网络VargNet，同时加入了多分支结构和重参数化结构。上述的结构使得本专利技术在提升精度的同时，不增加网络的计算量。此外还通过构建出的两阶段结构解决了FCOS在小目标检测性能低的问题。
[0009]在计算机图像视觉检测领域，可以通过不断训练深度学习神经网络模型，使模型获得分辨识别出不同类别的物体的能力，且模型能展现出较好的性能。FCOS算法是anchor
‑
free检测算法，与anchor
‑
base检测网络相比，其不需要设置anchor的相关参数，极大的增加了检测模型的泛化性能和可移植性，减轻了使用者的设计负担。FCOS网络结构简单，没有复杂的超参数限制，可扩展性极强。FCOS网络可以在保证速度的同时，提供优秀的检测性能。

技术实现思路

[0010]为了解决以上问题，本专利技术提出一种基于改进FCOS算法的无人车辆搭载摄像头目标检测方法。在特征提取的能力上更强，而且构建的两阶段模型在小目标上的检测效果更优，有效地提升了模型的识别准确率，改善了模型的漏检和误检。
[0011]为实现上述目的，本专利技术采取的技术方案是：
[0012]一种基于改进FCOS算法的无人车辆搭载摄像头目标检测方法，具体步骤如下：
[0013](1)将摄像头安装在车辆的前端便于摄像头能拍到车辆前侧的位置；在车辆行驶的过程中，摄像头采集车辆行驶过程中的视频；
[0014](2)对采集到视频流信息进行关键帧的截取，将截取出来的图像进行预处理，图像的预处理包括对重复图像的筛选，删除无目标的图像，还包括将所有图像进行标注，标注文件中包含图像的类别信息和目标的位置信息；将预处理后的图像划分为用于训练的预训练图像数据集、用于验证的验证图像数据集以及用于测试的测试图像数据集；
[0015](3)搭建改进后的FCOS模型，对模型的训练参数进行设定，将步骤(2)中预处理后的图像用于参数设定完整的改进后的FCOS模型，进行模型的训练，在训练过程中，会对训练集中的图像进行特征提取，经多次迭代后，得到训练完成的检测模型；
[0016](4)检查模型的效果，对最后保存的模型进行分析，查看模型是否发生过拟合或欠拟合现象，若发生过拟合或欠拟合现象，根据实验结果调整训练次数和超参数，得到合理的检测模型；
[0017](5)设置得分阈值和IOU阈值，对模型的输出结果进行解码，根据设置的阈值对解码后的预测框做非极大值抑制处理，删除多余的目标框，最后输出目标检测结果；
[0018]在后处理阶段，会结合第一阶段候选框的置信度和第二阶段预测的分类置信度作为最后输出的分类置信度。
[0019]作为本专利技术进一步改进，步骤(2)所述的进行关键帧截取的具体方式为：将步骤(1)中采集到的视频影像数据进行关键帧抽取，每隔10帧抽取一帧作为数据集中的一张图片。
[0020]作为本专利技术进一步改进，步骤(2)所述的图像预处理的操作具体方式是：
[0021]先将所有抽取出来的图像进行整理，筛选删除重复，无效的，与目标无关的图像；其次，将经过删选操作后剩下的图片进行整理，按照7：2：1的比例分为三份，分别作为用于
模型训练的训练集、用于模型验证的验证集、用于测试模型的测试集；最后使用标签处理工具对训练集、验证集进行待检测目标的标签标注和标签处理。
[0022]作为本专利技术进一步改进，步骤(3)所述的改进的FCOS网络训练模型在Pytorch环境下搭建，将步骤(2)中所得到训练集、验证集、测试集路径添加至模型配置文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进FCOS算法的无人车辆搭载摄像头目标检测方法，具体步骤如下，其特征在于：(1)将摄像头安装在车辆的前端便于摄像头能拍到车辆前侧的位置；在车辆行驶的过程中，摄像头采集车辆行驶过程中的视频；(2)对采集到视频流信息进行关键帧的截取，将截取出来的图像进行预处理，图像的预处理包括对重复图像的筛选，删除无目标的图像，还包括将所有图像进行标注，标注文件中包含图像的类别信息和目标的位置信息；将预处理后的图像划分为用于训练的预训练图像数据集、用于验证的验证图像数据集以及用于测试的测试图像数据集；(3)搭建改进后的FCOS模型，对模型的训练参数进行设定，将步骤(2)中预处理后的图像用于参数设定完整的改进后的FCOS模型，进行模型的训练，在训练过程中，会对训练集中的图像进行特征提取，经多次迭代后，得到训练完成的检测模型；(4)检查模型的效果，对最后保存的模型进行分析，查看模型是否发生过拟合或欠拟合现象，若发生过拟合或欠拟合现象，根据实验结果调整训练次数和超参数，得到合理的检测模型；(5)设置得分阈值和IOU阈值，对模型的输出结果进行解码，根据设置的阈值对解码后的预测框做非极大值抑制处理，删除多余的目标框，最后输出目标检测结果；在后处理阶段，会结合第一阶段候选框的置信度和第二阶段预测的分类置信度作为最后输出的分类置信度。2.根据权利要求1所述的一种基于改进FCOS算法的无人车辆搭载摄像头目标检测方法，其特征在于：步骤(2)所述的进行关键帧截取的具体方式为：将步骤(1)中采集到的视频影像数据进行关键帧抽取，每隔10帧抽取一帧作为数据集中的一张图片。3.根据权利要求1所述的一种基于改进FCOS算法的无人车辆搭载摄像头目标检测方法，其特征在于：步骤(2)所述的图像预处理的操作具体方式是：先将所有抽取出来的图像进行整理，筛选删除重复，无效的，与目标无关的图像；其次，将经过删选操作后剩下的图片进行整理，按照7：2：1的比例分为三份，分别作为用于模型训练的训练集、用于模型验证的验证集、用于测试模型的测试集；最后使用标签处理工具对训练集、验证集进行待检测目标的标签标注和标签处理。4.根据权利要求1所述的一种基于改进FCOS算法的无人车辆搭载摄像头目标检测方法，其特征在于：步骤(3)所述的改进的FCOS网络训练模型在Pytorch环境下搭建，将步骤(2)中所得到训练集、验证集、测试集路径添加至模型配置文件中，并在改进的FCOS网络训练模型中设置相应参数；在不同尺寸的特征图后添加通道空间注意力机制模块，使特征图在通道和空间两个方向加权平均，提升模型的精度；...

【专利技术属性】
技术研发人员：张涛，肖伟民，刘晓晨，
申请(专利权)人：东南大学，
类型：发明
国别省市：