【技术实现步骤摘要】
本专利技术涉及安防监控，具体涉及一种两阶段行人车辆检测方法。
技术介绍
1、深度学习技术的飞速发展，使得智能监控、智能告警等智能化成为当今社会的焦点，其中基于摄像头的行人车辆检测技术，也得到了广泛的应用，特别是在公共安全监控、智能安防系统中，基于摄像头的行人车辆检测技术扮演着至关重要的角色。
2、现有行人车辆检测技术，按照目标检测算法的原理及其检测方式，可划分为单阶段和双阶段两种。单阶段目标检测算法，在检测过程中直接对输入图像中的目标进行位置和类别预测，是一个端到端的过程。由于需要在一个网络中同时优化分类和定位两个任务，为了达到更好的检测效果，模型通常会过于复杂，难以训练和优化。而轻量化单阶段网络，不仅在一些小目标的检测效果上欠佳，同时在一些复杂背景环境下，也较难区分背景和目标，导致检测准确率较低，存在较多的误报现象。双阶段目标检测算法，在检测过程中，需要生成额外的候选区域，对计算资源需求较大，会导致检测速度较慢，很难满足实时性要求，不太适合嵌入式和移动设备。
3、现阶段的目标检测算法对于大型及具有明显特征的目标检测效果较好，但在实际环境中，往往存在其他车辆或行人产生遮挡，并且远处的车辆及行人目标较小，容易造成目标特征缺失或不明显，不但会导致漏检率和误检率提高，而且检测精度也会降低。
技术实现思路
1、针对现有技术的不足，本专利技术提出了一种两阶段行人车辆检测方法，通过两个单阶段检测模型的串行结合，可以在保持实时性的前提下显著提高检测精度，减少误报漏报，同时
2、为实现上述技术方案，本专利技术提供了一种两阶段行人车辆检测方法，具体包括如下步骤：
3、s1、行人车辆数据集的收集及标注
4、s11、行人车辆数据集的收集，从市面上已有公开的可用数据集获取或者互联网上爬取复杂多样场景的图片数据；
5、s12、第一阶段行人车辆检测数据标注，首先使用标注软件标注特殊场景的数据，训练出一个数据标注模型，然后使用训练好的模型去检测未被标注的图片数据，得到未标注数据标签，然后通过人工去校正模型标注的这部分标签，添加到先前训练的数据集中，再次训练数据标注模型，多次循环，直到完成所有数据的标注和校正工作；
6、s13、第二阶段行人车辆检测数据标注，将从网络中爬取的数据直接放到第一阶段数据标注过程中进行标注备用；而从第一阶段获取的数据，在获取图像的同时，根据目标在原图中的位置信息计算得到当前图像标签信息；
7、s2、行人车辆检测模型训练
8、s21、第一阶段模型训练，基于yolov5框架对行人车辆图片进行训练，并使用nwd损失函数对原始的iou进行替换；
9、s22、收集一部分不含检测目标类型的各个场景数据作为背景图片，将这部分图片和之前标注好的行人车辆数据集合并进行训练；
10、s23、使用第一阶段训练好的行人车辆检测模型去检测seganything这样场景覆盖范围较大的数据集，对检测存在行人车辆的图片进行校验，并将检测错误的图片提取出来，再将上述数据合并到前面的数据进行训练；
11、s24、第二阶段检测模型训练，基于yolov8框架进行模型的训练，训练过程中使用图像预处理操作，对图像的训练尺寸进行缩减，并结合提取出来的检测错误的图片一起进行模型的优化训练；
12、s3、行人车辆检测设备端应用
13、s31、第一阶段检测，从视频流中获取原始数据为yuv格式，将yuv数据转换和缩放为ai运算模块支持的格式以及尺寸，将前面训练好的模型转换到板端模型，使用运算模块进行运算得到模型的输出特征，对输出的特征进行后处理，得到行人及车辆目标的置信度、位置信息；
14、s32、行人车辆目标跟踪，利用sort目标跟踪算法对检测到的行人车辆目标进行跟踪，对于连续的帧进行处理，计算两帧中目标信息的相关性，包括目标的距离信息以及目标的重叠比例，相同的目标形成相同的id，同时根据前面跟踪得到的跟踪轨迹信息，将当前图像中对应位置的图像数据抠取下来进行缓存，并对每个目标id设置初始状态为true；
15、s33、行人车辆目标抓图，根据第一阶段检测得到的目标位置信息映射到该目标在原始图片的相应位置，再往四周扩展像素，使其为一个正方形且尺寸最为接近第二阶段模型的输入尺寸，最后再用resize操作将图像放缩到模型的输入尺寸；
16、s34、第二阶段检测，先对抓取到的图像进行筛选操作，只将那些由尺寸占比或者置信度得分低于设定阈值的目标得来的抓取图像送入第二阶段模型中检测，否则不进行第二阶段检测，直接保留图片，然后根据检测结果更新目标状态，如果检测结果中出现了和第一阶段检测类型一致的目标，目标状态保持不变，否则更改为false，并将该图片进行过滤，最后将未送入第二阶段检测以及第二阶段检测后留下来的抓取图片及目标信息作为最终的行人车辆图像检测结果。
17、优选的，所述步骤s11中，公开的可用数据集包括coco2017、voc2007、voc2012、object365、widerperson。
18、优选的，所述步骤s12中，第一阶段行人车辆检测数据标注采用的是半自动标注方法，首先使用市面上已有公开的可用数据集和人工使用标注软件标注的一些特殊场景的数据一起训练一个尺寸较大、参数较多、泛化能力较强的模型，然后再用训练好的模型去检测未被标注的图片数据，得到未标注数据标签。
19、优选的，所述步骤s12中，标注软件为labelimg，标注的内容为每个目标的位置以及对应的类型。
20、优选的，所述对应的类型分为15类，除了需要检测的6类行人车辆目标，还有9类易误报类别也进行标注用于训练。
21、优选的，所述步骤s24中，图像预处理操作包括颜色变化、亮度变化、旋转角度和高斯模糊处理。
22、优选的，所述步骤s24中，为了提高检测速度和减少模型大小，训练尺寸由640x640改为256x256。
23、本专利技术提供的一种两阶段行人车辆检测方法的有益效果在于：
24、(1)本专利技术可以有效结合单阶段和双阶段两种模型的优点，优化单阶段检测模型存在的一些固有问题，通过两个单阶段检测模型的串行结合，可以在保持实时性的前提下显著提高检测精度，减少误报漏报，同时具有较强的鲁棒性和灵活性。与现有的单个高性能模型、两阶段检测模型以及单个轻量级模型相比，该方法在复杂背景，特别是包含小目标的场景下，在性能和资源占用方面提供了更好的平衡，特别适用于需要兼顾速度和精度的场景。
25、(2)本专利技术利用训练好的模型对各种场景的数据进行检测，特别的对于误报的图片将误报的图片作为难例再次合并到已有的数据集中进行训练，提高模型的适应能力。
26、(3)本专利技术针对复杂环境下，小尺寸和模糊目标容易漏报误报问题，使用两种单阶段模型串行结合的方式进行检测。其中，第一阶段快速筛选出候选区域，确定目标位本文档来自技高网...
【技术保护点】
1.一种两阶段行人车辆检测方法，其特征在于具体包括如下步骤：
2.如权利要求1所述的两阶段行人车辆检测方法，其特征在于，所述步骤S11中，公开的可用数据集包括COCO2017、VOC2007、VOC2012、Object365、Widerperson。
3.如权利要求1所述的两阶段行人车辆检测方法，其特征在于，所述步骤S12中，第一阶段行人车辆检测数据标注采用的是半自动标注方法，首先使用市面上已有公开的可用数据集和人工使用标注软件标注的一些特殊场景的数据一起训练一个尺寸较大、参数较多、泛化能力较强的模型，然后再用训练好的模型去检测未被标注的图片数据，得到未标注数据标签。
4.如权利要求1所述的两阶段行人车辆检测方法，其特征在于，所述步骤S12中，标注软件为labelimg，标注的内容为每个目标的位置以及对应的类型。
5.如权利要求4所述的两阶段行人车辆检测方法，其特征在于，所述对应的类型分为15类，除了需要检测的6类行人车辆目标，还有9类易误报类别也进行标注用于训练。
6.如权利要求1所述的两阶段行人车辆检测方法，其特征
7.如权利要求1所述的两阶段行人车辆检测方法，其特征在于，所述步骤S24中，为了提高检测速度和减少模型大小，训练尺寸由640x640改为256x256。
...【技术特征摘要】
1.一种两阶段行人车辆检测方法，其特征在于具体包括如下步骤：
2.如权利要求1所述的两阶段行人车辆检测方法，其特征在于，所述步骤s11中，公开的可用数据集包括coco2017、voc2007、voc2012、object365、widerperson。
3.如权利要求1所述的两阶段行人车辆检测方法，其特征在于，所述步骤s12中，第一阶段行人车辆检测数据标注采用的是半自动标注方法，首先使用市面上已有公开的可用数据集和人工使用标注软件标注的一些特殊场景的数据一起训练一个尺寸较大、参数较多、泛化能力较强的模型，然后再用训练好的模型去检测未被标注的图片数据，得到未标注数据标签。
4.如权利...
【专利技术属性】
技术研发人员：曾庆喜，唐自兴，陈苗苗，李志洋，杨亮亮，
申请(专利权)人：珠海安联锐视科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。