基于计算机视觉的街景流量信息采集方法技术

本发明专利技术公开了一种基于计算机视觉的街景流量信息采集方法，包含对每一帧视频采用目标检测算法YOLOv5检测识别街景中的物体；提取检测物体的外观特征辅助检测框与预测框的匹配；使用卡尔曼滤波算法预测每个被检测目标下一帧出现的位置；使用匈牙利算法利用提取的外观特征和运动特征计算代价矩阵，实现检测框的级联匹配为识别物体分配追踪目标序号；使用原型库等数据结构维护检测物体的外观特征和追踪序号，并以此判断检测物体是否第一次出现在视频中；对第一次被检测到的物体截取小图并转存至指定路径下，统计每类别出现的不同物体数，在视频中显示这种物体的运动轨迹。本发明专利技术实现了实时采集街景下常见物体图像信息和不同类别物体的计数统计信息。别物体的计数统计信息。别物体的计数统计信息。

【技术实现步骤摘要】
基于计算机视觉的街景流量信息采集方法


[0001]本专利技术属于多目标跟踪交叉
，具体涉及一种基于计算机视觉的街景流量信息采集方法。

技术介绍

[0002]视频目标跟踪是计算机视觉中的一项重要任务,是指对视频序列中的目标状态进行持续推断的过程，其任务在于通过在视频的每一帧中定位目标,以生成目标的运动轨迹,并在每一时刻提供追踪目标出现在视频中完整的目标区域。视频跟踪技术在计算机视觉领域内有着十分广泛的应用。本专利技术便是结合改进了目标跟踪技术以及检测技术，优化了常用街景流量信息收集技术推理速度慢、跟踪丢失的问题。
[0003]常用于街景流量信息收集的技术采用的目标检测算法常为基于R
‑
CNN系算法(R
‑
CNN，Fast R
‑
CNN,Faster R
‑
CNN等)，首先先需经过算法推算产生目标候选框，然后再对产生的候选框进行分类与回归筛选。其产生的问题便是推理速度较慢，难以满足视频检测的实时性，常需要对视频进行抽帧处理。针对这一问题，我们采用了one
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于计算机视觉的街景流量信息采集方法，特征在于，包括如下步骤：S1：识别视频每一帧中出现的十余种街景下常见物体，并按类别的不同用不同颜色的框将检测物体从视频中框出，得出检测框，在物体左上角显示检测的类别以及置信度；S2：提取被检测物体的外观特征，为关联数据提供依据；S3：预测下一帧物体出现的位置，生成预测框；S4：将预测框与检测框级联匹配，为每个检测框分配追踪序号；S5：将第一次出现在视频当中的物体截取小图并保存至指定路径，统计各类物体出现的数量。2.根据权利要求1所述基于计算机视觉的街景流量信息采集方法，其特征在于，所述步骤S1具体过程为：S11：输入端采用了Mosaic数据增强、自适应锚框计算、自适应图片缩放三种方法对输入图像数据进行预处理：(1)Mosaic数据增强：对训练图像采用随机缩放、随机裁剪、随机排布的方式进行拼接，有利于丰富数据集以及增强对小目标物体的检测精度；(2)自适应锚框计算：在Yolov3、Yolov4中，训练不同的数据集时，计算初始锚框的值是通过单独的程序运行的。但Yolov5中将此功能嵌入到代码中，每次训练时，自适应的计算不同训练集中的最佳锚框值；(3)自适应图片缩放：对原始图像自适应的添加最少的黑边，使图像高度上两端的黑边变少，在推理时，计算量也会减少，即目标检测速度会得到提升；S12：Backbone：Focus结构，CSP结构：(1)Focus结构：通过切片操作来对输入图片进行裁剪；(2)CSP结构：不同于YOLOv4算法，Yolov5中设计了两种CSP结构，CSP1_X结构应用于Backbone主干网络，另一种CSP2_X结构则应用于Neck中；S13：Neck采用FPN+PAN结构，即在FPN层的后面还添加了一个自底向上的特征金字塔，...

【专利技术属性】
技术研发人员：王峥，吴东鹏，黄秀君，
申请(专利权)人：河海大学，
类型：发明
国别省市：