一种基于主动学习和神经网络的高空抛物检测方法技术

本发明专利技术公开了一种基于主动学习和神经网络的高空抛物检测方法，涉及目标检测技术领域，本发明专利技术的辨识步骤为：采集高空抛物下落物体数据、构建主动目标检测模型、进行运动物体的目标跟踪、构建图像分类神经网络模型、利用图像分类网络过滤干扰物体、排除非高空抛物的运动轨迹。本发明专利技术采用主动学习方法通过查询策略选择少量样本进行标记，从而利用标注的信息来改善预测模型；利用分类网络通过模型的训练和分类结果，将干扰物体从检测结果中过滤，可以解决高空抛物场景中对飞鸟、飞虫、树叶的误检测问题，从而降低跟踪成本。从而降低跟踪成本。从而降低跟踪成本。

【技术实现步骤摘要】
一种基于主动学习和神经网络的高空抛物检测方法


[0001]本专利技术涉及目标检测
，尤其是涉及一种基于主动学习和神经网络的高空抛物检测方法。

技术介绍

[0002]随着近年来城市化进程的进一步加快，一座座高楼大厦拔地而起，随之带来的高空抛物问题也愈演愈烈。作为城市不文明现象，它所带来的社会危害(安全隐患、财产损失、环境破坏等)十分巨大，严重影响了人民的安全感与幸福感，也因此成为了人们“悬在城市上空的痛”。
[0003]目前通用的解决方案是通过部署镜头向上的安防摄像机，基于动态的目标检测和目标跟踪，通过设置过滤条件来排除干扰物体的高空抛物检测方法。
[0004]传统视觉中的动态目标检测方法有帧差法或者光流检测法，但其都存在许多局限性。例如，帧差法无法避免对树叶的误检，在摄像头有轻微摇晃时也有许多误检现象；光流检测法也是类似帧差法的问题，另外还有一个最大的问题是其基于稀疏特征点匹配的算法，因此实际上并不能很好的解决目标划分的问题。尽管有稠密光流检测算法，但是耗时较长，且仍存在其他问题，因此不予考虑。传统的跟踪算法，一种是根据HOG特征，另一种是根据特征点来进行跟踪。但因为高空抛物的目标很小，而且移动速度很快，所以不能用传统的基于特征的方式进行跟踪。
[0005]除此之外，现有技术也采用了深度学习的方法，通过采集大量的训练数据，将模型部署在服务器中。以深度学习为代表的监督分类方法和无监督的背景差分法、光流法相比性能确实更好。但基于YOLO、RCNN系列的目标检测需要大量的先验数据，高空抛物中的坠物层出不穷，较高楼层的抛物也小之又小，数据集收集难度较大。此类算法泛化能力差，实现成本较高。且和无监督方法相比，缺乏足够的理论保证，可解释性较差。
[0006]现有专利一《一种高空抛物监测方法》，CN111539388A、对获取的图像进行前后图片帧的对比，再通过时间戳找到第一次出现高空抛物目标的图片帧，使用二值化处理得到对应的二值化图像，最后使用几何学方法，结合相机标定位置和抛物坐标，解算出抛物的最终位置，以此进行跟踪。
[0007]现有专利一主要在运动物体的目标检测上存在以下问题、该设计只提出了前后帧的对比以及二值化的图像处理操作来检测高空抛物，没有提出具体行之有效的抛物跟踪模型。从目标检测的技术角度来看，我们可以认为其只能进行初步的运动目标识别，不能很好的实现后续运动轨迹的获取以及运动物体的动态目标跟踪。
[0008]现有专利二《一种高空抛物动目标检测方法、检测设备和检测系统》，CN202010598843.1、通过对获取的图像进行预处理，利用帧间差分运算来获得差分图像，之后再对差分结果进行二值化处理和形态学图像操作，最终对形态学图像进行连通域分析，识别和跟踪目标。
[0009]现有专利二主要在运动物体的目标跟踪上存在以下问题、该技术采用了改进的帧
差法以及使用形态学操作和连通域进行图像分析。不仅在高空抛物的数据集里面计算N张差分图像的计算量较大，而且仅根据连通区域来分析运动物体的形态、尺寸，仍是难以实现运动目标的轨迹跟踪。
[0010]现有专利三《一种高空抛物坠物的识别方法、系统及计算机可读介质》，CN114639075A、首先对监控图像采用隔帧帧差法进行处理，利用改进的NMS进行去重操作，得到前景检测物。通过改进的SORT算法使用卡尔曼滤波进行运动物体的轨迹预测，最后根据自由落体规律过滤干扰物体。
[0011]现有专利三主要在过滤干扰物体的过程中存在以下问题、该专利提出了改进的NMS去重操作以及改进的SORT算法，可以在一定程度上实现动态目标检测和目标跟踪。但存在的局限性在于SORT算法中，遮挡物会出现ID Switch次数很高，无法有效解决遮挡跟踪问题，从而不能很好的过滤干扰物体。

技术实现思路

[0012]本专利技术的目的是提供一种基于主动学习和神经网络的高空抛物检测方法，通过查询策略选择少量样本进行标记，从而利用标注的信息来改善预测模型，主要是针对高空抛物的数据标签较少而设计的；可缓解因部分遮挡导致的检测信息变化；可解决高空抛物场景中对飞鸟、飞虫、树叶的误检测问题，从而降低跟踪成本。
[0013]为实现上述目的，本专利技术提供了一种基于主动学习和神经网络的高空抛物检测方法，包括以下步骤：
[0014]S1、采集高空抛物的下落物体数据：采集并获取真实楼宇间的视频流数据，将视频流进行抽帧并解码处理，对得到的运动物体图像帧数据进行标注；
[0015]S2、构建主动目标检测模型：采用基网为ResNet
‑
50的RetinaNet的神经网络作为目标检测器，通过基于主动学习方法的查询策略选择样本进行标记，利用标注的信息改善预测模型；
[0016]S3、进行运动物体的目标跟踪：采用动态目标跟踪算法进行预测，通过级联匹配和IOU匹配关联运动帧信息，使用滤波器进行预测和更新，得到运动目标的跟踪序号、运动轨迹以及对应帧的编号信息；
[0017]S4、构建图像分类神经网络模型：进行图像分类网络模型部署，从ImageNet和OpenImages获取数据集，对干扰物体进行分类；
[0018]S5、利用图像分类网络过滤干扰物体：进行神经网络的训练和分类预测，对获取的运动目标图像进行分类网络的模型应用，根据CNN模型的分类结果，将干扰物体从输出图像中过滤；
[0019]S6、排除非高空抛物的运动轨迹：对运动物体的轨迹特征设定过滤条件，根据目标的移动距离和自由落体规律来判断抛物轨迹，排除高空抛物中非正常的运动轨迹。
[0020]优选的，所述步骤S1中，采集高空抛物的下落物体数据，具体包括以下步骤：
[0021]S1
‑
1、通过摄像头获取真实视频数据，得到包含RGB三层颜色通道的图像；
[0022]S1
‑
2、对视频抽帧解码处理，将视频数据解析为连续的图像帧数据；
[0023]S1
‑
3、对每一帧图像中的运动目标的类别进行标注，形成该帧图像的类别标签{Yi,i＝1,...,N}。
[0024]优选的，步骤S2中，构建主动目标检测模型，具体包括以下步骤：
[0025]S2
‑
1、对步骤S1
‑
2中的运动物体的图像帧数据进行标注；
[0026]S2
‑
2、选择基网为ResNet
‑
50的RetinaNet的神经网络作为基础检测器；
[0027]S2
‑
3、将步骤S2
‑
1中标注好的图像帧数据输入主动学习的网络框架中；
[0028]S2
‑
4、定义主动学习器Active Learner；
[0029]S2
‑
5、应用目标检测模型获取运动目标的bounding box。
[0030]优选的，所述步骤S2
‑
4中定义主动学习器Acti本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于主动学习和神经网络的高空抛物检测方法，其特征在于,包括以下步骤：S1、采集高空抛物的下落物体数据：采集并获取真实楼宇间的视频流数据，将视频流进行抽帧并解码处理，对得到的运动物体图像帧数据进行标注；S2、构建主动目标检测模型：采用基网为ResNet
‑
50的RetinaNet的神经网络作为目标检测器，通过基于主动学习方法的查询策略选择样本进行标记，利用标注的信息改善预测模型；S3、进行运动物体的目标跟踪：采用动态目标跟踪算法进行预测，通过IOU匹配和级联匹配关联运动帧信息，使用滤波器进行预测和更新，得到运动目标的跟踪序号、运动轨迹以及对应帧的编号信息；S4、构建图像分类神经网络模型：进行图像分类网络模型部署，通过ImageNet和OpenImages获取数据集，对干扰物体进行分类；S5、利用图像分类网络过滤干扰物体：进行神经网络的训练和分类预测，对获取的运动目标图像进行分类网络的模型应用，根据CNN模型的分类结果，将干扰物体从输出图像中过滤；S6、排除非高空抛物的运动轨迹：对运动物体的轨迹特征设定过滤条件，根据目标的移动距离和自由落体规律来判断抛物轨迹，排除高空抛物中非正常的运动轨迹。2.根据权利要求1所述的一种基于主动学习和神经网络的高空抛物检测方法，其特征在于，所述步骤S1中，采集高空抛物的下落物体数据，具体包括以下步骤：S1
‑
1、通过摄像头获取真实视频数据，得到包含RGB三层颜色通道的图像；S1
‑
2、对视频抽帧解码处理，将视频数据解析为连续的图像帧数据；S1
‑
3、对每一帧图像中的运动目标的类别进行标注，形成该帧图像的类别标签{Yi,i＝1,...,N}。3.根据权利要求2所述的一种基于主动学习和神经网络的高空抛物检测方法，其特征在于，所述步骤S2中，构建主动目标检测模型，具体包括以下步骤：S2
‑
1、对步骤S1
‑
2中的运动物体的图像帧数据进行标注；S2
‑
2、选择基网为ResNet
‑
50的RetinaNet的神经网络作为基础检测器；S2
‑
3、将步骤S2
‑
1中标注好的图像帧数据输入主动学习的网络框架中；S2
‑
4、定义主动学习器Active Learner；S2
‑
5、应用目标检测模型获取运动目标的bounding box。4.根据权利要求3所述的一种基于主动学习和神经网络的高空抛物检测方法，其特征在于，步骤S2
‑
4中定义主动学习器Active Learner具体包括以下步骤：S2
‑4‑
1、定义模型参数和应用于请求标注的查询策略；S2
‑4‑1‑
1、对于预测的bounding boxB
j
的紧密度定义如下；T(B
j
)＝IOU(B
j
,R
j
)其中，R
j
为当网络预测未经调整前的候选区域region；S2
‑4‑1‑
2、根据样本的紧密度T(B
j
)和置信度P
max
的不同，采用如下选择策略来更新bounding box；
S2
‑4‑1‑
3、通过如下公式计算当前模型对噪声的稳定度S(B
j
)；S2
‑4‑1‑
4、若该稳定度S(B
j
)达到了稳定值，无需对未标记图像进行标记；S2
‑4‑1‑
5、对步骤S2
‑4‑1‑
3中未达到稳定值的S(B
j
),采用如下公式进行更新；S2
‑4‑
2、使用基于不确定性的主动学习方法，返回策略选择出需要标注的数据；S2
‑4‑
3、判断模型精度是否达到要求，利用查询函数选取对提高模型精度最有用的数据进行人工标注；S2
‑4‑
4、将步骤S2
‑4‑
3中的数据按照查询标准加到训练集样本中循环查询。5.根据权利要求4所述的一种基于主动学习和神经网络的高空抛物检测方法，其特征在于，所述步骤S3中，进行运动物体的目标跟踪，包括以下步骤：S3
‑
1、计算当前t时刻运动目标的检测框bounding box与上一时刻的检测框交并比IOU；S3
‑
2、判断计算结果是否小于预设的阈值，如果是，则认为匹配失败，进行卡尔曼滤波预测；S3
‑
3、初始化一个新的卡尔曼滤波器，记录当前运动目标的跟踪序号以及对应帧的编号信息；S3
‑<...

【专利技术属性】
技术研发人员：刘建，周云龙，段刘祺，段萌，卢中源，吴子文，陈良宇，毛江华，车杰，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：