复杂场景下的高精度高空抛物检测系统及方法技术方案

本发明专利技术公开了复杂场景下的高精度高空抛物检测系统及方法，所述系统包括：首先输入一组连续帧图像序列，通过运动物体检测模块能够检测到每帧中快速移动的物体；然后通过特征抽取模块对每个检测出的目标提取低维特征和高维特征，并存入特征库；将提取的特征输入到特征匹配模块进行目标前后帧的匹配，生成抛物序列；轨迹预测并筛选模块对输入的抛物序列进行过滤，主要滤掉噪声；最终通过物体类别过滤模块学习一个神经网络来筛选特定的高空抛物目标。本发明专利技术融合了图像特征工程方法，前后帧匹配算法以及机器学习和深度学习算法，能够在复杂条件下，例如雨天，夜晚，进行高空抛物检测和定位，并且用于备案和追踪事故。

【技术实现步骤摘要】
复杂场景下的高精度高空抛物检测系统及方法
本专利技术涉及一种复杂场景下的高精度高空抛物检测系统及方法，属于视频监控安防
，主要针对商场、住宅小区的高楼层进行高空抛物的检测。
技术介绍
随着城市化的发展，高空抛物越来越成为严峻和急需被重视的城市问题，这种高空抛物行为给社会带来巨大的危害和影响。人工从历史录像数据里面排查高空抛物难度大，成本高，取证难。而目前的＂高空抛物＂检测系统大多使用较为简单的图像检测手段，误报率和漏报率都相对较高，这都使得检测系统的使用大打折扣。近年来，无论是图像检测算法还是相机，计算机等硬件，性能和成熟度上都有了很大的提高，但是却没有能把这些技术和手段运用到＂高空抛物＂的检测上，尤其是在复杂场景，复杂条件的情况下精确地检测高空抛物。综上所述，急需一种高精度的图像检测技术来解决现有技术中存在的问题。专利1：《一种高空抛物预警方法和装置》，CN110853295A。该专利提供了一整套高空抛物的检测装置的设计，包括摄像头的安装，目标入侵检测，高空抛物验证，高空抛物预警，以及通过二次验证的方法提高检测准确率。专利2：《一种基于图像识别的坠落物识别方法及系统》，CN111488799A。该专利提出基于图像识别的方法识别坠落物，主要运用背景建模的方法找出前景，使用密度聚类和二次方程拟合的方法从前景中识别坠落物体。专利3：《一种高空抛物监测方法》，CN111539388A。该专利提出一整套检测和记录抛物的系统，使用前后帧对比，二值化的图像处理方法和几何学方法来检测抛物在图像中的位置，并且结合相机标定的位置来估算抛物对应的大楼房间，并将所有数据存入数据库系统。
技术实现思路
现有技术的缺点：专利1：《一种高空抛物预警方法和装置》。其设计的主要缺点是使用Gabor滤波器，多尺度图像分析，二次分析方法会造成检测速度变慢，而且图像平滑之后，很多小目标被过滤掉，从而容易造成漏检。专利2：《一种基于图像识别的坠落物识别方法及系统》。其设计的主要缺点是里面很多设计需要设定经验值，例如＂二测方程系数＂如何判别符合条件，需要手动设置阈值，降低了系统的通用性，没有结合最新的机器学习方法。专利3：《一种高空抛物监测方法》。其设计的主要缺点是没有提出具体有效的抛物检测模型，前后帧比对和二值化处理方法很难准确定位到高空抛物在图像中的位置。本专利技术的目的在于，克服现有技术存在的技术缺陷，解决上述技术问题，提出一种复杂场景下的高精度高空抛物检测系统及方法，本专利技术的技术方案融合了图像特征工程方法，前后帧匹配算法以及机器学习和深度学习算法，能够在复杂条件下，例如雨天，夜晚，进行高空抛物检测和定位，并且用于备案和追踪事故。该算法无需配置阈值参数，并且能够达到实时检测的效果本专利技术具体采用如下技术方案：复杂场景下的高精度高空抛物检测系统，包括：运动物体检测模块，用于执行：输入一组连续帧图像序列，通过背景建模方法检测到每帧图像中快速移动的前景目标，并输出给特征抽取模块；特征抽取模块，用于执行：接收所述运动物体检测模块输入的前景目标，对每个检测出的物体目标提取低维特征和高维特征，并存入特征库；特征匹配模块，用于执行：接收所述特征抽取模块的低维特征和高维特征，进行物体目标前后帧的匹配，生成符合抛物轨迹的序列，并输出给轨迹预测并筛选模块；轨迹预测并筛选模块，用于执行：接收所述特征匹配模块输出的所述符合抛物轨迹的序列，进行过滤噪声，并输出过滤后的抛物轨迹序列给物体类别过滤模块；物体类别过滤模块，用于执行：接收所述轨迹预测并筛选模块输出的抛物轨迹序列，通过学习一个神经网络来筛选特定的高空抛物目标；具体包括：选择每个序列Ci中面积最大的检测目标Fm，不对所有的检测目标进行分类；将Fm对应的图像区域裁剪出来，归一化到32(宽)×32(高)×3(通道数)大小；将图像输入到设计好的卷积神经网络进行分类，最终全连接层的输出表示Ci是高空抛物的概率，从而进一步过滤掉不适合的FalsePositive。作为一种较佳的实施例，所述运动物体检测模块具体执行包括：静态相机下捕捉得到的连续帧通过混合高斯模型GMM获得前景图像；通过形态学上的闭运算来放大前景图像，对混合高斯模型GMM获得的二值图进行腐蚀操作达到放大前景图像的目的；在二值图上通过找连通域的方法找到前景图像中所有的连通区域，然后使用外接矩形拟合找到的连通域，把一些只有像素点大小的噪声滤掉，只保留有一定面积占比的矩形作为检测到的下落物体；利用层次聚类模型，对每个背景建模检测出来的前景目标进行建模，搜索其周围邻近的目标归为一类，打上一个标签”已归类”，下一次再对没有归类的目标执行相同操作，直到所有的前景目标都被打上标签”已归类”，最终得到一个干净的前景图。作为一种较佳的实施例，所述特征抽取模块具体执行包括：首先把所述运动物体检测模块检测获得的前景目标转化为更为抽象的特征，用于后续的帧间匹配和构建特征库；对在二值图上获得的目标框，投影到原始图像上，获得每一帧下检测的抛物，检测框根据自身大小，将宽和高各扩大一倍，在提取特征之前，将检测目标图片框归一化到20(宽)×20(高)像素大小，消除图像尺度对特征的影响；提取每一个目标的几何特征，所述几何特征指的是面积Area和周长Perimeter；在二值图像上，所述几何特征具体指的是每个过滤出的连通域的面积和周长，所述几何特征作为低维度的特征被保存到特征库中；提取每一个目标的纹理特征作为高维特征，所述纹理特征指的是24维的LBP特征。作为一种较佳的实施例，所述特征匹配模块具体执行包括：设特征库里面已经存有m组抛物序列列表C＝{C1,C2,...，Cm}，所述m组抛物序列列表C分别是从前N－1帧图像中检测得到，在当前第N帧图像通过所述运动物体检测模块检测出k个目标，并通过所述特征抽取模块提取出特征F＝{F1，F2，...,Fk}，每个序列Ci中最后一次检测的目标特征设为F′i，i∈[1,m]；遍历特征F中的每一个目标Fj,j∈[1，k]；计算F′i和Fj的相似度，取得分最高的F′i，从而把Fj归类到其对应的Ci序列，已经被归类的序列将不再接收新的检测目标，避免重复归类；其中，F′i和Fj的相似度通过下面公式(1)计算得到，其中，C表示LBP特征的余弦相似度，其计算公式是公式(2)，其中，表示低维度特征的相似度，值越小表示两个目标之间的匹配程度越高，wa，wl,δ是常数，用来归一化不同特征之间的尺度，计算公式如下公式(3)：如果当前抛物序列列表C为空，对F里的每个特征新建一个序列Ci,i∈[1,k]，把每个检测到的目标Fi归入序列Ci中，作为序列Ci中第一个被检测出的目标；如果在匹配过程中发现目标Fj与F′i距离过远，则选择放弃匹配F′i,从而选择下一个目标F′i+1继续匹配，如果在Ci中找不到任何合适的序列进行匹配，则认定当前检测目标Fj为无效目标，自动丢弃。作为一种较佳的实施例，所述轨迹预本文档来自技高网...

【技术保护点】
1.复杂场景下的高精度高空抛物检测系统，其特征在于，包括：/n运动物体检测模块，用于执行：输入一组连续帧图像序列，通过背景建模方法检测到每帧图像中快速移动的前景目标，并输出给特征抽取模块；/n特征抽取模块，用于执行：接收所述运动物体检测模块输入的前景目标，对每个检测出的物体目标提取低维特征和高维特征，并存入特征库；/n特征匹配模块，用于执行：接收所述特征抽取模块的低维特征和高维特征，进行物体目标前后帧的匹配，生成符合抛物轨迹的序列，并输出给轨迹预测并筛选模块；/n轨迹预测并筛选模块，用于执行：接收所述特征匹配模块输出的所述符合抛物轨迹的序列，进行过滤噪声，并输出过滤后的抛物轨迹序列给物体类别过滤模块；/n物体类别过滤模块，用于执行：接收所述轨迹预测并筛选模块输出的抛物轨迹序列，通过学习一个神经网络来筛选特定的高空抛物目标；具体包括：选择每个序列C

【技术特征摘要】
1.复杂场景下的高精度高空抛物检测系统，其特征在于，包括：
运动物体检测模块，用于执行：输入一组连续帧图像序列，通过背景建模方法检测到每帧图像中快速移动的前景目标，并输出给特征抽取模块；
特征抽取模块，用于执行：接收所述运动物体检测模块输入的前景目标，对每个检测出的物体目标提取低维特征和高维特征，并存入特征库；
特征匹配模块，用于执行：接收所述特征抽取模块的低维特征和高维特征，进行物体目标前后帧的匹配，生成符合抛物轨迹的序列，并输出给轨迹预测并筛选模块；
轨迹预测并筛选模块，用于执行：接收所述特征匹配模块输出的所述符合抛物轨迹的序列，进行过滤噪声，并输出过滤后的抛物轨迹序列给物体类别过滤模块；
物体类别过滤模块，用于执行：接收所述轨迹预测并筛选模块输出的抛物轨迹序列，通过学习一个神经网络来筛选特定的高空抛物目标；具体包括：选择每个序列Ci中面积最大的检测目标Fm，不对所有的检测目标进行分类；将Fm对应的图像区域裁剪出来，归一化到32(宽)×32(高)×3(通道数)大小；将图像输入到设计好的卷积神经网络进行分类，最终全连接层的输出表示Ci是高空抛物的概率，从而进一步过滤掉不适合的FalsePositive。


2.根据权利要求1所述的复杂场景下的高精度高空抛物检测系统，其特征在于，所述运动物体检测模块具体执行包括：静态相机下捕捉得到的连续帧通过混合高斯模型GMM获得前景图像；通过形态学上的闭运算来放大前景图像，对混合高斯模型GMM获得的二值图进行腐蚀操作达到放大前景图像的目的；在二值图上通过找连通域的方法找到前景图像中所有的连通区域，然后使用外接矩形拟合找到的连通域，把一些只有像素点大小的噪声滤掉，只保留有一定面积占比的矩形作为检测到的下落物体；利用层次聚类模型，对每个背景建模检测出来的前景目标进行建模，搜索其周围邻近的目标归为一类，打上一个标签”已归类”，下一次再对没有归类的目标执行相同操作，直到所有的前景目标都被打上标签”已归类”，最终得到一个干净的前景图。


3.根据权利要求1所述的复杂场景下的高精度高空抛物检测系统，其特征在于，所述特征抽取模块具体执行包括：
首先把所述运动物体检测模块检测获得的前景目标转化为更为抽象的特征，用于后续的帧间匹配和构建特征库；对在二值图上获得的目标框，投影到原始图像上，获得每一帧下检测的抛物，检测框根据自身大小，将宽和高各扩大一倍，在提取特征之前，将检测目标图片框归一化到20(宽)×20(高)像素大小，消除图像尺度对特征的影响；
提取每一个目标的几何特征，所述几何特征指的是面积Area和周长Perimeter；在二值图像上，所述几何特征具体指的是每个过滤出的连通域的面积和周长，所述几何特征作为低维度的特征被保存到特征库中；
提取每一个目标的纹理特征作为高维特征，所述纹理特征指的是24维的LBP特征。


4.根据权利要求1所述的复杂场景下的高精度高空抛物检测系统，其特征在于，所述特征匹配模块具体执行包括：
设特征库里面已经存有m组抛物序列列表C＝{C1，C2，...,Cm}，所述m组抛物序列列表C分别是从前N－1帧图像中检测得到，在当前第N帧图像通过所述运动物体检测模块检测出k个目标，并通过所述特征抽取模块提取出特征F＝{F1，F2，...，Fk}，每个序列Ci中最后一次检测的目标特征设为F′i，i∈[1，m]；遍历特征F中的每一个目标Fj，j∈[1，k]；计算F′i和Fj的相似度，取得分最高的F′i，从而把Fj归类到其对应的Ci序列，已经被归类的序列将不再接收新的检测目标，避免重复归类；其中，F′i和Fj的相似度通过下面公式(1)计算得到，



其中，C表示LBP特征的余弦相似度，其计算公式是公式(2)，



其中，表示低维度特征的相似度，值越小表示两个目标之间的匹配程度越高，wa，wl，δ是常数，用来归一化不同特征之间的尺度，计算公式如下公式(3)：



如果当前抛物序列列表C为空，对F里的每个特征新建一个序列Ci，i∈[1，k]，把每个检测到的目标Fi归入序列Ci中，作为序列Ci中第一个被检测出的目标；
如果在匹配过程中发现目标Fj与F′i距离过远，则选择放弃匹配F′i，从而选择下一个目标F′i+1继续匹配，如果在Ci中找不到任何合适的序列进行匹配，则认定当前检测目标Fj为无效目标，自动丢弃。


5.根据权利要求1所述的复杂场景下的高精度高空抛物检测系统，其特征在于，所述轨迹预测并筛选模块具体执行包括：
通过特征匹配模块之后，生成一组完整的抛物序列C＝{C1，C2，...，Cm}，针对每个序列Ci，提取一个5维特征：{u_speed，v_speed，seq_length，size_partial，curve_score}，u_speed表示序列Ci中的目标在水平方向上的平均移动速度，由于抛物基本上做的是竖直运动，所以u_speed值越小，Ci符合抛物轨迹的概率越大，其计算公式如下公式(4)，其中X表示Ci中每个检测目标的横坐标；



v_speed表示序列Ci中的目标在竖直方向上的平均移动速度，v_speed值越大，Ci符合抛物轨迹的概率越大，其计算公式如下公式(5)，其中Y表示Ci中每个检测目标的纵坐标；



seq_length表示序列Ci中包含的目标的个数，该特征用于去除局部噪声，seq_length值越大，Ci符合抛物轨迹的概率越大；
size_partial表示序列Ci中检测到的最大目标的面积Smax和最小目标的面积Smin之商，size_partial的值越小，Ci符合抛物轨迹的概率越大；
curve_score表示用二次曲线ax2+by2+cxy+dx+ey+f＝0拟合Ci的拟合程度，用r2_score来计算二次曲线的拟合率，curve_score越接近1，Ci越符合二次抛物曲线，Ci符合抛物轨迹的概率越大，反之，curve_score越接近0，Ci符合抛物轨迹的概率越小；
对于提取的5维轨迹特征，将收集到的各个抛物序列通过标注的手段分成两类：是真实抛物轨迹，标签为1；是噪声，标签为0，将轨迹筛选问题转化为二分类问题，然后训练一颗C4.5决策树对新的轨迹进行预测，从而达到筛出错误轨迹或者噪声的目的...

【专利技术属性】
技术研发人员：陆涛，曹颂，钟星，
申请(专利权)人：南京图菱视频科技有限公司，
类型：发明
国别省市：江苏;32