一种监控视频联合分析方法及系统技术方案

本发明专利技术公开了一种监控视频联合分析方法及系统，大数据系统与分析领域，包括：在当前分析周期，分别以较高采样率和较低采样率对潜在视频流和非潜在视频流进行采样；将潜在视频流和非潜在视频流的采样结果分别输入到全特征目标检测模型和轻量级目标检测模型进行目标检测，并实时输出全特征目标检测模型的检测结果；在当前分析周期末，依据两个目标检测模型的检测结果分析各视频流在当前分析周期是否包含目标场景，并结合历史分析结果预测各视频流在下一个分析周期是否包含目标场景；两个目标检测模型均运行于GPU，且全特征目标检测模型的复杂度和检测精度均较高。本发明专利技术能够在保证分析精度的基础上，有效提高对监控视频的分析速度和计算效率。

【技术实现步骤摘要】
一种监控视频联合分析方法及系统
本专利技术属于大数据系统与分析领域，更具体地，涉及一种监控视频联合分析方法及系统。
技术介绍
目前，越来越多的廉价监控摄像头被部署到公共场所中，用于监控一个区域、管理交通、检测异常事故和记录线索。快速准确地定位关键场景(异常事件或用户关心的事件)，是分析监控视频的主要目标。在早期，这些记录下的海量的视频数据由人工进行分析，不仅容易出错，而且代价昂贵。目标检测技术是计算机视觉的重要组成部分，它通过图像处理技术确定视野中是否存在目标，并对目标的位置进行定位，目标检测技术因其优良的分析性能，被逐步应用到了监控视频分析中。近年来，目标检测技术(例如R-CNN，R-FCN,SSD和YOLOv3)的快速发展不仅减少了人为的干预，而且提高了视频分析的精度和检测速度。为了满足分析精度要求，现有的目标检测技术往往需要使用具有高精度的全特征模型，然而，直接使用高精度的全特征模型进行视频分析计算成本过于昂贵。一方面，这些模型需要消耗大量的计算资源，在一个GTX1080GPU上运行YOLOv3模型进行视频分析，吞吐量仅仅只有30本文档来自技高网...

【技术保护点】
1.一种监控视频联合分析方法，其特征在于，包括：/n在当前分析周期，将被预测为包含目标场景的监控视频流作为潜在视频流，将被预测为不包含目标场景的监控视频流作为非潜在视频流，分别以第一采样率和第二采样率对潜在视频流和非潜在视频流进行采样；/n将潜在视频流和非潜在视频流的采样结果分别输入到全特征目标检测模型和轻量级目标检测模型进行目标检测，并实时输出所述全特征目标检测模型的检测结果；/n在当前分析周期末，依据所述全特征目标检测模型和所述轻量级目标检测模型的检测结果分析各视频流在当前分析周期是否包含目标场景，并结合历史分析结果预测各视频流在下一个分析周期是否包含目标场景；/n其中，所述第一采样率高于...

【技术特征摘要】
1.一种监控视频联合分析方法，其特征在于，包括：
在当前分析周期，将被预测为包含目标场景的监控视频流作为潜在视频流，将被预测为不包含目标场景的监控视频流作为非潜在视频流，分别以第一采样率和第二采样率对潜在视频流和非潜在视频流进行采样；
将潜在视频流和非潜在视频流的采样结果分别输入到全特征目标检测模型和轻量级目标检测模型进行目标检测，并实时输出所述全特征目标检测模型的检测结果；
在当前分析周期末，依据所述全特征目标检测模型和所述轻量级目标检测模型的检测结果分析各视频流在当前分析周期是否包含目标场景，并结合历史分析结果预测各视频流在下一个分析周期是否包含目标场景；
其中，所述第一采样率高于所述第二采样率；所述全特征目标检测模型和所述轻量级目标检测模型均为运行于GPU的目标检测模型，且所述全特征目标检测模型的复杂度和检测精度均高于所述轻量级目标检测模型。


2.如权利要求1所述的监控视频联合分析方法，其特征在于，还包括：
在当前分析周期，所述轻量级目标检测模型在进行目标检测时，会将其所检测的视频流作为候选潜在视频流，并缓存候选视潜在频流在当前分析周期的采样结果；
在当前分析周期末，若经分析，所述候选潜在视频流在当前分析周期中的确包含目标场景，则将所述候选潜在视频流的采样结果输入到所述全特征目标检测模型进行目标检测，并实时输出检测结果；若经分析，所述候选潜在视频流在当前分析周期中不包含目标场景，则释放候选潜在视频流的采样结果占用的缓存空间。


3.如权利要求1所述的监控视频联合分析方法，其特征在于，还包括：
定期测量GPU的利用率，若所述轻量级目标检测模型的平均GPU利用率Ut≥T5，则增加一个空闲的GPU运行所述轻量级目标检测模型，或者暂时移除一路待检测的非潜在视频流；若Ut≤T6，则移除一个用于运行所述轻量级目标检测模型的GPU，或者增加一路待检测的非潜在视频流；
其中，T5和T6均为预设的阈值，T5＞T6。


4.如权利要求1所述的监控视频联合分析方法，其特征在于，所述轻量级目标检测模型的获取方式如下：
选定全特征目标检测模型后，以表示容忍E个目标计数错误时，视频流中的第k个视频帧是否被正确检测，并由此计算对于包含Ntotal个视频帧的视频片段，轻量级目标检测模型对其进行目标检测的正确率为：



建立多个轻量级目标检测模型，从中筛选出满足Acc0(NN)＞∈acc且AccE′(NN)＞ηacc的轻量级目标检测模型，得到第一候选模型集合为：
Setacc(NN)＝{NN|Acc0(NN)＞∈acc∧AccE′(NN)＞ηacc}
从所建立的多个轻量级目标检测模型中筛选出满足吞吐量Thr(NN)＞∈thr的轻量级目标检测模型，得到第二候选模型集合为：
Setxput(NN)＝{NN|Thr(NN)＞∈thr}
筛选出同时位于属于所述第一候选模型集合和所述第二候选模型集合的轻量级目标检测模型，得到第三候选模型集合为：
Set(NN)＝Setacc∩Setxput
从所述第三候选模型集合中筛选出AccE′(NN)最大的轻量级目标检测模型作为最终用于对监控视频进行检测的轻量级目标检测模型；
其中，和分别表示对于所述第k个视频帧，轻量级目标检测模型和全特征目标检测模型检测到的目标对象的数量；∈acc、ηacc和∈thr均为预设的阈值，且均大于0；E′为大于0的正整数。


5.如权利要求4所述的监控视频联合分析方法，其特征在于，E′＝3。


6.如权利要求1所述的监控视频联合分析方法，其特征在于，在当前分析周期末，依据所述全特征目标检测模型和所述轻量级目标检测模型的检测结果分析各视频流在当前分析周期是...

【专利技术属性】
技术研发人员：曹强，张宸，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42