一种用于加快视频分析的方法、系统及介质技术方案

本发明专利技术公开了一种用于加快视频分析的方法、系统及介质，系统包括：分区选择器、多个检测帧率选择器、多个配置搜索模块和目标检测模型，其中：分区选择器，按照视频图像区域的易检测性自适应地将视频图像结构分为易检测区域和难检测区域；检测帧率选择器，用于对易检测区域和难检测区域使用帧率选择器进行帧率选择；配置搜索模块，用于搜索帧率选择后的图像的配置信息，直至达到目标精度，得到完整的参数配置信息组合；目标检测模型，用于将搜索到的参数配置信息组合应用视频图像的其他时间的查询中。本发明专利技术能够在保证视频分析精度，不限制视频分析系统应用场景的前提下提升视频分析效率，减小计算开销，减少推理时间开销。减少推理时间开销。减少推理时间开销。

【技术实现步骤摘要】
一种用于加快视频分析的方法、系统及介质


[0001]本专利技术涉及视频检测
，尤其涉及一种用于加快视频分析的方法、系统及介质。

技术介绍

[0002]随着时代的发展，摄像头走进了千家万户，无论是在家庭生活中，还是在城市和企业中，部署着大量的摄像头，仅天网工程，预计2021年年底，监控摄像头数量将在5.6亿个左右。大量摄像头全天候24小时实时监控，产生大规模历史视频数据。通过视频分析，这些历史视频数据可以满足交通控制、安全监控、工厂车间监控，城市治安防控等多种需要。
[0003]而随着计算机视觉技术的飞速发展，深度神经网络已经被广泛应用于视频分析。图像分类、目标检测、异常行为检测等视频分析技术被应用在各种视频监控场景中。例如：通过异常行为检测，交通管理部门可以自动识别出道路中的违章车辆；通过目标检测技术对安防监控视频进行分析，可以帮助公安部门快速抓获犯罪分子。可见，历史视频数据具有重大价值，而对历史视频数据进行分析具有重要意义。
[0004]随着计算机视觉技术的飞速发展，深度神经网络已经被广泛应用于视频分析的多种视频监控场景中。而目标检测是是计算机视觉中的基础任务。可靠的目标检测算法是实现对复杂场景理解和分析的基础，目标检测算法的性能优劣将会直接影响到后续的计算机视觉中高层任务的性能。但是，使用深度神经网络进行推理需要高昂的计算成本，且随着对模型检测能力与推理精度要求的提高，也愈发需要表征能力更强，计算量更大的模型。甚至满足精度阈值的配置在其资源需求方面会有许多数量级的变化。当进行大规模的视频数据分析时，高昂的计算成本与处理时间开销成为了亟需解决的问题。
[0005]视频数据具有大数据的三大特点，数据体量巨大、价值密度低、增长速度快。一方面，数据处理效率决定了能否充分利用快速增长的视频数据，挖掘数据价值；另一方面，监控视频数据主要被应用于事后查询，而我们往往需要快速获得查询结果，所以实现视频分析的低延迟也是至关重要的。与此同时，目标检测作为计算机视觉基础任务，其性能优劣将会直接影响到后续的如动作识别、目标跟踪以及行为理解等计算机视觉中高层任务的性能，进而决定了人工智能应用的可用性。因此，如何平衡视频分析检测效率与推理精度，在保证推理精度的同时，加快视频分析效率，对于监控视频内容理解具有重要意义。
[0006]现有技术中，有以下相关技术方案：
[0007](1)通过过滤掉不包含当前查询相关信息的帧来减少待检测视频集，提高视频分析效率。过滤掉一帧图片需要了解该帧将如何影响查询结果，现有系统主要采用帧差分的方式。低级特征(例如，像素值)没有显著改变(基于静态阈值)的视频帧预期会产生相同的检测结果，因此，通过帧差分来判断视频内容是否发生显著改变决定是否进行过滤。
[0008](2)在摄取图像的同时进行检测，即对正在捕获的实时视频进行处理，并为检测结果建立索引。在针对特定类别(例如救护车)的查询时直接进行索引查找，以直接定位到包含所查询的对象类别的视频帧。
[0009](3)通过调节视频分析系统的配置参数来为当前视频片段选择最优配置组合，其选用的视频配置参数组合包括目标检测模型，图像分辨率，检测步长，并定时对视频分析系统配置组合进行更新。
[0010]但是，现有技术存在以下缺点：
[0011]1、视频分析效率低。视频分析系统参数配置组合搜索基于整段视频的配置组合选择，往往会因为小部分片段或区域的存在，拉高整段视频配置搜索结果，选用高计算量配置组合，降低视频分析效率。
[0012]2、浪费计算资源。在摄取视频时同时进行检测时，由于通常只有一小部分记录的帧被查询，大多数摄取时间的检测可能是浪费的。
[0013]3、无法应用于动态视频场景。基于帧过滤的方法由于受其原理限制不能使用于动态视频场景。

技术实现思路

[0014]有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是提供一种用于加快视频分析的方法、系统及介质，提高对大规模视频数据分析的效率。相比于其他方案，本专利技术能够在保证视频分析精度，不限制视频分析系统应用场景的前提下提升视频分析效率，减小计算开销，减少推理时间开销。
[0015]为实现上述目的，本专利技术提供了一种用于加快视频分析的系统，包括：分区选择器、多个检测帧率选择器、多个配置搜索模块和目标检测模型，所述分区选择器输出端连接多个检测帧率选择器，所述多个检测帧率选择器分别与多个配置搜索模块连接，所述多个配置搜索模块输出端连接目标检测模型，其中：
[0016]分区选择器，按照视频图像区域的易检测性自适应地将视频图像结构分为易检测区域和难检测区域；
[0017]检测帧率选择器，用于对所述易检测区域和难检测区域使用帧率选择器进行帧率选择；
[0018]配置搜索模块，用于搜索帧率选择后的图像的配置信息，直至达到目标精度，得到完整的参数配置信息组合；所述配置信息包括但不限于图像尺寸、目标检测器；
[0019]目标检测模型，用于将搜索到的所述参数配置信息组合应用所述视频图像的其他时间的查询中。
[0020]一种用于加快视频分析的方法，包括以下步骤：
[0021]将每个视频按照特定时长分段，将所述特定分段视频按照视频图像区域的易检测性自适应地将图像结构分为易检测区域和难检测区域；
[0022]对所述易检测区域和难检测区域使用帧率选择器进行帧率选择；
[0023]搜索帧率选择后的图像的配置信息，直至达到目标精度，得到完整的参数配置信息组合；所述配置信息包括但不限于图像尺寸、目标检测器；
[0024]将搜索到的所述参数配置信息组合应用所述视频图像的其他时间的查询中。
[0025]进一步的，将所述特定分段视频按照视频图像区域的易检测性自适应地将图像结构分为易检测区域和难检测区域，具体为：设定阈值为T，假设第i行第j列个图像块中配置组合1检测结果为Det1
ij
，配置组合2检测结果为Det2
ij
，如果：
[0026]Det1
ij
‑
Det2
ij
＞T，(i，j)∈难检测区域；
[0027]Det1
ij
‑
Det2
ij
＜T，(i，j)∈易检测区域。
[0028]进一步的，所述易检测区域和难检测区域使用穷举法在使用最小模型(yolo v5 s)的情况下进行帧率选择，以检测帧率为1，当F1＞(1+a)*f时，进行模型搜索，其中F1表示检测综合值，使用F1值衡量视频分析系统检测效果，F1值定义如下：
[0029][0030][0031][0032]其中，TP指被模型预测为正的正样本，FP指被模型预测为正的负样本，FN指被模型预测为负的正样本，precision为准确率，recall为召回率。
[0033]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述用于加快视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于加快视频分析的系统，其特征在于，包括：分区选择器、多个检测帧率选择器、多个配置搜索模块和目标检测模型，所述分区选择器输出端连接多个检测帧率选择器，所述多个检测帧率选择器分别与多个配置搜索模块连接，所述多个配置搜索模块输出端连接目标检测模型，其中：分区选择器，按照视频图像区域的易检测性自适应地将视频图像结构分为易检测区域和难检测区域；检测帧率选择器，用于对所述易检测区域和难检测区域使用帧率选择器进行帧率选择；配置搜索模块，用于搜索帧率选择后的图像的配置信息，直至达到目标精度，得到完整的参数配置信息组合；所述配置信息包括但不限于图像尺寸、目标检测器；目标检测模型，用于将搜索到的所述参数配置信息组合应用所述视频图像的其他时间的查询中。2.一种用于加快视频分析的方法，其特征在于，包括以下步骤：将每个视频按照特定时长分段，将所述特定分段视频按照视频图像区域的易检测性自适应地将图像结构分为易检测区域和难检测区域；对所述易检测区域和难检测区域使用帧率选择器进行帧率选择；搜索帧率选择后的图像的配置信息，直至达到目标精度，得到完整的参数配置信息组合；所述配置信息包括但不限于图像尺寸、目标检测器；将搜索到的所述参数配置信息组合应用所述视频图像的其他时间的查询中。3.如权利要求2所述的一种用于加快视频分析的方法，其特征在于：将所述特定分段视频按照视频图像区域的易检测性自适应地将图像结构分为易检测区域和难检测区域，具体为：设定阈值为T，假设第i行第j列个图像块中配置组合1检测结果为Det1...

【专利技术属性】
技术研发人员：谭光，查聪，黄舒怡，
申请(专利权)人：中山大学，
类型：发明
国别省市：