面向监控视频数据的0-1多种类目标分类动态跳帧方法技术

本发明专利技术涉及视频分析技术领域，具体公开了一种面向监控视频数据的0

【技术实现步骤摘要】
面向监控视频数据的0
‑
1多种类目标分类动态跳帧方法


[0001]本专利技术涉及视频分析
，具体涉及一种面向监控视频数据的0
‑
1多种类目标分类动态跳帧方法。
技术背景
[0002]如今,摄像头日益广泛的出现在人们的日常生活之中,并且给人们的工作带来了重要的作用,早已成为日常生活当中不能缺少的组成部分。摄像头被广泛地部署到生活的各种场所当中，例如商店、校园、餐馆和机场等公共场所，主要目的是为了实现对公共场所中的事件做实时记录，然后对这些记录信息做实时和事后分析，以便更快捷高效地进行社会管理。
[0003]在监控视频分析处理的相关应用中，0
‑
1多种类目标分类是一个重要应用方向。监控视频中的0
‑
1多目标分类主要是指从监控视频中查找同时包含多个种类目标的视频帧，并将这些帧做为关键帧存储下来以备后续使用的过程。
[0004]在相关部门的打击和预防犯罪等方面，及时高效地获取监控视频中关于0
‑
1多种类目标分类信息能够为执法人员提供相关线索。例如从监控视频中查找同时包含人、自行车两类目标的视频帧有助于帮助警方锁定偷车贼。此外，从交通路口非机动车道的监控视频中查找同时包含人、摩托车等目标的视频帧，有利于相关部门事后寻找违章驾驶人员。
[0005]在商场、超市等场所的日常管理中，及时获得实时监控视频中关于0
‑
1多种类目标分类信息能够帮助相关管理人员更好履行管理职能。例如，从监控视频中实时反馈包含人、点燃的香烟两类目标的视频帧，有助于帮助商场管理人员发现吸烟者，并及时派出工作人员进行劝说，以维持良好的公共环境。
[0006]在小区管理方面，及时获取监控视频中关于0
‑
1多种类目标分类信息有利于帮助物业人员进行相关管理工作。例如，从电梯的监控视频中查找同时包含人和电动车两类目标的视频帧，有助于帮助管理人员寻找相关业主，并与其协商让其履行电动车不准进电梯的相关规定。
[0007]面向0
‑
1多种类目标分类的高效视频分析在智能安防和社会治理的各个方面发挥着重要作用，近年来受到了研究人员的广泛关注。与此同时，监控设备产生的数据也是海量的，2020年全球正在使用的7.7亿多个摄像头中,约有一半在中国。因此，如何从数以亿计的摄像头所产生的监控视频中获取有效的0
‑
1多种类目标分类信息面临巨大挑战，针对海量监控视频数据做分析的主要技术难点在于：
[0008]视频数据中往往存在内容相似的视频帧，这些相似视频帧容易造成冗余计算，从而增加计算成本，进而增加视频的计算时间。如何快速滤过不相关视频帧，快速定位到用户想要的关键帧也是在海量监控视频中进行目标检测的一个挑战。
[0009]针对现实应用中对0
‑
1多种类目标分类信息的迫切需求以及海量视频处理的相关挑战，本专利技术提出了一种面向监控视频数据的0
‑
1多种类目标分类的动态跳帧方法。

技术实现思路

[0010]为了解决视频分析过程中计算大量内容相似的视频帧造成计算开销大的问题，本专利技术提供了一种面向监控视频数据的0
‑
1多种类目标分类动态跳帧方法，可以在最大限度减小关键帧查全率损失的前提下大幅提高视频的处理速度。
[0011]为实现上述目的，本专利技术采用如下技术方案：
[0012]一种面向监控视频数据的0
‑
1多种类目标分类动态跳帧方法，该方法以视频帧中多种类目标数量的最小值minNum和多种类目标数量的最大值maxNum的不同变化情况为参考依据，动态调节视频分析过程的跳帧步长，包括以下步骤：
[0013]步骤1：设M表示需要进行目标检测的视频帧序列并将其初始化，CheckedObject为待检测的目标种类集合并将其初始化，stepLength为可选的跳帧步长集合，步长升序排列，将其初始化。
[0014]步骤2：选择视频帧序列M中的第1帧，判断所述视频帧的状态，若用户感兴趣的n类目标都未出现，跳转至步骤3；若用户感兴趣的n类目标部分出现，跳转至步骤4；若用户感兴趣的n类目标全部出现，跳转至步骤5。
[0015]步骤3：视频帧状态为用户感兴趣的n类目标全未出现，则按照stepLength中的步长序列逐步增大跳帧步长，但不超过最大跳帧步长maxStep,直到视频状态发生变化。若视频帧次态为用户感兴趣的n类目标部分出现，则执行步骤4；若视频帧次态为用户感兴趣的n类目标全部出现，则执行步骤5。
[0016]步骤4：视频帧状态为用户感兴趣的n类目标部分出现，先从stepLength中选择一个最小跳帧步长minStep并以此跳到下一帧，计算后一帧与前一帧相比maxNum的变化情况。若maxNum持续变大，则逐渐增大跳帧步长，但不超过最大跳帧步长maxStep。当跳帧步长到达maxStep后,使后续跳帧步长在minStep与maxStep之间往复变化。若maxNum持续变小，则使跳帧步长维持固定跳帧步长conStep不变，直到视频状态发生变化。若次态为用户感兴趣的n类目标都未出现，则执行步骤3；若次态为用户感兴趣的n类目标全部出现则执行步骤5。
[0017]步骤5：视频帧状态为用户感兴趣的n类目标全部出现，从stepLength中选择一个最小跳帧步长minStep并以此跳到下一帧，计算后一帧与前一帧相比minNum的变化情况。若minNum持续变大，则逐渐增大跳帧步长，但不超过最大跳帧步长maxStep。若minNum变小，则使跳帧步长在minStep与maxStep之间往复变化，直到视频状态发生变化。若状态为用户感兴趣的n类目标都未出现，则执行步骤3；若状次态为用户感兴趣的n类目标部分出现，则执行步骤4。
[0018]步骤6：在视频帧的整个过程中，反复执行步骤3、步骤4和步骤5，直到处理完集合M中的所有帧。
[0019]优选的，步骤3中，视频帧状态为用户感兴趣的n类目标都未出现时，minNum为0且maxNum为0。此时，视频帧的下一状态为用户感兴趣的n类目标全部出现的可能性与视频帧仍将保持用户感兴趣的n类目标都未出现时的可能性相比较小，即跳帧操作会跳过部分关键帧的可能性较小，此时逐步增大跳帧步长，以加快视频的处理速度，但步长不能超过最大跳帧步长maxStep。
[0020]优选的，步骤4中，视频帧为用户感兴趣的n类目标部分出现时，minNum＝0但maxNum非0，此时maxNum又分为增大和减小两种情况。当maxNum增大时，视频帧的下一个状
态为用户感兴趣的n类目标全部出现或用户感兴趣的n类目标部分出现的可能性要大于下一个状态为用户感兴趣的n类目标全未出现的可能性。继续增大步长有可能跳过部分关键帧，此时应当逐步减小跳帧步长或维持跳帧步长不变。根据实际需要，为了加快视频处理速度，同时又尽可能避免因跳帧幅度过大而造成对关键帧的漏检，可以使跳帧步长在最小值min本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向监控视频数据的0
‑
1多种类目标分类动态跳帧方法，该方法以视频帧中多种类目标数量的最小值minNum和多种类目标数量的最大值maxNum的不同变化情况为参考依据，动态调节视频分析过程的跳帧步长，其特征在于，包括以下步骤：步骤1：设M表示需要进行目标检测的视频帧序列并将其初始化，cheObj为待检测的目标种类集合并将其初始化，stepLength为可选的跳帧步长集合，步长升序排列，将其初始化；步骤2：选择视频帧序列M中的第1帧，判断所述视频帧的状态，若为用户感兴趣的n类目标都未出现，则按照stepLength中的步长序列逐步增大跳帧步长，但不超过最大跳帧步长maxStep,直到视频帧状态发生变化；若视频帧次态为用户感兴趣的n类目标部分出现，则执行步骤3；若次态为用户感兴趣的n类目标全部出现，则执行步骤4；步骤3：视频帧状态为用户感兴趣的n类目标部分出现，先从stepLength中选择一个最小跳帧步长minStep并以此跳到下一帧，计算后一帧与前一帧相比maxNum的变化情况；若maxNum持续变大，则逐渐增大跳帧步长，但不超过最大跳帧步长maxStep；当跳帧步长到达maxStep后,使后续跳帧步长在minStep与maxStep之间往复变化；若maxNum持续变小，则使跳帧步长维持固定跳帧步长conStep不变，直到视频帧状态发生变化；若视频帧次态为用户感兴趣的n类目标都未出现，则执行步骤2；若视频帧次态为用户感兴趣的n类目标全部出现...

【专利技术属性】
技术研发人员：汤善江，杨如意，于策，孙超，肖健，
申请(专利权)人：天津大学，
类型：发明
国别省市：