一种基于海量视频结构化处理的云调度系统及方法技术方案

本发明专利技术提供了一种基于海量视频结构化处理的云调度系统，包括：云调度管理模块以及多个分析模块；所述云调度管理模块，用以在接收到任务后将海量视频进行逻辑切分，并根据每个分析模块的负载能力，将被逻辑切分后的海量视频按策略分配到每个所述分析模块的分析节点。本发明专利技术申请采用一定的云调度机制结合数据智能切分分析技术，有效地提高了对海量视频进行处理的时效性和稳定性。

【技术实现步骤摘要】

本专利技术涉及视频监控领域，特别地是指一种基于海量视频结构化处理的云调度系统及方法。
技术介绍
大数据或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工作业，在合理时间内达到截取、管理、处理并整理成为人类所能解读的信息。当代社会视频监控数据的爆炸式增长，意味着需要投入更多的资源以及人工，才能在体量庞大的数据中寻找出有价值的信息。目前各大厂商也发现单个节点的相关设备无法适应满足海量的视频监控数据的处理需求，亦无法跟上视频监控数据增长的速度。在视频监控领域，视频分析的效率往往决定其价值，更低的延迟、更准确的分析往往是平安城市类客户的普遍需求。随着视频监控数据量的增加，哪怕是对于TB级别视频内容进行数据分析和检索，采用串行计算的模式都可能需要花费数小时的时间计算，串行计算模式已远远不能适应满足用户对数据分析检索的时效性需求。
技术实现思路
有鉴于此，本申请提供一种基于海量视频的结构化处理云调度系统及方法，采用一定的云调度机制结合数据智能分析切片技术进行资源处理，来提高对海量视频处理时的时效性及稳定性。为了实现上述目的，现提出如下解决方案：本专利技术申请提供一种基于海量视频结构化处理的云调度系统，包括：云调度管理模块以及多个分析模块；所述云调度管理模块，用以
在接收到任务后将海量视频进行逻辑切分，根据每个分析模块的负载能力，将被逻辑切分后的海量视频按策略分配到每个所述分析模块的分析节点。优选地，还包括数据信息库，所述分析模块启动监控线程，按照预定时长，将当前CPU占用率、内存使用率、硬盘剩余容量、网络利用率、空闲通道数更新到所述数据信息库中；其中，所述数据信息库用以向所述云调度管理模块提供所述分析模块的资源数据，从而支撑所述云调度管理模块依据设定资源阈值与判定策略得出每个分析模块的负载能力。优选地，所述云调度管理模块包括：节点通信管理子模块、任务监控管理子模块以及作业下载切分子模块；其中，所述节点通信管理子模块，用以处理各所述分析节点的注册，将各所述分析节点放入心跳监控链表进行监控，维护各分析节点的状态信息，并依据设定资源阈值与判定策略得出每个分析模块的负载能力；所述任务监控管理子模块，用以处理任务下发请求、跟踪任务状态，对超时未完成的任务进行回收处理；所述作业下载切分子模块，用以区分任务类型，并将监控平台视频下载到本地，对海量视频任务资源进行逻辑切分。优选地，所述分析模块包括：状态管理子模块以及任务处理子模块；所述状态管理子模块，用以向所述数据信息库定时上报所述分析模块的硬件资源数据，所述云调度管理模块进行注册、任务状态监控、报告任务请求以及进行异常处理；所述任务处理子模块，用以维护任务链表、跟踪任务完成情况以及线程处理进度并将其上报至所述云调度管理模块。优选地，所述云调度管理模块还包括：备用管理模块，用以在所述云调度管理模块无法正常工作时代替所述云调度管理模块。本专利技术申请还提供了一种基于海量视频结构化处理的云调度方法，包括：云调度管理模块接收任务，将海量视频进行逻辑切分；根
据各分析模块的负载情况，遵循空闲资源哈希调度规则，将被逻辑切分后的海量视频按策略分配到每个所述分析模块的分析节点。优选地，所述云调度管理模块接收任务，将海量视频进行逻辑切分，包括：云调度管理模块接收任务并将视频等时间间隔进行切分或等份数进行切分优选地，所述根据各分析模块的负载情况，将被逻辑切分后的海量视频分配到每个所述分析模块的分析节点，包括：所述分析模块启动监控线程，按照设定时长，定时将当前CPU占用率、内存使用率、硬盘剩余容量、网络利用率、空闲通道数更新到所述数据信息库中，所述云调度管理模块通过查找所述数据信息库，依据设定资源阈值与判定策略，得到各分析模块的负载情况与负载能力。优选地，在所述云调度管理模块接收任务，将海量视频进行逻辑切分之前还包括：判断任务指令类型与任务来源类型，按照任务的不同类型进入不同的预处理流程；其中，所述任务指令类型为视频摘要与视频检索；所述任务来源类型可为本地文件以及监控平台录像文件。优选地，所述云调度管理模块还包括：备用管理模块，用以在所述云调度管理模块无法正常工作时代替所述云调度管理模块。本专利技术的实施例具有以下有益效果：上述方案中，本专利技术申请提供的基于海量视频结构化处理的云调度系统及方法，通过云调度管理模块将非结构化的海量视频进行逻辑上的切分，根据每个分析模块不同的负载能力，将被逻辑切分后的海量视频均匀分发到所有分析模块中的分析节点上，合理利用分析服务器的资源，以达到在最短时间内将所有视频资源处理完毕的目的。本专利技术遵循了标准网络通信协议，具有灵活的扩展性、可靠的稳定性以及高效率性，同时可以移植到其他相关场景之中。附图说明图1为本专利技术实施例提供的一种基于海量视频结构化处理的云调度系统的结构示意图；图2为本专利技术实施例提供的一种基于海量视频结构化处理的云调度系统的总体框架流程示意图；图3为本专利技术实施例提供的一种基于海量视频结构化处理的云调度系统的本地文件处理流程示意图；图4为本专利技术实施例提供的一种基于海量视频结构化处理的云调度系统的监控平台录像文件处理流程示意图；图5为本专利技术实施例提供的一种基于海量视频结构化处理的云调度系统的面向事件仿真模型总控流程示意图；图6为本专利技术实施例提供的一种基于海量视频结构化处理的云调度系统的任务到达事件例程图；图7为本专利技术实施例提供的一种基于海量视频结构化处理的云调度系统的任务结束事件历程图。图8为本专利技术实施例提供的一种基于海量视频结构化处理的云调度方法的步骤流程图。具体实施方式为进一步阐明本专利技术的实施例面向的技术问题、使用的技术方案和存在的技术优势，下面将结合附图及具体实施例对此进行详细描述。本专利技术的实施例针对现有视频处理技术中单个节点的相关设备无法适应海量视频监控数据的处理需求这一问题，进而提供一种基于海量视频结构化处理的云调度系统来解决如何提高海量视频处理时的时效性和稳定性这一问题。如图1所示，为本专利技术实施例提供的一种基于海量视频结构化处理的云调度系统的结构示意图。参照图1，本专利技术申请提供一种基于海量视频结构化处理的云调度系统，包括：云调度管理模块以及多个
分析模块；所述云调度管理模块，用以在接收到任务后将海量视频进行逻辑切分，根据每个分析模块的负载能力，将被逻辑切分后的海量视频按策略分配到每个所述分析模块的分析节点。优选地，所述云调度管理模块包括：节点通信管理子模块、任务监控管理子模块以及作业下载切分子模块；其中，所述节点通信管理子模块，用以处理各所述分析节点的注册，将各所述分析节点放入心跳监控链表进行监控，维护各分析节点的状态信息，并依据设定资源阈值与判断策略得出每个分析模块的负载能力；所述任务监控管理子模块，主要负责实现任务调度策略，用以处理任务下发请求、跟踪任务状态，维护任务、作业状态信息链表，并对超时未完成的任务进行回收处理；所述作业下载切分子模块，用以区分任务类型，并将监控平台视频下载到本地，并将海量视频数据进行颗粒化处理，向所述分析节点获取文件信息且封装任务。优选地，所述分析模块包括：状态管理子模块以及任务处理子模块；所述状态管理子模块，用以负责所述分析模块的启动，向所述数据信息库定时上报分析模块的硬本文档来自技高网...

【技术保护点】
一种基于海量视频结构化处理的云调度系统，其特征在于，包括：云调度管理模块以及多个分析模块；所述云调度管理模块，用以在接收到任务后将海量视频进行逻辑切分，根据每个分析模块的负载能力，遵循空闲资源哈希调度规则，将进行逻辑切分后的海量视频按策略分配到每个所述分析模块的分析节点。

【技术特征摘要】
1.一种基于海量视频结构化处理的云调度系统，其特征在于，包括：云调度管理模块以及多个分析模块；所述云调度管理模块，用以在接收到任务后将海量视频进行逻辑切分，根据每个分析模块的负载能力，遵循空闲资源哈希调度规则，将进行逻辑切分后的海量视频按策略分配到每个所述分析模块的分析节点。2.根据权利要求1所述的云调度系统，其特征在于，还包括：数据信息库：所述分析模块启动监控线程，按照预定时长将当前CPU占用率、内存使用率、硬盘剩余容量、网络利用率、空闲通道数更新到所述数据信息库中；其中，所述数据信息库用以向所述云调度管理模块提供所述分析模块的资源数据，支撑所述云调度管理模块依据设定资源阈值与判定策略，得出每个分析模块的负载能力。3.根据权利要求1所述的云调度系统，其特征在于，所述云调度管理模块包括：节点通信管理子模块、任务监控管理子模块以及作业下载切分子模块；其中，所述节点通信管理子模块，用以处理各所述分析节点的注册，将各所述分析节点放入心跳监控链表进行监控，维护各分析节点的状态信息，并依据设定资源阈值与判定策略得出每个分析模块的负载能力；所述任务监控管理子模块，用以处理任务下发请求、跟踪任务状态，对超时未完成的任务进行回收处理；所述作业下载切分子模块，用以区分任务类型，并将监控平台视频下载到本地，对海量视频任务资源进行逻辑切分。4.根据权利要求1所述的云调度系统，其特征在于，所述分析模块包括：状态管理子模块以及任务处理子模块；所述状态管理子模块，用以向所述数据信息库定时上报所述分析模块的硬件资源数据，向所述云调度管理模块进行注册、监控任务状态、报告任务请求以及进行异常处理；所述任务处理子模块，用以维护任务链表、跟踪任务完成情况以...

【专利技术属性】
技术研发人员：郭碧，串志强，徐远翔，
申请(专利权)人：武汉烽火众智数字技术有限责任公司，
类型：发明
国别省市：湖北;42