一种基于任务统计特性的视频大数据标准化汇聚网关系统及方法技术方案

本发明专利技术公开了一种基于任务统计特性的视频大数据标准化汇聚网关系统及方法，本方案首先接收多系统的视频特征数据，接下来基于动态任务调度策略，将视频特征数据分发到系统中多台服务器进行并行转换处理。视频数据标准化转换模块能够根据输入数据的来源，确定相应的转换规则，由原系统的定义值转换为符合标准规范的视频特征数据。最后汇总标准化的视频特征数据，并将数据输出至视频大数据平台。根据任务负载统计确定的任务调度策略。本方案将非标准化的视频特征数据自动转换为标准化数据，解决现有视频应用中的数据异构问题，使系统具备更强的整体可用性，提升视频数据的整体应用效能。

【技术实现步骤摘要】
一种基于任务统计特性的视频大数据标准化汇聚网关系统及方法
本专利技术属于视频图像应用领域，具体涉及视频大数据标准化汇聚技术。
技术介绍
为了解决传统的通过人工观看方式从视频中获取线索的低效率问题，视频分析技术被广泛应用到各类视频监控系统中，可对所提取目标的相关特征信息如车牌号、车辆颜色、车辆品牌等进行识别，并对目标和属性信息进行存储，以方便用户对视频中的目标进行管理和查询。然而，在实际应用过程中存在多个视频分析系统同时部署的情况，大量的视频特征数据在各自系统中独立存储，相互隔离。由于视频分析系统种类繁多，且视频特征数据根据各自字段定义进行存储，数据格式各异，从而难以利用全部视频特征数据进行全局研判。因此，面对大量存在的视频分析系统，如何高效地实现视频的统一标准化存储和应用，提升数据应用价值，成为视频分析系统应用中的一个重要问题。
技术实现思路
针对现有方案中视频特征数据难以统一汇聚应用的问题，需要一种新的视频数据分析处理方案。为此，本专利技术的目的在于提供一种基于任务统计特性的视频大数据标准化汇聚网关系统。该系统将独立的视频分析系统所产生的视频特征数据按照标准规范进行标准化转换和汇聚，解决了视频特征数据孤立应用的问题，提升了数据应用价值。同时，系统基于任务统计特性进行高效的任务调度，具有良好的扩展性。本专利技术基于该系统还提供一种任务统计特性的视频大数据标准化汇聚方法。为了达到上述目的，本专利技术提供的基于任务统计特性的视频大数据标准化汇聚网关系统，该系统包括：汇聚输入模块，所述汇聚输入模块提供适应多个视频分析系统的输入接口，用于接收多系统视频特征数据的汇聚输入；任务调度模块，所述任务调度模块用于评估不同来源的各视频分析系统输出数据的转换复杂度及不同计算节点的处理能力分级，并依据标准化转换计算节点的处理能力对任务调度策略进行动态调整，按调度策略将视频特征数据分发到系统中至少一个视频数据标准化转换模块进行并行转换；视频数据标准化转换模块，所述视频数据标准化转换模块用于根据输入视频特征数据的来源，确定对应的转换规则，将每一项视频特征数据由原系统的定义值转换为符合标准规范的视频特征数据；任务统计模块，所述任务统计模块用于统计视频特征数据标准化转换的任务特征、任务执行时间，并反馈至任务调度模块，作为任务调度的参考依据；标准化数据输出模块，所述标准化数据输出模块用于汇总符合标准规范的视频特征数据，并输出至视频大数据平台。进一步地，所述汇聚输入模块从多个视频分析系统获取输出的视频特征数据。进一步地，所述系统中包含至少一个视频数据标准化转换模块，至少一个视频数据标准化转换模块之间并行设置和并行运行。进一步地，所述视频数据标准化模块分别布置在系统的计算节点之上，并与任务调度模块数据连接。进一步地，所述系统中的计算节点可通过注册的方式进行扩展，并实现可调度。为了达到上述目的，本专利技术提供的基于任务统计特性的视频大数据标准化汇聚方法，包括：(1)接收多个系统输出的视频特征数据，标记系统来源信息后进行标准化转换任务调度；(2)根据来源系统数据的转换复杂度分级和标准化计算转换节点的处理能力分级，从计算资源池中挑选合适的计算节点作为目标节点，进行标准化转换任务分发；(3)根据标准化转换任务的视频特征数据来源，确定转换规则，将视频特征数据由原系统的定义值转换为符合标准规范的数据，生成符合标准规范定义的JSON文件；(4)统计视频特征数据标准化转换过程的任务特征、任务执行时间，反馈至步骤(2)，作为调度策略动态调整的依据。(5)将步骤(3)标准化转换后的视频特征数据输出至视频大数据平台，以便后续应用。进一步地，所述方法中进行任务调度时，根据步骤(4)返回的周期性统计特性，进行标准化转换任务的转换复杂度估算，计算节点处理能力估算，标准化任务转换复杂度分级以及确定调度策略。进一步地，所述方法进行任务调度时，根据视频特征数据的来源系统确定本次标准化转换任务的复杂度等级，并在对应同样等级的计算节点池中选择空闲节点进行任务分配；若对应同样等级的计算节点池中所有节点都在工作中，则依次在较高等级的计算节点池中选择空闲节点进行任务分配。本专利技术所提供地视频大数据标准化汇聚网关方案提供了一种视频特征数据标准化转换策略，可对视频特征数据进行快速标准化转换。本方案中通过汇聚输入模块、任务调度模块、视频标准化转换模块、任务统计模块和标准化数据输出模块之间的相互协调工作，实现了各独立系统视频特征数据的快速标准化转换和汇聚输出。本方案将独立的视频分析系统所产生的视频特征数据按照标准规范进行标准化转换和汇聚，解决了视频特征数据孤立应用的问题，提升了数据应用价值。同时，系统基于任务统计特性进行高效的任务调度，具有良好的扩展性。具体而言，本专利技术方案具有以下技术效果：(1)汇聚的标准性。在本专利技术所描述的视频大数据标准化汇聚网关系统中，各视频特征字段根据标准进行标准化转换并输出，从而为基于多系统视频特征数据的汇聚和联合应用提供支撑；(2)转换的高效性。视频特征数据通过任务调度后在多台服务器并行完成标准化转换，缩短了整体转换时间，解决了由单一服务器串行化转换所造成的转换效率问题；(3)系统的可扩展性。当接入视频特征数据随着应用规模增长而快速增长时，系统支持标准化转换服务器动态添加，扩充标准化转换处理能力，实现系统的可扩展性，提升系统整体的转换效能。(4)调度的灵活性。通过对视频特征数据按转换复杂度进行分级，对标准化计算节点按处理能力进行分级，并实现级别匹配的调度，使得系统在实现高效并行的同时又兼顾了负载均衡。附图说明以下结合附图和具体实施方式来进一步说明本专利技术。图1为基于任务统计特性的视频大数据标准化汇聚网关系统架构图；图2为任务调度模块工作流程示意图；图3为视频数据标准化转换模块工作流程示意图。具体实施方式为了使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本专利技术。针对不同的视频分析系统具有不同的数据定义规范，本方案给出一种视频大数据标准化汇聚方案，用于多个视频分析系统集成应用时的视频特征数据汇聚，对于不符合标准的视频特征数据需要根据规则进行数据转换处理后再汇聚。参见图1，其所示为本方案给出的基于任务统计特性的视频大数据标准化汇聚网关系统的构成原理示例。该视频大数据标准化汇聚网关系统将汇聚输入的视频特征数据调度到多台服务器，由部署于服务器上的视频数据标准化转换模块完成标准化转换，转换结果汇总到标准化数据输出模块并输出。任务统计模块统计一个周期内的标准化转换任务特征、任务执行时间，并反馈至任务调度模块，作为任务调度的参考依据。由图可知，该系统主要包括汇聚输入模块201，任务调度模块301，若干视频数据标准化转换模块401、402、…、40m，任务统计模块本文档来自技高网...

【技术保护点】
1.基于任务统计特性的视频大数据标准化汇聚网关系统，其特征在于，系统包括：/n汇聚输入模块，所述汇聚输入模块提供适应多个视频分析系统的输入接口，用于接收多系统视频特征数据的汇聚输入；/n任务调度模块，所述任务调度模块用于评估不同来源的各视频分析系统输出数据的转换复杂度及不同计算节点的处理能力分级，并依据标准化转换计算节点的处理能力对任务调度策略进行动态调整，按调度策略将视频特征数据分发到系统中至少一个视频数据标准化转换模块进行并行转换；/n视频数据标准化转换模块，所述视频数据标准化转换模块用于根据输入视频特征数据的来源，确定对应的转换规则，将每一项视频特征数据由原系统的定义值转换为符合标准规范的视频特征数据；/n任务统计模块，所述任务统计模块用于统计视频特征数据标准化转换的任务特征、任务执行时间，并反馈至任务调度模块，作为任务调度的参考依据；/n标准化数据输出模块，所述标准化数据输出模块用于汇总符合标准规范的视频特征数据，并输出至视频大数据平台。/n

【技术特征摘要】
1.基于任务统计特性的视频大数据标准化汇聚网关系统，其特征在于，系统包括：
汇聚输入模块，所述汇聚输入模块提供适应多个视频分析系统的输入接口，用于接收多系统视频特征数据的汇聚输入；
任务调度模块，所述任务调度模块用于评估不同来源的各视频分析系统输出数据的转换复杂度及不同计算节点的处理能力分级，并依据标准化转换计算节点的处理能力对任务调度策略进行动态调整，按调度策略将视频特征数据分发到系统中至少一个视频数据标准化转换模块进行并行转换；
视频数据标准化转换模块，所述视频数据标准化转换模块用于根据输入视频特征数据的来源，确定对应的转换规则，将每一项视频特征数据由原系统的定义值转换为符合标准规范的视频特征数据；
任务统计模块，所述任务统计模块用于统计视频特征数据标准化转换的任务特征、任务执行时间，并反馈至任务调度模块，作为任务调度的参考依据；
标准化数据输出模块，所述标准化数据输出模块用于汇总符合标准规范的视频特征数据，并输出至视频大数据平台。


2.根据权利要求1所述的视频大数据标准化汇聚网关系统，其特征在于，所述汇聚输入模块从多个视频分析系统获取输出的视频特征数据。


3.根据权利要求1所述的视频大数据标准化汇聚网关系统，其特征在于，所述系统中包含至少一个视频数据标准化转换模块，至少一个视频数据标准化转换模块之间并行设置和并行运行。


4.根据权利要求1或2或3所述的视频大数据标准化汇聚网关系统，其特征在于，所述视频数据标准化模块分别布置在系统的计算节点之上，并与任务调度模块数据连接。

【专利技术属性】
技术研发人员：戴杰，朱兴国，吴金波，齐力，吴松洋，金钲伟，黄稳定，刘焕龙，
申请(专利权)人：公安部第三研究所，
类型：发明
国别省市：上海;31