工业大数据计算资源隔离、量化的系统技术方案

本发明专利技术提供了一种工业大数据计算资源隔离、量化的系统，包括资源量化动态整合统计模块、资源隔离动态调节模块、DAG流程图任务运行资源量化模块、任务创建阶段需求资源检测模块、任务执行隔离模块、任务消费被压机制模块、高并发场景资源动态管控模块、资源逻辑调配层与物理层解耦模块以及资源组动态监控功能模块。本发明专利技术保障了分布式作业调度和执行系统稳定性可靠性；有效解决了分布式作业调度根据任务执行资源进行合理分配控制，以及集群资源在任务运行过程中监管的业务需求的场景；在今后任何应用xIn3Plat的项目中，都可以应用本发明专利技术。明。明。

【技术实现步骤摘要】
工业大数据计算资源隔离、量化的系统


[0001]本专利技术涉及分布式调度系统的
，具体地，涉及工业大数据计算资源隔离、量化的系统，尤其涉及一种工业大数据计算资源可隔离、可量化的设计方法及实现。

技术介绍

[0002]随着工业的信息化与智能化发展推进，工业生产及企业管理过程数字化程度不断加深，这就意味着越来越多的人工操作可以固化沉淀为一个个程序，根据指定触发方式，时间点任务流调度平台将任务进行调度执行。毫不夸张的说任务流调度平台是工业数字化与智能化的核心功能之一。随之而来的是更加复杂工作流解析且执行触发量峰谷不定的任务调度场景，具体挑战如下：
[0003]1、计算资源监管挑战
[0004]在工业信息化推进实践中发现，大量任务都符合单个任务执行耗时短，消耗资源较少，但是短时间内任务执行触发量很大，需要调度平台在任务流执行的时候能快速的完成任务流对资源的借还。但是现在业界的资源控制解决方案都偏向于单个任务耗时长，使用资源量大的场景。因此，现在业界已有的资源管理方案无法满足现在的任务流调度平台对资源使用的管监管，以及对任务流调度性能保证。
[0005]2、计算执行隔离挑战
[0006]基于不同的任务流的调度执行场景，部分任务的执行场景对实时性较高，例如：定时调度型任务不希望被接口调用触发型任务影响，或者不同的工作空间下的任务是基于工作空间隔离的。因此这些需求对任务流调度平台的要求都比较高，对实现比较有挑战性。
[0007]3、工作流分布式场景下资源量化计算挑战
[0008]任务流是由步骤按照不同的执行依赖关系组合而成，步骤之间就存在串行和并行的区分。因此，任务流调度平台要实现资源管理功能，首先需要的就是在任务流粒度实现执行资源量化统计，也就意味着要对任务流的组成步骤进行DAG解析并且按照资源最优化算法计算出任务流执行所需的资源使用量。
[0009]4、分布式集群资源量化挑战
[0010]任务流调度平台的架构师分布式的且去中心化，所有在集群层面架构支持集群节点横向扩展。但是这样高可扩展性结构设计对量化统计整个集群的资源制造了较大的困难，意味着在准确，实时的量化统计任务流调度集群的资源时，还要兼顾集群的高可扩展性。
[0011]5、分布式集群资源动态横向扩容挑战
[0012]面对分布式任务流调度平台，需要保证在集群横向扩展节点的场景下。集群的资源监管功能可以实时的对集群资源的改变做出相应，而且对资源的划分也能确保实现动态修改，这样才能够保证分布式任务流调度平台在面对不同的生产环境，提供高可用，高扩展性。
[0013]综合上述分析：分布式任务流调度平台在资源感量化、隔离功能实现需求，需要满
足提供对下述功能项的支持：
[0014](1)分布式集群资源量化统计
[0015](2)资源监管支持横向动态扩缩容
[0016](3)支持高并发场景的任务流资源借还
[0017](4)支持在工作空间和任务流级别的任务执行隔离
[0018](5)对复杂执行步骤组成的任务流计算最优运行资源
[0019]在公开号为CN110073301A的专利文献中公开了一种用于在工业环境中进行数据收集的监测设备、系统和方法。该系统包括通信连接到多个输入通道和网络架构的数据收集器；其中该数据收集器基于已选择的数据收集例程进行数据收集；该系统还包括被结构化为存储多个收集器例程和已收集数据的数据存储器、被结构化为从已收集数据中解译多个检测值的数据收集电路、被结构化为分析该已收集数据并确定从该多个输入通道处收集的数据的聚合率；如果聚合率超出该网络架构的吞吐参数，则该数据分析电路改变数据收集从而降低被收集数据的量。
[0020]目前的分布式任务流调度平台在对应多种类型任务的调度处理已经高可扩展性，但是随着生产环境上的任务调度日提交量的不断增长，以及无法预测的接口调用类型任务的不定期触发，例如在极短时间内突然提交大量任务。导致出现任务消费积压现象，且不同工作空间下的任务在没有运行隔离机制的请况下出现相互影响的现象。这些问题都会伴随任务流调度平台的不断深度使用显现出来。
[0021]因此基于以上的实际且迫切的需求场景，我们大胆进行尝试和挑战，自主研发一种在高并发场景下，可以实现对分布式任务流调度集群的资源动态监管功能，且确保任务的运行性能不受影响。

技术实现思路

[0022]针对现有技术中的缺陷，本专利技术的目的是提供一种工业大数据计算资源隔离、量化的系统。
[0023]根据本专利技术提供的一种工业大数据计算资源隔离、量化的系统，包括资源量化动态整合统计模块、资源隔离动态调节模块、DAG流程图任务运行资源量化模块、任务创建阶段需求资源检测模块、任务执行隔离模块、任务消费被压机制模块、高并发场景资源动态管控模块、资源逻辑调配层与物理层解耦模块以及资源组动态监控功能模块；
[0024]所述资源量化动态整合统计模块与资源隔离动态调节模块相互配合工作并触发DAG流程图任务运行资源量化模块对任务流使用的资源进行量化计算并得出资源的使用数据，之后交由任务调度消费阶段需求资源检测模块进行资源判定。
[0025]优选地，所述资源量化动态整合统计模块提供分布式集群调度、计算节点资源收集和量化统计整合展示功能。
[0026]优选地，所述资源隔离动态调节模块对分布式任务流调度平台的资源组的信息持久化，以及动态修改资源组的资源配置，任务执行模式，以及性能相关的影响因子。
[0027]优选地，所述DAG流程图任务运行资源量化模块解析任务流的组成步骤，根据解析得出的步骤DAG结果，根据运行资源最优化算法量化整个任务流在调度执行时候所需要的资源。
[0028]优选地，所述任务创建阶段需求资源检测模块根据工作流对应的资源组信息，检测当前任务流运行需要的资源是否能在绑定资源组正常运行。
[0029]优选地，所述任务执行隔离模块根据资源组号对提交的任务流实例触发命令进行分槽消费。
[0030]优选地，所述任务消费被压机制模块保护分布式任务流调度集群在大量接口调用类型任务流，提交调度执行。
[0031]优选地，所述高并发场景资源动态管控模块对资源组的资源信息、超配权重因子和任务流消费模式等参数进行动态调整。
[0032]优选地，所述资源逻辑调配层与物理层解耦模块对资源组和工作组的生命周期进行管理。
[0033]优选地，所述资源组动态监控功能模块对整个分布式调度平台管理的资源组资源使用情况的实时监控。
[0034]与现有技术相比，本专利技术具有如下的有益效果：
[0035]1、本专利技术保障了分布式作业调度和执行系统稳定性可靠性；
[0036]2、本专利技术有效解决了分布式作业调度根据任务执行资源进行合理分配控制，以及集群资源在任务运行过程中监管的业务需求的场景；
[0037]3、在今后任何应用xIn3Plat的项目中，都可以应用本专利技术。
附图说明
[0038本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种工业大数据计算资源隔离、量化的系统，其特征在于，包括资源量化动态整合统计模块、资源隔离动态调节模块、DAG流程图任务运行资源量化模块、任务创建阶段需求资源检测模块、任务执行隔离模块、任务消费被压机制模块、高并发场景资源动态管控模块、资源逻辑调配层与物理层解耦模块以及资源组动态监控功能模块；所述资源量化动态整合统计模块与资源隔离动态调节模块相互配合工作并触发DAG流程图任务运行资源量化模块对任务流使用的资源进行量化计算并得出资源的使用数据，之后交由任务调度消费阶段需求资源检测模块进行资源判定。2.根据权利要求1所述的工业大数据计算资源隔离、量化的系统，其特征在于，所述资源量化动态整合统计模块提供分布式集群调度、计算节点资源收集和量化统计整合展示功能。3.根据权利要求1所述的工业大数据计算资源隔离、量化的系统，其特征在于，所述资源隔离动态调节模块对分布式任务流调度平台的资源组的信息持久化，以及动态修改资源组的资源配置，任务执行模式，以及性能相关的影响因子。4.根据权利要求1所述的工业大数据计算资源隔离、量化的系统，其特征在于，所述DAG流程图任务运行资源量化模块解析任务流的组成步骤，根据解析得出的步骤DAG结果，根...

【专利技术属性】
技术研发人员：张云龙，蔡黎明，卿林鑫，彭圣基，黄明，滕逸龙，周明，
申请(专利权)人：上海宝信软件股份有限公司，
类型：发明
国别省市：