基于分布式计算的指标加工调度方法、系统及存储介质技术方案

本发明专利技术公开了分布式计算指标加工调度方法、系统及存储介质。方法包括：接收计算节点的注册请求，定期从同步管理中心同步指标配置、规则组信息；获取用户发送的加工请求；解析加工请求，根据指标配置和规则组信息匹配指标组，封装指标组对应的指标信息，并构建有向无环图；利用有向无环图获取待加工的指标，并生成指标加工分发任务；发送指标加工分发任务至对应的计算节点，以由计算节点进行指标加工，并反馈加工结果；接收加工结果，并处理所述加工结果。通过实施本发明专利技术的方法可实现优化指标加工过程，提升计算效率、灵活性和实时性，实现动态选择性计算、资源优化分配及降低维护成本，以更好地支持复杂业务需求和大数据场景下的高效处理。

【技术实现步骤摘要】

本专利技术涉及数据处理，更具体地说是指基于分布式计算的指标加工调度方法、系统及存储介质。

技术介绍

1、指标加工系统通过高效的数据处理和计算逻辑，实现对大量业务指标的灵活加工和分析，提升决策支持能力、优化资源利用和增强系统的实时性与扩展性；当前的指标加工系统主要依赖静态配置文件存储指标加工逻辑，在任务触发时，系统采取模块全量计算模式，这种方式无法实现对部分指标的增量或选择性计算。在大数据场景下，系统只能通过水平扩展多个计算节点副本来提高并发处理能力，以此提升吞吐量。然而，这种设计方式存在明显的局限性，尤其是在面对复杂业务需求时，无法灵活选择和处理特定指标，从而影响了系统的整体效率和适应性。

2、现有技术存在的缺陷主要包括：首先，模块全量计算模式导致计算效率低下，无法实现选择性计算，造成资源浪费；其次，缺乏指标级别的计算灵活性，无法根据具体业务需求动态选择指标进行计算；同时，资源利用率也不均衡，计算资源可能过度集中在部分复杂指标上，导致整体资源分配不合理；此外，现有系统难以支持实时或近实时计算，尤其在任务集中时，无法满足高效的计算需求；最后，由于本文档来自技高网...

【技术保护点】

1.基于分布式计算的指标加工调度方法，其特征在于，包括：

2.根据权利要求1所述的基于分布式计算的指标加工调度方法，其特征在于，所述指标配置包括英文名、中文名、数据源、筛选条件、表达式、父指标；所述规则组信息包括多个指标的集合所对应的信息。

3.根据权利要求1所述的基于分布式计算的指标加工调度方法，其特征在于，所述解析所述加工请求，根据所述指标配置和规则组信息匹配指标组，封装所述指标组对应的指标信息，并构建依赖关系的有向无环图，包括：

4.根据权利要求3所述的基于分布式计算的指标加工调度方法，其特征在于，所述解析所述指标组内每个指标的依赖关系，构建所述...

【技术特征摘要】

1.基于分布式计算的指标加工调度方法，其特征在于，包括：

2.根据权利要求1所述的基于分布式计算的指标加工调度方法，其特征在于，所述指标配置包括英文名、中文名、数据源、筛选条件、表达式、父指标；所述规则组信息包括多个指标的集合所对应的信息。

3.根据权利要求1所述的基于分布式计算的指标加工调度方法，其特征在于，所述解析所述加工请求，根据所述指标配置和规则组信息匹配指标组，封装所述指标组对应的指标信息，并构建依赖关系的有向无环图，包括：

4.根据权利要求3所述的基于分布式计算的指标加工调度方法，其特征在于，所述解析所述指标组内每个指标的依赖关系，构建所述指标之间的依赖图，遍历指标组内的每个指标，将所述指标添加为节点，并建立依赖边，以得到依赖关系的有向无环图，包括：

5.根据权利要求4所述的基于分布式计算的指标加工调度方法，其特征在于，所述利用所述有向无环图获取待加工的指标，并生成指...

【专利技术属性】
技术研发人员：潘成挺，钟红义，陶金鹏，张文会，
申请(专利权)人：杭州微风企科技有限公司，
类型：发明
国别省市：