一种基于分布式架构平台的实时流计算和服务调度方法及系统技术方案

技术编号:44814446 阅读:30 留言:0更新日期:2025-03-28 20:01
本发明专利技术公开了一种基于分布式架构平台的实时流计算和服务调度方法及系统,属于实时流计算和调度策略技术领域。解决了现有技术中传统的实时流计算和服务调度方法资源利用率低且计算效率低的问题;本发明专利技术搭建基于分布式架构平台的实时流计算和服务调度系统;在实时流计算和服务调度系统的自定义任务调度中心中,集成工作流调度和管理平台,定义有向无环图工作流,并制定调度规则与策略;在自定义流式计算处理中心中,集成用于实时流数据处理的解析器的流计算引擎,进行流式计算,将计算结果存储到DolphinDB数据库,完成实时流计算和服务调度。本发明专利技术有效提升了数据处理效率和服务响应速度,可以应用于大规模数据流处理。

【技术实现步骤摘要】

本专利技术涉及一种实时流计算和服务调度方法及系统,尤其涉及一种基于分布式架构平台的实时流计算和服务调度方法及系统,属于实时流计算和调度策略。


技术介绍

1、在当前的分布式架构平台中,服务调度和实时流计算是两大核心功能,然而,随着数据量的不断激增和实时性要求的提高,现有的技术和方法逐渐暴露出一些显著的问题,在平台服务调度方面,现有技术中,在调度策略方面往往存在资源利用率低、调度策略单一、缺乏动态调整机制等问题,在实时流计算方面,传统的计算模型往往无法有效应对大规模连续到达的数据流,数据在计算节点间的传输和处理过程中容易产生瓶颈,导致计算延迟增大,无法满足实时性要求。

2、综上所述,需要一种基于分布式架构平台的实时流计算和服务调度方法及系统。


技术实现思路

1、在下文中给出了关于本专利技术的简要概述,以便提供关于本专利技术的某些方面的基本理解。应当理解,这个概述并不是关于本专利技术的穷举性概述。它并不是意图确定本专利技术的关键或重要部分,也不是意图限定本专利技术的范围。其目的仅仅是以简化的形式给出某些本文档来自技高网...

【技术保护点】

1.一种基于分布式架构平台的实时流计算和服务调度方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于分布式架构平台的实时流计算和服务调度方法,其特征在于,所述S2中,具体包括以下步骤:

3.根据权利要求2所述的一种基于分布式架构平台的实时流计算和服务调度方法,其特征在于,所述S3中,具体包括以下步骤:

4.一种基于分布式架构平台的实时流计算和服务调度系统,其特征在于,用于实现权利要求1-3任一项所述的基于分布式架构平台的实时流计算和服务调度方法,包括自定义任务调度中心(1)、自定义流式计算处理中心(2)、分布式存储中心(3)和数据采集中心...

【技术特征摘要】

1.一种基于分布式架构平台的实时流计算和服务调度方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于分布式架构平台的实时流计算和服务调度方法,其特征在于,所述s2中,具体包括以下步骤:

3.根据权利要求2所述的一种基于分布式架构平台的实时流计算和服务调度方法,其特...

【专利技术属性】
技术研发人员:赵辉马刚陆林苏杨王书琪
申请(专利权)人:哈尔滨航天恒星数据系统科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1