一种面向大数据场景的Serverless分布式计算平台制造技术

本发明专利技术提供了一种面向大数据场景的基于Serverless架构的分布式计算平台。该平台包括由多节点组成的弹性计算资源池，结合双重扩缩容机制和智能资源分析调度，可按需供给算力资源。平台采用Serverless任务运行模型，简化大数据应用部署，并通过统一资源管理实现多租户场景下的性能隔离。此外，可视化监控平台辅以智能分析，为运维管理提供决策支持。与传统静态资源调度相比，本发明专利技术可显著提升资源利用率，降低运维复杂度，并在多租户环境中提供有力的资源隔离与公平性保障，有效支撑大数据时代分布式计算的技术创新与应用拓展。

【技术实现步骤摘要】

本专利技术涉及分布式计算，特别是涉及一种面向大数据计算场景的基于serverless架构的分布式计算平台。

技术介绍

1、在当今大数据时代，企业级数据处理任务呈现出巨大的资源需求波动和算力隔离挑战。传统的数据处理平台主要依赖于静态的资源分配和集中式的任务调度机制，难以适应数据量的快速增长和复杂多变的业务需求。高效、灵活的分布式计算平台在大数据处理领域具有重要的应用价值。

2、目前，主要采用基于hadoop、spark等大数据框架搭建的分布式集群来处理海量数据。这些框架通过将计算任务分发到多个节点并行执行，在一定程度上提高了数据处理效率。然而，传统的大数据处理平台通常采用静态的资源分配策略，即为每个任务预先分配固定的计算资源。这种方式难以应对动态变化的负载需求，容易导致资源的浪费或任务的阻塞，限制了系统的弹性和服务质量。

3、此外，现有的分布式计算平台大多缺乏有效的多租户资源隔离机制。在共享集群环境中，不同用户或应用的任务之间容易产生资源的相互干扰和抢占，影响关键任务的性能表现。同时，用户需要手动管理底层计算资源，增加了应用开发和运维本文档来自技高网...

【技术保护点】

1.一种面向大数据计算场景的基于Serverless架构的分布式计算平台，其特征在于，包括：

2.如权利要求1所述的分布式计算平台，其特征在于，所述弹性计算资源池支持根据总体负载需求实现动态水平伸缩，以提供充足的计算资源供给。

3.如权利要求1所述的分布式计算平台，其特征在于，所述计算节点划分的轻量级计算单元为容器，以支持细粒度资源调度。

4.如权利要求1所述的分布式计算平台，其特征在于，所述双重扩缩容机制首先通过计算资源池的水平伸缩应对负载大波动，其次通过对单个计算单元的垂直伸缩实现已启动任务的实时资源调整。

5.如权利要求1所述的分布式...

【技术特征摘要】

1.一种面向大数据计算场景的基于serverless架构的分布式计算平台，其特征在于，包括：

2.如权利要求1所述的分布式计算平台，其特征在于，所述弹性计算资源池支持根据总体负载需求实现动态水平伸缩，以提供充足的计算资源供给。

3.如权利要求1所述的分布式计算平台，其特征在于，所述计算节点划分的轻量级计算单元为容器，以支持细粒度资源调度。

4.如权利要求1所述的分布式计算平台，其特征在于，所述双重扩缩容机制首先通过计算资源池的水平伸缩应对负载大波动，其次通过对单个计算单元的垂直伸缩实现已启动任务的实时资源调整。

5.如权利要求1所述的分布式计算平台，其特征在于，所述智能资源分析与调度模块采用机器学习算法，通过对历史数据和实时监测数据的训练学习，建立资源消耗预测模型，并据此提前调整热点任务资源配置。

6.如权利...

【专利技术属性】
技术研发人员：刘宇，
申请(专利权)人：刘宇，
类型：发明
国别省市：