一种基于kubernetes的Flink云原生部署架构方法及系统技术方案

本发明专利技术公开了一种基于kubernetes的Flink云原生部署架构方法及系统，属于云计算领域；所述的方法具体步骤如下：S1启动定时任务，定时查看Kubernetes集群资源使用情况并记录数据表；S2在kubernetes集群中创建flink专用的namespace；S3设置namespace的配额，设置资源配额和对象数量配额；S4创建flink集群启动文件；S5动态修改flink集群的配额信息；监控kubernetes的资源使用情况；将flink集群单独部署某个指定的namespace下；结合kubernetes集群中资源剩余情况和用户需求情况调整指定namespace的资源配额和pod数量配额，从而限制flink集群能申请的资源大小和pod数量。flink集群能申请的资源大小和pod数量。flink集群能申请的资源大小和pod数量。

【技术实现步骤摘要】
一种基于kubernetes的Flink云原生部署架构方法及系统


[0001]本专利技术公开一种基于kubernetes的Flink云原生部署架构方法及系统，涉及云计算


技术介绍

[0002]Apache Flink是一个框架和分布式处理引擎，它提供了丰富且易用的API 来处理有状态的流处理应用，并且在支持容错的前提下，高效、大规模的运行此类应用；通过支持事件时间(event
‑
time)、计算状态(state)以及恰好一次(exactly
‑
once)的容错保证，Flink迅速被很多公司采纳，成为了新一代的流计算处理引擎；
[0003]Kubernetes是业内最流行的容器编排工具，与docker容器技术结合，可以提供比Yarn更强大的集群资源管理功能，成为容器云的主要解决方案之一；在大数据及相关领域，包括Spark，Hive，Kafka等众多知名产品正在迁往 Kubernetes，Flink也是其中一员；将flink和kubernetes结合，对生产效能有很大的提升；
[0004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于kubernetes的Flink云原生部署架构方法，其特征是所述的方法具体步骤如下：S1启动定时任务，定时查看Kubernetes集群资源使用情况并记录数据表；S2在kubernetes集群中创建flink专用的namespace；S3设置namespace的配额，设置资源配额和对象数量配额；S4创建flink集群启动文件；S5动态修改flink集群的配额信息。2.根据权利要求1所述的方法，其特征是所述S1启动定时任务，定时查看Kubernetes集群资源使用情况并记录数据表的具体步骤如下：S101设定资源使用率的阈值并定时查看；S102当资源使用率在检测时间段内持续在阈值以下，则进行flink集群的扩容；S112当资源使用率在检测时间段内持续在阈值以上，则发出告警信息，根据告警信息和用户需求，对flink集群的配额进行缩小。3.根据权利要求2所述的方法，其特征是所述S3设置namespace的配额，设置资源配额和对象数量配额的具体步骤如下：S301设置计算资源配额，定义CPU、内存请求(requests)、限制(limits)使用的总量；S302设置对象数量配额，通过设置namespace的pods数限定该namespace下能启用pod数量的最大值。4.根据权利要求3所述的方法，其特征是所述S4创建flink集群启动文件具体步骤如下：S401编辑configmap,deployment和service执行appy命令创建集群；S402执行kubectl apply命令，进行flink集群的部署。5.根据权利要求4所述的方法，其特征是所述S5动态修改flink集群的配额信息具体步骤如下：S501根据kubernetes和用户需求判断是否需要重新设置配额；S502监控数据显示kubernetes集群资源足够时，重新配置namespace的配额，扩容flink集群使用的资源；S503监控数据显示kubernetes集群资源紧张时，降低flink专用namespace的配额，限制flink集群使用的资源。6.一种基于kubernetes的Flink云原生部署架构系统，其特征是所述的系统...

【专利技术属性】
技术研发人员：王翠，张栋，李国涛，胡清，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：