一种基于Kubernetes结合Flink的分布式的Pod调度优化方法技术

本发明专利技术公开了一种基于Kubernetes结合Flink的分布式的Pod调度优化方法，包括以下步骤：步骤一，创建一个基于Kubernetes的中央集群；步骤二，当准备将集群内一个Node节点下的Pod设置为对外暴露时，基于马尔可夫链构建资源预警模型；步骤三，将多个集群的暴露Pod之间的数据进行传输映射为TaskManager，使用资源适配模型结合Task Slot，将经过Pareto最优解算法提优后的SubTask依次放入不同的Task Slot，完成SubTask在TaskManager上的均匀分布。该方法采用马尔可夫链构建资源预警模型解决Pod暴露端口前的故障预测问题，减少了Master分配调度资源无法预测Pod运行健康的情况,采用Pareto分类法构建资源适配模型解决Flink的子任务分配内存插槽问题，减小任务的开销，减少线程间的数据交接和缓存，并且提高整体的吞吐，降低处理的时延。降低处理的时延。降低处理的时延。

【技术实现步骤摘要】
一种基于Kubernetes结合Flink的分布式的Pod调度优化方法


[0001]本专利技术属于调度优化
，具体涉及一种基于Kubernetes结合Flink的分布式的Pod调度优化方法。

技术介绍

[0002]随着数字化发展的逐渐深入，各单位的在运设备逐渐增加，机房运维场景下集群业务规模大，应用关系复杂，依赖层次多，排查问题困难，即便运维已经在从手工运维向工具运维和平台运维发展，但仍然无法满足当前集群对运维管理要求及高效调度处理。现有技术很难自动解决集群中Pod在与其他集群有业务运往来时暴露端口故障提前预测问题从而造成分布式集群之间数据往来异常发生的概率，使得分布式集群Pod之间业务往来不确定性增加。
[0003]中国专利技术专利CN202010653672.8公开了一种基于Kubernetes的云资源调度方法及系统，该方法包括：根据资源对象创建请求创建Pod，以将资源对象创建请求中的所需调度器类型记录至创建的Pod的配置文件中；监听到创建的Pod后，从预先部署的所需调度器类型的调度器组中选择调度器，并将选择的调度器的标识更新本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Kubernetes结合Flink的分布式的Pod调度优化方法，其特征在于包括以下步骤：步骤一，在集群管理服务器上创建一个基于Kubernetes的中央集群；步骤二，当准备将集群内一个Node节点下的Pod设置为对外暴露时，基于马尔可夫链构建资源预警模型；步骤三，将多个集群的暴露Pod之间的数据进行传输映射为TaskManager，使用资源适配模型结合Flink里的TaskSlot，将经过Pareto最优解算法提优后的SubTask分别依次放入不同的Task Slot，完成子任务SubTask在TaskManager上的均匀分布。2.根据权利要求1所述的基于Kubernetes结合Flink的分布式的Pod调度优化方法，其特征在于：所述基于Kubernetes的集群主要包括Master、Node、Pod，其分析方法包括：步骤一，在集群管理服务器上部署Master以及存储分布式集群中央及各地方Pod配置文件；步骤二，通过镜像数据库得到历史镜像数据，包括Pod每个版本的服务器配置数据，并从大到小进行数值排列得出Pod调度优先级。3.根据权利要求1所述的基于Kubernetes结合Flink的分布式的Pod调度优化方法，其特征在于：所述资源预警模型公式为：X(k+1)＝X(k)
×...

【专利技术属性】
技术研发人员：陈健哲，杨杰成，
申请(专利权)人：广西壮族自治区公众信息产业有限公司，
类型：发明
国别省市：