一种资源管控方法技术

本申请提供了一种资源管控方法

【技术实现步骤摘要】
一种资源管控方法、装置、设备以及可读存储介质


[0001]本申请涉及资源管控的
，尤其涉及一种资源管控方法
、
装置
、
设备以及计算机可读存储介质
。

技术介绍

[0002]ApacheFlink(
简称
Flink)
是一个高吞吐
、
低延迟的分布式流
/
批处理引擎框架，可以在无边界和有边界数据流中进行有状态的计算
。
在实时处理上，它提供对事件的支持，解决了实时领域和传统的服务端开发领域消息无序问题，而且
Flink
还提供了
ExactlyOnce
语义的支持，保证了实时数据处理的正确性
。
在部署方面
Flink
既可以在服务器上进行独立部署
(Standalone
模式
)
，也可以在
Mesos、Kubernets、Yarn
等多种资源管理器上
。
如何保证在执行r/>Flink...

【技术保护点】

【技术特征摘要】
1.
一种资源管控的方法，其特征在于，包括：接收来自用户侧网络设备的
Flink
任务请求消息，所述
Flink
任务请求消息用于请求执行目标
Flink
任务；通过资源管理器对所述
Flink
任务请求消息中的资源信息进行资源校验，所述资源信息包括执行所述目标
Flink
任务需要的第一运行内存值；在资源校验通过的情况下，向
Yarn
集群管理模块发送第一部署指令，所述第一部署指令用于指示所述
Yarn
集群管理模块为所述目标
Flink
任务分配对应的
Hadoop
集群节点，所述
Hadoop
集群节点用于执行所述目标
Flink
任务
。2.
如权利要求1所述的方法，其特征在于，所述通过资源管理器对所述
Flink
任务请求消息中的资源信息进行资源校验，包括：向所述资源管理器发送第一请求消息，所述第一请求消息用于指示对所述资源信息进行资源校验；接收来自所述资源管理器的第一提示消息，所述第一提示消息中包括用于指示所述资源信息是否通过资源校验的第一信息
。3.
一种资源管控的方法，其特征在于，包括：接收来自
Flink
任务管理模块的第一请求消息，所述第一请求消息用于指示对所述资源信息进行资源校验；对所述第一请求消息中资源信息进行资源校验；向所述
Flink
任务管理模块发送第一提示消息，所述第一提示消息中的第一信息用于提示所述资源信息是否通过资源校验
。4.
如权利要求3所述的方法，其特征在于，所述第一请求消息中包括第一用户组标识信息和执行目标
Flink
任务所需的第一运行内存值，所述第一用户组标识信息为第一用户组的标识信息，所述对所述第一请求消息中资源信息进行资源校验，包括：获取第一数据库中获取所述第一用户组的第一上限阈值和第一运行内存阈值，所述第一运行内存阈值为执行单个
Flink
任务允许占用
Hadoop
集群节点的最大运行内存值；通过
Yarn
集群管理模块获取第一统计值，所述第一统计值为当前与所述第一用户组对应的
、
正在运行的
Flink
任务占用
Hadoop
集群节点的运行内存值的求和值；将所述第一统计值于所述第一运行内存值进行求和得到第二统计值；在所述第二统计值小于所述第一上限阈值
/
第二上限阈值，且所述第一运行内存值小于第一运行内存阈值时，确定所述资源信息通过资源校验；在所述第二统计值大于或等于所述第一上限阈值
/
第二上限阈值，或所述第一运行内存值大于或等于第一运行内存阈值时，确定所述资源信息不通过资源校验
。5.
如权利要求3‑4任一项所述的方法，其特征在于，所述第一请求消息中包括第一用户标识信息，所述对所述第一请求消息中资源信息进行资源校验之前，还包括：向安全验证模块发送第一验证消息，...

【专利技术属性】
技术研发人员：翟志瑞，李正文，赵辉，王京，徐健，刘哲文，
申请(专利权)人：度小满科技，
类型：发明
国别省市：