一种处理Flink作业的方法、系统及介质技术方案

本发明专利技术公开了一种处理Flink作业的方法、系统及介质。所述方法包括通过云平台根据作业配置参数和作业内容生成作业请求，通过容器编排引擎中的设定组件将作业请求转发给容器编排引擎中的工作台；通过工作台中的设定接口基于作业内容确定执行计划，根据作业配置参数发送执行计划到工作台中对应的Flink集群；通过Flink集群基于执行计划执行Flink作业。本发明专利技术解决了因人工登录远程服务器管理作业导致作业管理效率低下的问题，并且在将作业交给Flink集群之前确定执行计划，可以避免调用Flink集群内相关组件导致代码稳定性和易读性方面的问题，提高了代码可读性，降低了运维难度，进一步提高了作业管理效率。

【技术实现步骤摘要】

本专利技术涉及大数据，尤其涉及一种处理flink作业的方法、系统及介质。

技术介绍

1、随着信息化技术的发展，数据产生的速度越来越快、数据量越来越大，数据的来源也越来越多样化。最先出现的大数据技术是以mapreduce为代表的批处理计算方式。批处理技术的设计理念是将数据进行累计之后，进行批量的数据处理，这样的计算往往会在业务不繁忙的时期进行，但是批处理技术不满足要求低延迟的业务场景。

2、早期的实时计算处理计算是将源源不断地数据分割成足够小的批次再进行计算，这样设计虽然在一定程度上降低了计算延迟，但是在计算的过程中需要对数据进行分包操作，增加了额外的计算开销。

3、flink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算，可以解决计算延迟的问题。但是将flink直接部署在服务器上，对于cpu、内存、存储等资源管理过度依赖人工。

4、kubernetes是一个开源的容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。目前，将flink和kubernetes有机结合在一起，可以形成高可用、本文档来自技高网...

【技术保护点】

1.一种处理Flink作业的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述通过所述工作台中的设定接口基于所述作业内容确定执行计划，包括：

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述作业配置参数发送所述执行计划到所述工作台中对应的Flink集群，包括：

4.根据权利要求3所述的方法，其特征在于，所述通过所述Flink集群基于所述执行计划执行所述Flink作业，包括：

5.根据权利要求1所述的方法，其特征在于，所述通过云平台根据作业配置参数和作业内容生成作业请求，通过容器编排引擎中的设定组件将所述作业请...

【技术特征摘要】

1.一种处理flink作业的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述通过所述工作台中的设定接口基于所述作业内容确定执行计划，包括：

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述作业配置参数发送所述执行计划到所述工作台中对应的flink集群，包括：

4.根据权利要求3所述的方法，其特征在于，所述通过所述flink集群基于所述执行计划执行所述flink作业，包括：

5.根据权利要求1所述的方法，其特征在于，所述通过云平台根据作业配置参数和作业内容生成作业请求，通过容器编排引擎中的设定组件将所述作业请求转发给容器编排引擎中的工作台，包括：

6.根据权利要求1所述的方法，其特征在于，在通...

【专利技术属性】
技术研发人员：郑暑冰，郭庆，谢莹莹，张永满，
申请(专利权)人：青岛中科曙光科技服务有限公司，
类型：发明
国别省市：