【技术实现步骤摘要】
本申请涉及任务管理，尤其是涉及一种flink任务提交方法、装置及系统。
技术介绍
1、随着大数据技术的发展，各行各业对数据处理的实时性要求越来越高，flink作为一款大数据实时流式处理引擎，已经在各个公司得到广泛应用。而flink任务的开发与部署主要依赖于本地编译打包然后通过命令行提交的方式，这种方式需要用户在客户端提前安装所有依赖，不便于数量繁多的flink任务进行部署和维护，也无法有效对flink任务的程序文件、依赖资源进行管理，因此研发对flink任务进行统一管理和提交的实时流计算平台十分必要。
2、flink任务管理的平台化实现以包含客户端和服务器的web架构为主，客户端负责flink任务程序代码和配置信息的在线编辑与提交，以及相关依赖资源的上传，服务器负责接收客户端的网络请求信息与上传的资源文件，对配置信息和资源文件进行解析后，与hadoop集群进行交互，完成flink任务提交至yarn(yet another resource negotiator，另一种资源协调者)集群的过程。
3、随着flink版...
【技术保护点】
1.一种flink任务提交方法，其特征在于，所述方法应用于服务器；所述服务器中配置有多种flink任务版本分别对应的版本类加载器实例；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，通过所述目标版本类加载器实例加载所述目标任务版本对应的任务依赖资源文件、任务部署模块，并在所述任务部署模块子环境中进行所述任务主程序代码的解析，从而完成flink任务提交的步骤，包括：
3.根据权利要求2所述的方法，其特征在于，调用所述任务部署模块入口类的部署方法进行任务部署，以热加载任务解析模块的步骤，包括：
4.根据权利要求2所述的方法，其...
【技术特征摘要】
1.一种flink任务提交方法，其特征在于，所述方法应用于服务器；所述服务器中配置有多种flink任务版本分别对应的版本类加载器实例；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，通过所述目标版本类加载器实例加载所述目标任务版本对应的任务依赖资源文件、任务部署模块，并在所述任务部署模块子环境中进行所述任务主程序代码的解析，从而完成flink任务提交的步骤，包括：
3.根据权利要求2所述的方法，其特征在于，调用所述任务部署模块入口类的部署方法进行任务部署，以热加载任务解析模块的步骤，包括：
4.根据权利要求2所述的方法，其特征在于，所述服务器还存储有配置文件；通过所述目标版本类加载器实例加载所述目标任务版本对应的任务依赖资源文件、任务部署模块的步骤之前，还包括：
5.根据权利要求4所述的方法，其特征在于，通过所述任务解析模块解析所述任务主程序代码，以完成flink任务提交的步骤，包括：<...
【专利技术属性】
技术研发人员：何丁丁，於圣楠，肖文浩，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。