【技术实现步骤摘要】
本专利技术属于大数据处理和云计算，具体涉及一种基于云原生serverless底座的flink中台系统。
技术介绍
1、随着大数据技术的快速发展，实时数据处理变得越来越重要。apache flink作为一种分布式数据流处理框架，已经成为实时数据处理的热门选择。然而，传统的flink部署方式通常需要使用者手动分配和管理计算资源，这不仅降低了资源利用率，也增加了运维负担。
2、云计算技术提供了按需分配计算资源的能力，使得使用者无需关心底层基础设施，只需关注业务逻辑。然而，将flink与云计算结合起来仍然面临一些挑战，例如资源调度、作业管理和监控等问题。
3、因此，目前市场上急需一种基于云原生serverless底座的flink中台系统，以解决上述问题，实现自动分配云原生资源，使用者可以在此中台上直接开发flink程序并运行。
技术实现思路
1、本专利技术的目的在于提供一种基于云原生serverless底座的flink中台系统，用于解决现有技术中资源分配和管理困难，使用者的使用成本高，实时数据处理效率低的问题。
2、为了实现上述目的，本专利技术采用了如下技术方案：一种基于云原生serverless底座的flink中台系统，包括，集成式开发环境模块，用于提供一个支持使用者在平台上直接编写、测试和调试flink程序的集成式开发环境；作业构建与管理模块，用于接收使用者提交的flink作业，并将使用者的程序和其需要的运行环境构建成一个镜像，供底层的云原生底座启动
3、优选的，所述集成式开发环境支持的功能包括：k种编程语言的语法高亮，包括flink所使用的java和scala，k≥1；代码自动补全功能，根据使用者输入的前缀自动提示满足需求的变量名、方法名以及代码片段；实时错误检查功能，在使用者输入代码时检测语法错误、拼写错误问题，并给出相应提示；代码格式化功能，允许使用者自动设置代码缩进、空格和换行格式；多种代码重构功能，允许使用者进行重命名、提取方法、移动代码操作。
4、优选的，所述作业构建与管理模块的功能包括：代码打包与构建功能、镜像创建与优化功能、版本管理与追踪功能、镜像仓库存储与访问控制功能。
5、优选的，所述代码打包与构建功能的具体实现细节为：根据接收使用者提交的flink程序源代码，使用预先配置的构建工具对代码进行编译和打包；所述镜像创建与优化功能的具体实现细节为：将打包好的flink程序与基础镜像合并，生成一个新的docker镜像，并在此过程中，减小镜像体积、移除不满足合并要求的文件。
6、优选的，所述版本管理与追踪功能的实现细节为：当使用者提交新版本程序时，作业构建与管理模块会生成一个唯一的版本标识，对每次的新版本程序提交进行记录，并记录版本之间的差异；所述镜像仓库存储与访问控制功能的实现细节为：当利用开源镜像仓harbor对生成的docker镜像进行镜像存储时，作业构建与管理模块会将镜像推送到开源镜像仓harbor，并管理镜像的访问权限。
7、优选的，所述资源管理模块与云原生底座集成，所述资源管理模块的功能包括：资源分配与调度功能、资源隔离与共享功能以及资源限制与保障功能。
8、优选的，所述资源分配与调度功能的实现细节为：所述资源管理模块根据flink作业的资源需求来分配和调度云原生计算资源，并使用现有的云原生资源管理和调度框架kubernetes，实现自动化、弹性的资源分配；所述资源隔离与共享功能的实现细节为：在分配资源时，利用容器技术实现资源隔离，并确保多个flink作业共享同一组资源池，根据实际需求动态调整资源占用。
9、优选的，所述实时监控与告警模块的功能包括：指标收集与存储功能、实时监控展示功能、告警规则与通知功能和故障排查与性能优化功能。
10、优选的，所述指标收集与存储功能的实现细节如下：所述实时监控与告警模块利用开源组件prometheus完成flink作业在运行过程中产生的各类指标的收集；实时监控展示功能的实现细节如下：将收集到的flink作业的各项指标在实时监控与告警模块提供一个可视化界面进行展示，以便供使用者能够随意查看。
11、优选的，所述告警规则与通知功能的实现细节如下：使用者根据实际需求，为各项指标设置阈值和触发条件，当告警规则触发时，告警模块会自动触发告警通知；所述告警通知是以开源组件alertmanager为基础，通过邮件、短信以及企业微信的方式进行发送的；所述故障排查与性能优化功能的实现细节如下：对正在运行中的flink任务的信息进行实时采集，通过实时监控flink运行时的指标，使用者对flink作业进行深入分析，并收集性能瓶颈以及潜在故障信息，并根据收集的故障信息针对性地优化程序代码、调整作业配置、调整底层资源分配策略。
12、综上所述，由于采用了上述技术方案，本专利技术的有益效果是：
13、1、本专利技术提供了一个集成式开发环境，支持使用者在平台上直接编写、测试和调试flink程序，可以支持仅通过sql语句构建出flink程序，简化了使用者的开发流程。
14、2、本专利技术通过将使用者的flink作业生成了docker镜像，将用户的程序、flink的基础环境进行了整合，生成的镜像能够通过镜像仓进行有效管理，能够统一运行环境，对版本、权限等问题进行了有效管理，
15、3、本专利技术通过与云原生资源管理系统集成，实现了自动分配云原生资源，有效降低了使用者的使用成本，提高了实时数据处理的效率；使用kubernetes与flink相结合的方式加强了底层资源的管控与调用限制，能够让flink任务充分利用底层资源。
本文档来自技高网...【技术保护点】
1.一种基于云原生Serverless底座的Flink中台系统，其特征在于，包括，
2.如权利要求1所述的一种基于云原生Serverless底座的Flink中台系统，其特征在于，所述集成式开发环境支持的功能包括：
3.如权利要求2所述的一种基于云原生Serverless底座的Flink中台系统，其特征在于，所述作业构建与管理模块(200)的功能包括：代码打包与构建功能、镜像创建与优化功能、版本管理与追踪功能、镜像仓库存储与访问控制功能。
4.如权利要求3所述的一种基于云原生Serverless底座的Flink中台系统，其特征在于，所述代码打包与构建功能的实现细节为：
5.如权利要求3或4所述的一种基于云原生Serverless底座的Flink中台系统，其特征在于，所述版本管理与追踪功能的实现细节为：
6.如权利要求5所述的一种基于云原生Serverless底座的Flink中台系统，其特征在于，所述资源管理模块(300)与云原生底座集成，所述资源管理模块(300)的功能包括：资源分配与调度功能、资源隔离与共享功能以及资源限
7.如权利要求6所述的一种基于云原生Serverless底座的Flink中台系统，其特征在于，所述资源分配与调度功能的实现细节为：
8.如权利要求7所述的一种基于云原生Serverless底座的Flink中台系统，其特征在于，所述实时监控与告警模块(400)的功能包括：指标收集与存储功能、实时监控展示功能、告警规则与通知功能和故障排查与性能优化功能。
9.如权利要求8所述的一种基于云原生Serverless底座的Flink中台系统，其特征在于，所述指标收集与存储功能的实现细节如下：所述实时监控与告警模块(400)利用开源组件Prometheus完成Flink作业在运行过程中产生的各类指标的收集；
10.如权利要求9所述的一种基于云原生Serverless底座的Flink中台系统，其特征在于，所述告警规则与通知功能的实现细节如下：使用者根据实际需求，为各项指标设置阈值和触发条件，当告警规则触发时，告警模块会自动触发告警通知；所述告警通知是以开源组件Alertmanager为基础，通过邮件、短信以及企业微信的方式进行发送的；
...【技术特征摘要】
1.一种基于云原生serverless底座的flink中台系统，其特征在于，包括，
2.如权利要求1所述的一种基于云原生serverless底座的flink中台系统，其特征在于，所述集成式开发环境支持的功能包括：
3.如权利要求2所述的一种基于云原生serverless底座的flink中台系统，其特征在于，所述作业构建与管理模块(200)的功能包括：代码打包与构建功能、镜像创建与优化功能、版本管理与追踪功能、镜像仓库存储与访问控制功能。
4.如权利要求3所述的一种基于云原生serverless底座的flink中台系统，其特征在于，所述代码打包与构建功能的实现细节为：
5.如权利要求3或4所述的一种基于云原生serverless底座的flink中台系统，其特征在于，所述版本管理与追踪功能的实现细节为：
6.如权利要求5所述的一种基于云原生serverless底座的flink中台系统，其特征在于，所述资源管理模块(300)与云原生底座集成，所述资源管理模块(300)的功能包括：资源分配与调度功能、资源隔离与共享功能以及资源限制...
【专利技术属性】
技术研发人员：刘新元，刘猛，胡冲，刘志党，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。