【技术实现步骤摘要】
一种Flume集群的管理方法、装置及系统
本专利技术涉及大数据
，特别涉及一种Flume集群的管理方法、装置及系统。
技术介绍
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的日志收集系统，支持在日志系统中定制各类数据发送方(如：Kafka、HDFS等)，便于收集数据。它具有基于流数据流的简单灵活的架构，可靠的故障切换能力和容错能力，良好的鲁棒性。在现有技术中，无法自动管理Flume集群，对于整个集群的资源，目前只能靠人工计算来为新的Flume任务分配资源，并且，对于Flume任务的启动、停止等管理与操作只能人为地手动在每台集群机器上执行。比如，Flume集群中的一台机器启动一个新的Flume任务时，首先要人为地分配集群资源，然后，再手动登录到指定机器，进而手动启动该Flume任务对应的Flume进程。也就是说，对于Flume集群，无法做到对Flume任务的管理以及集群资源的自动化管理。此外，当前大部分Flume流式数据传输应用，其拓扑接口相对来说比较复杂，需手动书写Flume配置文件，不仅要求对Flume的配置文...
【技术保护点】
1.一种Flume集群的管理方法，应用于服务器端，其特征在于，所述方法包括：接收web接口端发送的用于启动Flume任务的启动请求；根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器；生成针对所述Flume任务的启动程序；根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务。
【技术特征摘要】
1.一种Flume集群的管理方法，应用于服务器端，其特征在于，所述方法包括：接收web接口端发送的用于启动Flume任务的启动请求；根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器；生成针对所述Flume任务的启动程序；根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务。2.如权利要求1所述的方法，其特征在于，在根据所述启动程序，控制所述第一机器启动所述Flume任务之后，所述方法还包括：获得包括所述Flume集群的运行信息和所述Flume任务的运行信息的运行信息集合；将所述运行信息集合发送至所述web接口端，指示所述web接口端对所述运行信息集合进行显示，以监控所述Flume集群以及所述Flume任务。3.如权利要求1所述的方法，其特征在于，所述方法还包括：在前端界面上接收到用户针对包括source组件、channel组件、sink组件的Flume组件的控制操作之后，获得所述Flume组件的配置参数集合；基于所述配置参数集合，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，创建所述Flume任务。4.如权利要求3所述的方法，其特征在于，所述获得所述Flume组件的配置参数集合，包括：接收用于请求所述Flume组件对应的component组件对象的请求信息；以JSON形式将所述component对象返回至所述web接口端，以使所述web接口端从JSON形式中的配置项中解析出待输入内容；在所述前端界面接收到所述待输入内容时，接收所述web接口端以JSON形式返回的所述Flume组件对应的所述配置参数集合。5.如权利要求4所述的方法，其特征在于，所述基于所述配置参数集合，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，创建所述Flume任务，包括：接收所述web接口端以JSON形式返回的所述source组件、所述channel组件、所述sink组件间的连接方式，以及所述配置参数集合；确定所述连接方式和所述配置参...
【专利技术属性】
技术研发人员：张永曦，王玉雷，廖光贤，李宏源，张巧龙，黄海波，
申请(专利权)人：中移苏州软件技术有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。