一种基于Flume的在线多方汇聚方法技术

本发明专利技术公开了一种基于Flume的在线多方汇聚方法，在flume原有流程基础上扩展增加一个flume调度层，使得数据分析平台能够支持flume agent的在线管理，具体步骤如下所示：S1.在flume所在机器上部署flume调度器；S2.由数据分析平台调用flume调度器进行flume进行agent创建；S3.flume调度器根据相应参数进行agent配置生成；S4.然后执行flume创建命令，并将结果反馈给flume调度层。本发明专利技术可实现flume agent的在线配置，优于人工登陆生产服务器配置的方式；不用配置flume所在机器的账号密码或者免密登陆配置；扩展性强，数据分析平台不依赖flume，而通过中间层调用，可将flume替换为其他数据汇聚组件。

【技术实现步骤摘要】
一种基于Flume的在线多方汇聚方法
本专利技术涉及数据分析
，特别涉及一种基于Flume的在线多方汇聚方法。
技术介绍
在传统基于flume多方数据汇聚方案中，一般有两种方式。1.通过人工配置flume的agent的方式，效率低，不易扩展，容易出错。2.通过程序SSH登陆flume机器进行自动配置的方式，权限不易管控，需进行前期大量配置，不易维护。
技术实现思路
本专利技术要解决的技术问题是克服现有技术的缺陷，提供一种基于Flume的在线多方汇聚方法，目的是为企业在使用flume过程中，可以更方便的创建flumeagent来进行多方数据的汇聚，转发等，不仅可以解决人工配置的不可以预测风险，程序自动远程配置的权限不易管控、运维成本增加等问题。为了解决上述技术问题，本专利技术提供了如下的技术方案：本专利技术一种基于Flume的在线多方汇聚方法，在flume原有流程基础上扩展增加一个flume调度层，使得数据分析平台能够支持flumeagent的在线管理，具体步骤如下所示：S1.在flume所在机器上部署flume调度器；S2.由数据分析平台调用flume调度器进行flume进行agent创建；S3.flume调度器根据相应参数进行agent配置生成；S4.然后执行flume创建命令，并将结果反馈给flume调度层。与现有技术相比，本专利技术的有益效果如下：1.可实现flumeagent的在线配置，优于人工登陆生产服务器配置的方式；2.不用配置flume所在机器的账号密码或者免密登陆配置；3.扩展性强，数据分析平台不依赖flume，而通过中间层调用，可将flume替换为其他数据汇聚组件。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1是本专利技术的初始化密钥流程图。具体实施方式以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。实施例1如图1所示，本专利技术提供一种基于Flume的在线多方汇聚方法，在flume原有流程基础上扩展增加一个flume调度层，使得数据分析平台能够支持flumeagent的在线管理，具体步骤如下所示：S1.在flume所在机器上部署flume调度器；S2.由数据分析平台调用flume调度器进行flume进行agent创建；S3.flume调度器根据相应参数进行agent配置生成；S4.然后执行flume创建命令，并将结果反馈给flume调度层。现有技术方案：技术1：人工配置(效率低，不易扩展，容易出错)技术2：程序通过ssh登陆后配置(权限不易管控、运维成本高)。本专利方案与现有方案相比的优势：1.可实现flumeagent的在线配置，优于人工登陆生产服务器配置的方式；2.不用配置flume所在机器的账号密码或者免密登陆配置；3.扩展性强，数据分析平台不依赖flume，而通过中间层调用，可将flume替换为其他数据汇聚组件。本方案具有能够不通过ssh登陆的方式实现在线管理flumeagent进行数据收集、聚合、移动的效果。为flume提供便捷高效的创建agent的方式，可运用于中国电信天翼电子商务有限公司安全智能运营中心多方数据汇聚中。最后应说明的是：以上所述仅为本专利技术的优选实施例而已，并不用于限制本专利技术，尽管参照前述实施例对本专利技术进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本专利技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种基于Flume的在线多方汇聚方法，其特征在于，在flume原有流程基础上扩展增加一个flume调度层，使得数据分析平台能够支持flume agent的在线管理，具体步骤如下所示：/nS1.在flume所在机器上部署flume调度器；/nS2.由数据分析平台调用flume调度器进行flume进行agent创建；/nS3.flume调度器根据相应参数进行agent配置生成；/nS4.然后执行flume创建命令，并将结果反馈给flume调度层。/n

【技术特征摘要】
1.一种基于Flume的在线多方汇聚方法，其特征在于，在flume原有流程基础上扩展增加一个flume调度层，使得数据分析平台能够支持flumeagent的在线管理，具体步骤如下所示：
S1.在flume所在机器上部署flum...

【专利技术属性】
技术研发人员：吴朝亮，刘剑群，于传富，刘奇，彭大祥，王佳伟，
申请(专利权)人：天翼电子商务有限公司，
类型：发明
国别省市：北京;11