【技术实现步骤摘要】
本申请涉及日志采集领域，尤其涉及flume组件的日志采集方法、装置、设备及存储介质。
技术介绍
1、随着我国数字经济发展战略的深度实施，数字基础设施的不断完善，为满足人民对各类数字服务的迫切需要，加快培育数字经济新业态新模式，互联网上的各类计算设备与应用软件的数量迎来了爆发式的增长，同时，由于这些规模庞大的计算设备与应用软件处理着海量的请求，因此会产生海量的系统日志。而这些系统日志中包含着许多有效的信息，于企业和实体而言，也是一种重要的数据资源，基于此，为了充分发挥这些系统日志的价值，如何对海量的系统日志进行收集，就成了数字经济发展过程中一个必须要解决的问题。
2、现有技术中，海量的系统日志可以采用flume这一中间件进行收集。其中，flume以agent为单元创建一个日志采集进程，该agent可以使用自定义日志的采集端source、传输管道channel和目的端sink，以对分布在不同类型存储介质的日志数据进行传输与收集。同时，目的端sink还可以从传输管道channel获取采集的数据进行一些业务操作。
3、目...
【技术保护点】
1.一种基于Flume组件的日志采集处理方法，其特征在于，所述Flume组件中的代理agent模块包括：采集端source、选择端selector、传输管道channel和目的端sink，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，还包括：
3.根据权利要求2所述的方法，其特征在于，还包括：
4.根据权利要求3所述的方法，其特征在于，所述选择端selector根据所述日志信息中的IP信息，查询日志平台，以获取与所述IP信息对应的任务ID，并获取与所述任务ID匹配的传输管道channel，包括：
5.根据权利...
【技术特征摘要】
1.一种基于flume组件的日志采集处理方法，其特征在于，所述flume组件中的代理agent模块包括：采集端source、选择端selector、传输管道channel和目的端sink，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，还包括：
3.根据权利要求2所述的方法，其特征在于，还包括：
4.根据权利要求3所述的方法，其特征在于，所述选择端selector根据所述日志信息中的ip信息，查询日志平台，以获取与所述ip信息对应的任务id，并获取与所述任务id匹配的传输管道channel，包括：
5.根据权利要求2至4任一所述的方法，其特征在于，还包括：
6....
【专利技术属性】
技术研发人员：易小安，陈博，徐兵兵，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。