分布式系统的日志收集方法及装置制造方法及图纸

本发明专利技术实施例公开了一种分布式系统的日志收集方法及装置。其中，方法包括管理器预先配置好分布式系统中的各客户端和各收集器，并统计收集相应服务器的日志数据以及传输待写入日志数据的进度和状态，和各收集器的工作状态和数据流的执行进度。客户端将采集相应服务器的待写入日志数据按照预设数据单元格式进行转化，然后将转化后的日志数据通过多个通道传输至收集器中，收集器根据接收到的日志数据的目标源地址信息，将其写入至相应的分布式文件系统中。本申请实现高效收集大规模分布式文件系统的日志，提升了日志收集的可靠性、可扩展性和可管理性，满足了大规模分布式系统日志收集的现实需求。

【技术实现步骤摘要】
分布式系统的日志收集方法及装置
本专利技术实施例涉及日志记录
，特别是涉及一种分布式系统的日志收集方法及装置。
技术介绍
随着大数据、云技术的快速发展，数据呈现爆炸式增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意，分布式文件系统应运而生。分布式文件系统被设计成适合运行在通用硬件上的文件系统。它是一个高度容错性的系统，适合部署在廉价的机器上，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。同时分布式文件系统放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。IT(InformationTechnology)分布式文件系统，例如搜索引擎、云计算、电子商务、视频网站、社交网络、共享单车等IT平台，每天会产生海量的日志(一般为流式数据，如搜索引擎的pv、查询等)；同时对于大型的IT平台，均采用超大规模的服务器、存储进行业务计算、数据存储。如何从这些服务器上收集海量日志，并从海量的日志中收集、分析有效的用户信息，需要特定的日志收集系统。目前的日志收集方法适用于单机、小规模等应用场景，针对本文档来自技高网...

【技术保护点】
1.一种分布式系统的日志收集方法，其特征在于，基于客户端，客户端挂载于服务器上，包括：将采集相应服务器的待写入日志数据，按照预设数据单元格式进行转化；将转化后的待写入日志数据通过多个通道传输至目标收集器中，以使所述目标收集器根据所述待写入日志数据的目标源地址信息，将其写入至相应的分布式文件系统中。

【技术特征摘要】
1.一种分布式系统的日志收集方法，其特征在于，基于客户端，客户端挂载于服务器上，包括：将采集相应服务器的待写入日志数据，按照预设数据单元格式进行转化；将转化后的待写入日志数据通过多个通道传输至目标收集器中，以使所述目标收集器根据所述待写入日志数据的目标源地址信息，将其写入至相应的分布式文件系统中。2.根据权利要求1所述的分布式系统的日志收集方法，其特征在于，所述将转化后的待写入日志数据通过多个通道传输至目标收集器中之后，还包括：将所述待写入日志数据存储在本地；判断所述待写入日志数据的目标源是否成功接收并写入所述待写入日志数据；若是，则从本地删除所述待写入日志数据；若否，则向所述目标收集器发送重新将所述待写入日志数据写入所述目标源的指令。3.根据权利要求1所述的分布式系统的日志收集方法，其特征在于，所述将转化后的待写入日志数据通过多个通道传输至目标收集器中之后，还包括：判断所述待写入日志数据的目标源是否成功接收所述待写入日志数据；若否，则将所述待写入日志数据存储在本地；判断所述目标源是否恢复；若是，则向所述目标收集器发送重新传输所述待写入日志数据至所述目标源的指令。4.根据权利要求1-3任意一项所述的分布式系统的日志收集方法，其特征在于，所述将转化后的待写入日志数据通过多个通道传输至目标收集器中包括：将转化后的待写入日志数据通过多个通道传输至目标客户端，以使所述目标客户端将接收到的数据传输至所述目标收集器。5.根据权利要求4所述的分布式系统的日志收集方法，其特征在于，所述目标收集器工作状态异常时，所述将转化后的待写入日志数据通过多个通道传输至目标收集器中包括：将转化后的待写入日志数据...

【专利技术属性】
技术研发人员：冯瑞鹏，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41