日志采集方法、装置及存储介质制造方法及图纸

本发明专利技术实施例提出一种日志采集方法、装置及计算机可读存储介质。其中日志采集方法包括：采集源端获取日志数据的存储位置信息；采集源端将所述日志数据的存储位置信息转存到缓存通道中；消费端根据所述缓存通道中的存储位置信息读取对应的日志数据。本发明专利技术实施例中的缓存通道使得采集日志时，不需将源日志重复保存到本地磁盘目录，节约了磁盘容量，而且根据相关存储位置信息，可以直接从源日志文件中进行有效数据采集，保障了极高的吞吐量。

【技术实现步骤摘要】
日志采集方法、装置及存储介质
本专利技术涉及信息
，尤其涉及一种日志采集方法、装置及计算机可读存储介质。
技术介绍
flume(水槽)是一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统，flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，flume提供对数据进行简单处理，并写到各种数据接受方的能力。以flumeNG版本为例，开源系统flumeNG的channel(通道)的实现方式主要分为两大类：一种是基于内存的channel(简称Memchannel)；另一种是基于文件的channel(简称Filechannel)。Memchannel支持高性能、高吞吐采集，但可能出现数据丢失的现象。Filechannel支持数据持久化，保障数据不丢失，但其性能略显不足。
技术实现思路
本专利技术实施例提供一种日志采集方法、装置及计算机可读存储介质，以至少解决现有技术中的一个或多个技术问题。第一方面，本专利技术实施例提供了一种日志采集方法，包括：采集源端获取日志数据的存储位置信息；采集源端将所述日志数据的存储位置信息转存到缓存通道中；消费端根据所述缓存通道中的存储位置信息读取对应的日志数据。结合第一方面，本专利技术实施例在第一方面的第一种实现方式中，还包括：消费端提交已消费的所述日志数据时，将已消费的所述日志数据的存储位置信息保存到位置信息文件中。结合第一方面的第一种实现方式，本专利技术实施例在第一方面的第二种实现方式中，所述存储位置信息包括偏移量信息，采集源端将所述日志数据的存储位置信息转存到缓存通道中，包括：采集源端将日志数据的偏移量信息写入事务数据包的数据报头中，所述事务数据包是用于传输日志数据的数据包；采集源端将所述事务数据包转存到缓存通道中。结合第一方面的第二种实现方式，本专利技术实施例在第一方面的第三种实现方式中，消费端根据所述缓存通道中的存储位置信息读取对应的日志数据，包括：消费端根据所述缓存通道中的偏移量信息，读取对应的日志数据。结合第一方面的第三种实现方式，本专利技术实施例在第一方面的第四种实现方式中，消费端提交已消费的所述日志数据时，将已消费的所述日志数据的存储位置信息保存到位置信息文件中，包括：消费端提交已消费的所述日志数据时，将已消费的所述日志数据的偏移量信息保存到位置信息文件中。结合第一方面的第二种实现方式、第三种实现方式、第四种实现方式，本专利技术实施例在第一方面的第五种实现方式中，所述偏移量信息包括文件号、文件游标和文件路径。结合第一方面的第二种实现方式、第三种实现方式、第四种实现方式，本专利技术实施例在第一方面的第六种实现方式中，还包括：在获取日志数据的存储位置信息之前，采集源端从所述位置信息文件中读取所述偏移量信息，从所述偏移量信息中获取日志数据的采集位置。第二方面，本专利技术实施例提供了一种日志采集装置，包括：采集源端，用于获取日志数据的存储位置信息；所述采集源端还用于：将所述日志数据的存储位置信息转存到缓存通道中；消费端，用于：根据所述缓存通道中的存储位置信息读取对应的日志数据。结合第二方面，本专利技术实施例在第二方面的第一种实现方式中，所述消费端还用于：提交已消费的所述日志数据时，将已消费的所述日志数据的存储位置信息保存到位置信息文件中。结合第二方面的第一种实现方式，本专利技术实施例在第二方面的第二种实现方式中，所述存储位置信息包括偏移量信息，所述采集源端还用于：将日志数据的偏移量信息写入事务数据包的数据报头中，所述事务数据包是用于传输日志数据的数据包；将所述事务数据包转存到缓存通道中。结合第二方面的第二种实现方式，本专利技术实施例在第二方面的第三种实现方式中，所述消费端还用于：根据所述缓存通道中的偏移量信息，读取对应的日志数据。结合第二方面的第三种实现方式，本专利技术实施例在第二方面的第四种实现方式中，所述消费端还用于：提交已消费的所述日志数据时，将已消费的所述日志数据的偏移量信息保存到位置信息文件中。结合第二方面的第二种实现方式、第三种实现方式、第四种实现方式，本专利技术实施例在第二方面的第五种实现方式中，所述偏移量信息包括文件号、文件游标和文件路径。结合第二方面的第二种实现方式、第三种实现方式、第四种实现方式，本专利技术实施例在第二方面的第六种实现方式中，所述采集源端还用于：在获取日志数据的存储位置信息之前，从所述位置信息文件中读取所述偏移量信息，从所述偏移量信息中获取日志数据的采集位置。在一个可能的设计中，日志采集装置的结构中包括处理器和存储器，所述存储器用于存储支持日志采集装置执行上述第一方面中日志采集方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述日志采集装置还可以包括通信接口，用于日志采集装置与其他设备或通信网络通信。第三方面，本专利技术实施例提供了一种日志采集装置，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述第一方面中任一所述的方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一所述的方法。上述技术方案中的一个技术方案具有如下优点或有益效果：借助缓存通道使得采集日志时，不需将源日志重复保存到本地磁盘目录，节约了磁盘容量，而且根据相关存储位置信息，可以直接从源日志文件中进行有效数据采集，保障了极高的吞吐量。上述技术方案中的另一个技术方案具有如下优点或有益效果：借助将已消费的所述日志数据的存储位置信息保存到位置信息文件中的持久化操作，保证了数据的不丢失，达到断点续传的效果。上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本专利技术进一步的方面、实施方式和特征将会是容易明白的。附图说明在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本专利技术公开的一些实施方式，而不应将其视为是对本专利技术范围的限制。图1为本专利技术一实施例提供的日志采集方法的流程图。图2为本专利技术另一实施例提供的日志采集方法的流程图。图3为本专利技术一实施例提供的日志采集方法的在flume(日志收集系统)中应用的流程图。图4为本专利技术另一实施例提供的日志采集方法的在flume(日志收集系统)中应用的流程图。图5为本专利技术一实施例提供的日志采集装置的结构框图。图6为本专利技术另一实施例提供的日志采集装置的结构框图。具体实施方式在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本专利技术的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。图1为本专利技术一实施例提供的日志采集方法的流程图。如图1所示，本专利技术实施例的日志采集方法包括：步骤S110，采集源端获取日志数据的存储位置信息；步骤S120，采集源端将所述日志数据的存储位置信息转存到缓存通道中；步骤S130，消费端根据所述缓存通道中的存储位置信息读取对应的日志数据。大多数场景下，日志采集服务都会部署到目标数据源所在的宿主机上进行日志文件的收集工作。因此可以不本文档来自技高网...

【技术保护点】
1.一种日志采集方法，其特征在于，包括：采集源端获取日志数据的存储位置信息；采集源端将所述日志数据的存储位置信息转存到缓存通道中；消费端根据所述缓存通道中的存储位置信息读取对应的日志数据。

【技术特征摘要】
1.一种日志采集方法，其特征在于，包括：采集源端获取日志数据的存储位置信息；采集源端将所述日志数据的存储位置信息转存到缓存通道中；消费端根据所述缓存通道中的存储位置信息读取对应的日志数据。2.根据权利要求1所述的方法，其特征在于，还包括：消费端提交已消费的所述日志数据时，将已消费的所述日志数据的存储位置信息保存到位置信息文件中。3.根据权利要求2所述的方法，其特征在于，所述存储位置信息包括偏移量信息，采集源端将所述日志数据的存储位置信息转存到缓存通道中，包括：采集源端将日志数据的偏移量信息写入事务数据包的数据报头中，所述事务数据包是用于传输日志数据的数据包；采集源端将所述事务数据包转存到缓存通道中。4.根据权利要求3所述的方法，其特征在于，消费端根据所述缓存通道中的存储位置信息读取对应的日志数据，包括：消费端根据所述缓存通道中的偏移量信息，读取对应的日志数据。5.根据权利要求4所述的方法，其特征在于，消费端提交已消费的所述日志数据时，将已消费的所述日志数据的存储位置信息保存到位置信息文件中，包括：消费端提交已消费的所述日志数据时，将已消费的所述日志数据的偏移量信息保存到位置信息文件中。6.根据权利要求3至5中任一项所述的方法，其特征在于，所述偏移量信息包括文件号、文件游标和文件路径。7.根据权利要求3至5中任一项所述的方法，其特征在于，还包括：在获取日志数据的存储位置信息之前，采集源端从所述位置信息文件中读取所述偏移量信息，从所述偏移量信息中获取日志数据的采集位置。8.一种日志采集装置，其特征在于，包括：采集源端，用于获取日志数据的存储位置信息；所述采集源端...

【专利技术属性】
技术研发人员：高淼淼，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11