本发明专利技术公开了一种日志处理方法、装置，存储介质和电子装置。其中，该方法包括：接收开源组件发送的多个待处理日志，其中，多个待处理日志的日志格式是开源组件利用预设日志格式对多个日志进行的转换；对多个待处理日志进行数据清洗，得到多个第一目标日志；按照预设时间间隔对多个第一目标日志进行分区处理，得到多个第二目标日志。本发明专利技术解决了相关技术中日志的处理效率低，不能满足对日志数据的需要的技术问题。
【技术实现步骤摘要】
日志处理方法、装置、存储介质和电子装置
本专利技术涉及计算机领域，具体而言，涉及一种日志处理方法、装置，存储介质和电子装置。
技术介绍
随着互联网+时代的来临，数据的价值越来越凸显。产品的数据呈现指数型增长，非结构化的特点。利用分布式处理平台spark和hadoop技术，构建大数据平台是最为核心的基础数据的存储、处理能力中心，提供了强大的数据处理能力，满足了数据的交互需求。同时通过sparkstreaming，可以有效满足企业实时数据的要求，构建企业发展的实时指标体系。但现有的对日志的存储方式存在日志处理不够实时，在分布式的系统中扩容，容错有所欠缺，不能方便的进行大数据日志的ETL(Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至目的端的过程)的清洗。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种日志处理方法、装置，存储介质和电子装置，以至少解决相关技术中对日志的处理效率低，不能满足对日志数据的需要的技术问题。根据本专利技术实施例的一个方面，提供了一种日志处理方法，包括：接收开源组件发送的多个待处理日志，其中，多个待处理日志的日志格式是开源组件利用预设日志格式对多个日志进行的转换；对多个待处理日志进行数据清洗，得到多个第一目标日志；按照预设时间间隔对多个第一目标日志进行分区处理，得到多个第二目标日志。根据本专利技术实施例的另一方面，还提供了一种日志处理方法，包括：利用预设日志格式对获取的多个日志进行格式转换，得到多个待处理日志；将多个待处理日志分别存储至与各个待处理日志对应的主题文件夹中；将主题文件夹中的多个待处理日志发送至分布式处理平台中。根据本专利技术实施例的另一方面，还提供了一种日志处理装置，包括：接收模块，用于接收开源组件发送的多个待处理日志，其中，多个待处理日志的日志格式是开源组件利用预设日志格式对多个日志进行的转换；第一确定模块，用于对多个待处理日志进行数据清洗，得到多个第一目标日志；第二确定模块，用于按照预设时间间隔对多个第一目标日志进行分区处理，得到多个第二目标日志。根据本专利技术实施例的另一方面，还提供了一种日志处理装置，包括：第三确定模块，用于利用预设日志格式对获取的多个日志进行格式转换，得到多个待处理日志；存储模块，用于将多个待处理日志分别存储至与各个待处理日志对应的主题文件夹中；发送模块，用于将主题文件夹中的多个待处理日志发送至分布式处理平台中。根据本专利技术实施例的另一方面，还提供了一种日志处理系统，包括：分布式处理平台spark，其中，spark被设置为运行时执行上述中的方法；开源组件kafka，与分布式处理平台连接，其中，kafka被设置为运行时执行上述的方法；根据本专利技术的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。根据本专利技术的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。在本专利技术实施例中，利用开源组件将收集的日志进行格式转换，得到多个待处理日志，将待处理日志发送至分布式处理平台；分布式处理平台对多个待处理日志进行数据清洗，得到多个第一目标日志；按照预设时间间隔对多个第一目标日志进行分区处理，得到多个第二目标日志。可以实现实时处理日志，提高了日志处理的效率，进而解决了相关技术中日志的处理效率低，不能满足对日志数据的需要的技术问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是本专利技术实施例的一种日志处理方法的移动终端的硬件结构框图；图2是根据本专利技术实施例提供的日志处理方法的流程示意图(一)；图3是根据本专利技术实施例提供的日志处理方法的流程示意图(二)；图4是根据本专利技术实施例提供的日志处理装置的结构示意图(一)；图5是根据本专利技术实施例提供的日志处理装置的结构示意图(二)；图6是根据本专利技术实施例提供的日志处理系统的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。根据本专利技术实施例，提供了一种日志处理方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。本专利技术实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本专利技术实施例的一种日志处理方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本专利技术实施例中的日志处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(NetworkInterfaceController，简称为NIC)，其可通过基站与其他网络设本文档来自技高网...
【技术保护点】
1.一种日志处理方法，其特征在于，包括：接收开源组件发送的多个待处理日志，其中，所述多个待处理日志的日志格式是所述开源组件利用预设日志格式对多个日志进行的转换；对所述多个待处理日志进行数据清洗，得到多个第一目标日志；按照预设时间间隔对所述多个第一目标日志进行分区处理，得到多个第二目标日志。
【技术特征摘要】
1.一种日志处理方法，其特征在于，包括：接收开源组件发送的多个待处理日志，其中，所述多个待处理日志的日志格式是所述开源组件利用预设日志格式对多个日志进行的转换；对所述多个待处理日志进行数据清洗，得到多个第一目标日志；按照预设时间间隔对所述多个第一目标日志进行分区处理，得到多个第二目标日志。2.根据权利要求1所述的方法，其特征在于，对所述多个待处理日志进行数据清洗，得到所述多个第一目标日志包括：利用预设活动算法触发所述多个待处理日志的数据清洗；利用预设转换算法对触发之后的所述多个待处理日志进行数据清洗。3.根据权利要求1所述的方法，其特征在于，按照所述预设时间间隔对所述多个第一目标日志进行分区处理，得到所述多个第二目标日志包括：确定所述多个第一目标日志中各个第一目标日志的日志类型和日志时间，其中，所述日志时间是获取所述各个第一目标日志的时间；基于所述日志类型和所述日志时间将所述各个第一目标日志分区存储至第一预设目录中，得到所述多个第二目标日志。4.根据权利要求1所述的方法，其特征在于，按照所述预设时间间隔对所述多个第一目标日志进行分区处理，得到所述多个第二目标日志之后，所述方法还包括以下之一：利用预设特征源接口对所述多个第二目标日志以正好一次Exactlyonce的方式存储至第二预设目录中；利用预设批处理函数对所述多个第二目标日志以正好一次Exactlyonce的方式存储至第二预设目录中。5.根据权利要求4所述的方法，其特征在于，按照所述预设时间间隔对所述多个第一目标日志进行实时性分区处理，得到所述多个第二目标日志之后，并在确定所述多个第二目标日志存储至所述第二预设目录失败的情况下，所述方法还包括以下之一：在第一预设天数内，从本地缓存中重新获取所述多个待处理日志；利用日志收集系统从本地磁盘中恢复所述多个待处理日志；从所述开源组件中存储的副本中恢复所述多个待处理日志；读取所述多个待处理日志的元数据文件metadata和弥补函数offset恢复所述多个待处理日志；从存储的多个副本文件中获取所述多个待处理日志，其中，所述多个副本文件存储在以下之一：本地节点，本地机架上的节点，不同机架上的节点。6.根据权利要求1所述的方法，其特征在于，按照所述预设时间间隔对所述多个第一目标日志进行分区处理，得到所述多个第二目标日志之后，所述方法还包括：按照二级分区存储格式建立第一表格，其中，所述第一表格用于存储所述多个第二目标日志的概括信息；在所述第一表格中建立第一子表格，其中，所述第一子表格用于存储...
【专利技术属性】
技术研发人员：刘晶晶，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江,33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。