日志处理方法、装置、发送端、接收端设备及存储介质制造方法及图纸

本发明专利技术提供一种日志处理方法、装置、发送端、接收端设备及存储介质，涉及数据处理技术领域。包括：在一个处理模块对来自发送端设备的多条日志数据流均处理完成之后，由日志处理链路上的下一处理模块对多条日志数据流进行处理；其中，每条日志数据流中的每个日志数据包括：发送端设备中的一个日志线程的标识；在日志处理链路上的最后一个处理模块对多条日志数据流均处理完成之后，存储最后一个处理模块输出的目标日志数据。确保每个处理模块的日志数据不丢失、处理更准确，而且，基于多个日志数据中的日志线程标识进行去重处理，提高了日志去重的准确性，避免日志的丢失，使得收集的日志更加可靠，还提高了日志收集的效率。

【技术实现步骤摘要】
日志处理方法、装置、发送端、接收端设备及存储介质
本专利技术涉及数据处理
，具体而言，涉及一种日志处理方法、装置、发送端、接收端设备及存储介质。
技术介绍
日志可以记录用户在使用应用程序过程中的操作行为，通过对日志进行分析可以对用户的状态、行为进行分析，挖掘出有价值的信息；也能够对应用程序中所存在的问题进行定位，因此，对于日志的收集也变得越来越重要。相关技术中，采用发送端设备对原始日志进行分析，继而去重处理，以确保收集到的日志不重复。但是，相关技术中，采用发送端设备进行去重处理，容易造成日志的丢失，导致收集的日志不可靠的问题。
技术实现思路
本专利技术的目的在于，针对上述现有技术中的不足，提供一种日志处理方法、装置、发送端、接收端设备及存储介质，以便解决相关技术中采用发送端设备进行去重处理，容易造成日志的丢失，导致收集的日志不可靠的问题。为实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术实施例提供了一种日志处理方法，应用于接收端设备，所述接收端设备的日志处理链路的多个处理模块中包括去重处理模块，所述方法包括：在一个处理模块对来自发送端设备的多条日志数据流均处理完成之后，由所述日志处理链路上的下一处理模块对所述多条日志数据流进行处理；每条日志数据流中的每个日志数据包括：所述发送端设备中的一个日志线程的标识；在所述日志处理链路上的最后一个处理模块对所述多条日志数据流均处理完成之后，存储所述最后一个处理模块输出的目标日志数据；<br>其中，所述去重处理模块用于根据所述日志数据中的日志线程标识，对所述每条日志数据流中的日志数据进行重复检测，将检测到的重复日志数据删除。可选的，所述存储所述最后一个处理模块输出的目标日志数据，包括：对所述目标日志数据进行缓存；将缓存的所述目标日志数据写入所述接收端设备的本地磁盘。可选的，所述将缓存的所述目标日志数据写入所述接收端设备的本地磁盘，包括：根据所述目标日志数据的缓存速率、预设的消费速率，生成至少一个消费实例；采用所述至少一个消费实例，以所述消费速率，将缓存的所述目标日志数据写入所述本地磁盘。可选的，所述方法还包括：根据所述目标日志数据所包括的日志种类数，在所述本地磁盘中为每个所述消费实例创建所述日志种类数对应的多个文件；所述将缓存的所述目标日志数据写入所述本地磁盘，包括：根据所述目标日志数据中日志数据的类型，将所述目标日志数据中各类型的日志数据分别写入所述磁盘中所述每个消费实例对应的所述多个文件中。可选的，所述方法还包括：对所述多个处理模块的处理状态信息进行存储；若所述目标日志数据中存在存储失败的日志数据，从所述处理状态信息中确定存储成功的已存储日志数据的状态信息；根据所述已存储日志数据的状态信息，删除已存储的所述已存储日志数据之后存储的所有日志数据；根据所述已存储日志数据的状态信息，确定所述已存储日志数据对应的元数据；依次采用所述多个处理模块对所述元数据进行处理，得到处理后的日志数据。可选的，所述从所述处理状态信息中确定存储成功的已存储日志数据的状态信息，包括：从所述处理状态信息中确定最后一次存储成功的日志数据的状态信息。可选的，所述每条日志数据流的末端还包括保障点，所述由所述日志处理链路上的下一处理模块对所述多条日志数据流进行处理，包括：在所述下一处理模块获取到所述多条日志数据流中的保障点后，对所述多条日志数据流进行处理。可选的，所述方法还包括：对所述每个消费实例对应的所述多个文件中写入的日志数据添加所述每个消费实例的标识信息，得到多个待上传日志数据；向分布式文件系统上传所述多个待上传日志数据。可选的，所述向分布式文件系统上传所述多个文件中的待上传日志数据，包括：运行打包程序，分别对所述多个待上传日志数据进行打包，得到多个打包文件；运行所述多个打包文件对应的上传程序，以分别向所述分布式文件系统上传所述多个打包文件。可选的，所述运行所述多个打包文件对应的上传程序，以分别向所述分布式文件系统上传所述多个打包文件包括：运行所述多个打包文件对应的上传程序的过程中，若检测到所述多个打包文件的目标打包文件中存在错误日志数据，则停止上传所述目标打包文件，并删除已上传的所述目标打包文件的日志数据；重新运行所述目标打包文件对应的上传程序，以重新上传所述目标打包文件。可选的，所述方法还包括：每上传完成一个打包文件，打印所述一个打包文件对应的一个结束标记信息；根据所述结束标记信息的数量，判断所述多个打包文件是否均上传至所述分布式文件系统中。可选的，所述方法还包括：若目标上传程序的运行时长大于预设时长，则停止运行所述目标上传程序；重新运行所述目标上传程序，以重新上传所述目标上传程序对应的打包文件。第二方面，本专利技术实施例提供了一种日志处理方法，应用于发送端设备，所述方法包括：获取多个待发送日志数据，每个待发送日志数据包括所述发送端设备中的一个日志线程的标识；将所述多个待发送日志数据，以多条日志数据流发送至接收端设备，以使所述接收端设备的日志处理链路上的一个处理模块对所述多条日志数据流均处理完成之后，由所述日志处理链路上的下一处理模块对所述多条日志数据流进行处理；在所述日志处理链路上的最后一个处理模块对所述多条日志数据流均处理完成之后，存储所述最后一个处理模块输出的目标日志数据；其中，所述日志处理链路上的去重处理模块用于根据日志数据中的日志线程标识，对每条日志数据流中的日志数据进行重复检测，将检测到的重复日志数据删除；每条日志数据流中包括所述多个待发送日志数据中的至少两个日志数据。可选的，所述方法还包括：接收到所述接收端设备发送的响应信息；若所述响应信息指示一待发送日志数据发送失败，则重新发送所述一待发送日志数据；若所述响应信息指示所述一待发送日志数据发送成功，则发送下一待发送日志数据。第三方面，本专利技术实施例提供了一种日志处理装置，应用于接收端设备，所述接收端设备的日志处理链路的多个处理模块中包括去重处理模块，所述装置包括：处理模块，用于在一个处理模块对来自发送端设备的多条日志数据流均处理完成之后，由所述日志处理链路上的下一处理模块对所述多条日志数据流进行处理；每条日志数据流中的每个日志数据包括：所述发送端设备中的一个日志线程的标识；存储模块，用于在所述日志处理链路上的最后一个处理模块对所述多条日志数据流均处理完成之后，存储所述最后一个处理模块输出的目标日志数据；其中，所述去重处理模块用于根据所述日志数据中的日志线程标识，对所述每条日志数据流中的日志数据进行重复检测，将检测到的重复日志数据删除。可选的，所述存储模块，还用于对所述目标日志数据进行缓存；将缓存的所述目标日志数据写入所述接收端设备的本地磁盘本文档来自技高网...

【技术保护点】
1.一种日志处理方法，其特征在于，应用于接收端设备，所述接收端设备的日志处理链路的多个处理模块中包括去重处理模块，所述方法包括：/n在一个处理模块对来自发送端设备的多条日志数据流均处理完成之后，由所述日志处理链路上的下一处理模块对所述多条日志数据流进行处理；每条日志数据流中的每个日志数据包括：所述发送端设备中的一个日志线程的标识；/n在所述日志处理链路上的最后一个处理模块对所述多条日志数据流均处理完成之后，存储所述最后一个处理模块输出的目标日志数据；/n其中，所述去重处理模块用于根据所述日志数据中的日志线程标识，对所述每条日志数据流中的日志数据进行重复检测，将检测到的重复日志数据删除。/n

【技术特征摘要】
1.一种日志处理方法，其特征在于，应用于接收端设备，所述接收端设备的日志处理链路的多个处理模块中包括去重处理模块，所述方法包括：
在一个处理模块对来自发送端设备的多条日志数据流均处理完成之后，由所述日志处理链路上的下一处理模块对所述多条日志数据流进行处理；每条日志数据流中的每个日志数据包括：所述发送端设备中的一个日志线程的标识；
在所述日志处理链路上的最后一个处理模块对所述多条日志数据流均处理完成之后，存储所述最后一个处理模块输出的目标日志数据；
其中，所述去重处理模块用于根据所述日志数据中的日志线程标识，对所述每条日志数据流中的日志数据进行重复检测，将检测到的重复日志数据删除。


2.根据权利要求1所述的方法，其特征在于，所述存储所述最后一个处理模块输出的目标日志数据，包括：
对所述目标日志数据进行缓存；
将缓存的所述目标日志数据写入所述接收端设备的本地磁盘。


3.根据权利要求2所述的方法，其特征在于，所述将缓存的所述目标日志数据写入所述接收端设备的本地磁盘，包括：
根据所述目标日志数据的缓存速率、预设的消费速率，生成至少一个消费实例；
采用所述至少一个消费实例，以所述消费速率，将缓存的所述目标日志数据写入所述本地磁盘。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
根据所述目标日志数据所包括的日志种类数，在所述本地磁盘中为每个消费实例创建所述日志种类数对应的多个文件；
所述将缓存的所述目标日志数据写入所述本地磁盘，包括：
根据所述目标日志数据中日志数据的类型，将所述目标日志数据中各类型的日志数据分别写入所述磁盘中所述每个消费实例对应的所述多个文件中。


5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述多个处理模块的处理状态信息进行存储；
若所述目标日志数据中存在存储失败的日志数据，从所述处理状态信息中确定存储成功的已存储日志数据的状态信息；
根据所述已存储日志数据的状态信息，删除已存储的所述已存储日志数据之后存储的所有日志数据；
根据所述已存储日志数据的状态信息，确定所述已存储日志数据对应的元数据；
依次采用所述多个处理模块对所述元数据进行处理，得到处理后的日志数据。


6.根据权利要求5所述的方法，其特征在于，所述从所述处理状态信息中确定存储成功的已存储日志数据的状态信息，包括：
从所述处理状态信息中确定最后一次存储成功的日志数据的状态信息。


7.根据权利要求1所述的方法，其特征在于，所述每条日志数据流的末端还包括保障点，所述由所述日志处理链路上的下一处理模块对所述多条日志数据流进行处理，包括：
在所述下一处理模块获取到所述多条日志数据流中的保障点后，对所述多条日志数据流进行处理。


8.根据权利要求4所述的方法，其特征在于，所述方法还包括：
对每个消费实例对应的所述多个文件中写入的日志数据添加所述每个消费实例的标识信息，得到多个待上传日志数据；
向分布式文件系统上传所述多个待上传日志数据。


9.根据权利要求8所述的方法，其特征在于，所述向分布式文件系统上传所述多个文件中的待上传日志数据，包括：
运行打包程序，分别对所述多个待上传日志数据进行打包，得到多个打包文件；
运行所述多个打包文件对应的上传程序，以分别向所述分布式文件系统上传所述多个打包文件。


10.根据权利要求9所述的方法，其特征在于，所述运行所述多个打包文件对应的上传程序，以分别向所述分布式文件系统上传所述多个打包文件包括：
运行所述多个打包文件对应的上传程序的过程中，若检测到所述多个打包文件的目标打包文件中存在错误日志数据，则停止上传所述目标打包文件，并删除已上传的所述目标打包文件的日志数据；
重新运行所述目标打包文件对应的上传程序，以重新上传所述目标打包文件。

<...

【专利技术属性】
技术研发人员：范长杰，冯阳，吴剑飞，刘柏，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江;33