一种日志收集方法、装置、设备及介质制造方法及图纸

本申请公开了一种日志收集方法、装置、设备及介质，包括：获取待上报日志数据，并判断第一缓冲区中当前存储的日志数据是否超过第一预设存储阈值；若第一缓冲区中当前存储的内存数据未超过第一预设存储阈值，则将待上报日志数据写入第一缓冲区；若第一缓冲区中当前存储的内存数据超过第一预设存储阈值，则将待上报日志数据写入第二缓冲区；其中，第一缓冲区包括第一内存队列，第二缓冲区包括第二内存队列和预先定义的磁盘空间；利用预设日志拉取规则从第一缓冲区或第二缓冲区中拉取相应的日志数据，并将日志数据上报至日志服务器。通过内存或磁盘作为缓冲区实现日志数据收集，再从缓冲区拉取日志数据进行上报，减少了日志丢失，提高了日志上报率。提高了日志上报率。提高了日志上报率。

【技术实现步骤摘要】
一种日志收集方法、装置、设备及介质


[0001]本专利技术涉及计算机
，特别涉及一种日志收集方法、装置、设备及介质。

技术介绍

[0002]当前，在进行日志上报时，通常是以内存队列的形式作为缓冲区，当写入缓冲区的日志数据超过缓冲区容量，则会丢弃多余的日志数据，并且在日志上报压力大的时候，会造成大量日志数据丢失。如果通过增加缓冲区容量而不扩大内存总量，则会降低业务程序的运行效率；如果扩大内存总量则会增加成本；而如果将日志数据直接写入磁盘，由于磁盘的读写速度较慢，会导致日志上报率无法提高。
[0003]综上，如何在日志数据上报过程中，减少日志丢失，并提高日志上报效率是目前有待解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种日志收集方法、装置、设备及介质，能够在日志数据上报过程中，减少日志丢失，并提高日志上报效率。其具体方案如下：
[0005]第一方面，本申请公开了一种日志收集方法，包括：
[0006]获取待上报日志数据，并判断第一缓冲区中当前存储的日志数据是否超过第一预设存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志收集方法，其特征在于，包括：获取待上报日志数据，并判断第一缓冲区中当前存储的日志数据是否超过第一预设存储阈值；若所述第一缓冲区中当前存储的内存数据未超过所述第一预设存储阈值，则将所述待上报日志数据写入所述第一缓冲区；若所述第一缓冲区中当前存储的内存数据超过所述第一预设存储阈值，则将所述待上报日志数据写入第二缓冲区；其中，所述第一缓冲区包括第一内存队列，所述第二缓冲区包括第二内存队列和预先定义的磁盘空间；利用预设日志拉取规则从所述第一缓冲区或所述第二缓冲区中拉取相应的日志数据，并将所述日志数据上报至日志服务器。2.根据权利要求1所述的日志收集方法，其特征在于，所述将所述待上报日志数据写入第二缓冲区，包括：将待上报日志数据写入所述第二内存队列；按照所述预设日志拉取规则从所述第二内存队列中拉取相应的日志数据，并将所述日志数据按照预先定义的文件顺序写入规则写入所述磁盘空间。3.根据权利要求2所述的日志收集方法，其特征在于，所述将所述日志数据按照预先定义的文件顺序写入规则写入所述磁盘空间，包括：创建第一日志文件，并通过所述第一日志文件对针对所述待上报日志数据的写入操作进行响应；其中，所述响应过程包括：判断所述第一日志文件中存储的日志数据是否超过第二预设存储阈值；若所述第一日志文件中存储的日志数据未超过所述第二预设存储阈值，则将所述待上报日志数据写入所述第一日志文件，若所述第一日志文件中存储的日志数据超过所述第二预设存储阈值，则为所述第一日志文件设置结束标识，并停止所述第一日志文件的写入操作；当所述第一日志文件已被设置所述结束标识，则创建第二日志文件，并通过所述第二日志文件对针对所述待上报日志数据中未写入日志文件的剩余数据的写入操作进行响应，直到所述磁盘空间中的日志文件数量超过预设文件数量，则为所述磁盘空间设置磁盘已满标识。4.根据权利要求3所述的日志收集方法，其特征在于，还包括：获取所述磁盘空间的第三预设存储阈值；基于所述第三预设存储阈值和所述第二预设存储阈值得到所述磁盘空间中存储日志文件的预设文件数量。5.根据权利要求3所述的日志收集方法，其特征在于，所述利用预设日志拉取规则从所述第一缓冲区或所述第二缓冲区中拉取...

【专利技术属性】
技术研发人员：解雷，
申请(专利权)人：上海微盟企业发展有限公司，
类型：发明
国别省市：