一种日志数据的处理方法、电子设备和计算机可读介质技术

本发明专利技术公开了一种日志数据的处理方法、电子设备和计算机可读介质，涉及日志管理技术领域。该方法由包括第一缓冲区、日志处理线程和第二缓冲区的日志数据的处理系统执行，具体实施方式包括：第一缓冲区接收一个或多个业务线程发送的日志数据；日志处理线程将第二缓冲区的日志数据写入日志文件；其中，第二缓冲区是由第一缓冲区切换而来的。该实施方式能够利用双缓冲区的日志数据的处理系统，实现日志数据的读写分离和批处理，避免业务线程竞争，简化日志处理机制，降低磁盘操作的内存开销，提升日志写入效率和数据吞吐量，缩减开发和维护成本。本。本。

【技术实现步骤摘要】
一种日志数据的处理方法、电子设备和计算机可读介质


[0001]本专利技术涉及日志管理
，尤其涉及一种日志数据的处理方法、电子设备和计算机可读介质。

技术介绍

[0002]软件(software)应用于各种终端设备，是指终端操作系统中按照特定顺序组织的程序和指令集合。为了对软件进行分析，通常利用日志对软件的开发、测试、维护、运行等过程进行记录，以便于定位故障、还原现场、数据分析、监控业务等。
[0003]现有的日志处理过程中，通常采用异步日志的方式，多个业务线程分别将产生的日志消息发送给日志线程，日志线程每收集一条日志消息即写入日志文件。为了保证数据的完整性，多个业务线程之间建立全局互斥锁，任意时刻保证仅有一个业务线程与日志线程通信，防止写入中断丢失数据。
[0004]在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：
[0005]现有的日志处理基于竞争/占有模式的锁机制实现，使得日志处理机制复杂，代码冗余度高，开发成本大的同时维护成本较高；任意时刻仅有一个业务线程与日志线程通信，使得日志写入效率低下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志数据的处理方法，其特征在于，所述方法由日志数据的处理系统执行，所述日志数据的处理系统包括第一缓冲区、日志处理线程和第二缓冲区，所述方法包括：所述第一缓冲区接收一个或多个业务线程发送的日志数据；所述日志处理线程将所述第二缓冲区的日志数据写入日志文件；其中，所述第二缓冲区是由所述第一缓冲区切换而来的。2.根据权利要求1所述的方法，其特征在于，还包括：所述日志处理线程判断所述第二缓冲区的数据量是否超过预设的写入阈值；在所述日志处理线程确定所述第二缓冲区的数据量超过预设的写入阈值的情况下，判断最新的所述切换时间间隔是否为初始的切换时间间隔；在最新的所述切换时间间隔不是初始的切换时间间隔的情况下，利用初始的切换时间间隔更新所述切换时间间隔。3.根据权利要求2所述的方法，其特征在于，在所述日志处理线程确定所述第二缓冲区的数据量未超过预设的写入阈值的情况下，还包括：所述日志处理线程判断监控时间间隔是否到达最新的切换时间间隔；递增微写次数；根据预设的时间间隔增量和所述微写次数，更新所述切换时间间隔。4.根据权利要求2所述的方法，其特征在于，在所述日志处理线程将所述第二缓冲区的全部日志数据写入所述日志文件后、或者在所述监控时间间隔到达最新的切换时间间隔的情况下，还包括：所述日志处理线程判断所述第二缓冲区是否包括临时缓冲区；在所述第二缓冲区包括临时缓冲区的情况下，所述日志处理线程释放所述第二缓冲区中的临时缓冲区，并切换所述第二缓冲区和所述第一缓冲区；或者，在所述第二缓冲区不包括临时缓冲区的情况下，所述日志处理线程直接切换所述第二缓冲区和所述第一缓冲区。5.根据权利要求2所述的方法，其特征在于，还包括：所述日志处理线程判断所述第一缓冲区的数据量是否超过所述第一缓冲...

【专利技术属性】
技术研发人员：赵军，刘中砥，王建召，
申请(专利权)人：北京天空卫士网络安全技术有限公司，
类型：发明
国别省市：