日志统计方法及系统技术方案

本申请公开了一种日志统计方法，该方法包括：在接收到日志上报的请求后，采用多个缓冲器分别进行日志计数累加和计数归零；根据所述计数累加的结果对预设时段内的所述日志进行无锁的编号；将所述日志和对应的所述编号上报至日志收集端，以使所述日志收集端根据所述预设时段内接收到的日志数量和所述编号确定日志系统可靠性。本申请还公开了一种日志统计系统、电子装置和计算机可读存储介质。由此，能够通过便捷的统计算法以及无锁的数据结构高效统计出日志丢失率，从而判断日志系统的可靠性。性。性。

【技术实现步骤摘要】
日志统计方法及系统


[0001]本申请涉及数据处理
，尤其涉及一种日志统计方法、系统、电子装置及计算机可读存储介质。

技术介绍

[0002]网络设备、系统及服务程序等，在运作时都会产生一个叫日志(Log)的事件记录。每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。而当机器负载较高、网络错误或者逻辑错误时，都会导致上报的日志丢失。但是现有的日志统计方法比较繁琐，由于上报的日志量非常大，通常很难高效统计出日志丢失率是多少。
[0003]目前大多服务都是并行执行任务，有多个写操作方或读操作方。在多写或多读场景下，为了保证数据准确性，通常通过加锁只允许一方进行数据操作。此时统计日志也需要进行加锁，然而加锁往往会带来性能的损失。因此在时延敏感型业务场景(由于服务端处理数据时延抖动或者较长会导致用户体验质量下降)下，需要避免去做加锁操作，否则会影响用户体验。
[0004]需要说明的是，上述内容并不用于限制申请保护范围。

技术实现思路

[0005]本申请的主要目的在于提出一种日志统计方法、系统、电子装置及计算机可读存储介质，旨在解决如何高效统计出日志丢失率且无需加锁的问题。
[0006]为实现上述目的，本申请实施例提供了一种日志统计方法，应用于日志发送端，所述方法包括：
[0007]在接收到日志上报的请求后，采用多个缓冲器分别进行日志计数累加和计数归零；
[0008]根据所述计数累加的结果对预设时段内的所述日志进行无锁的编号；及
[0009]将所述日志和对应的所述编号上报至日志收集端，以使所述日志收集端根据所述预设时段内接收到的日志数量和所述编号确定日志系统可靠性。
[0010]可选地，所述缓冲器的数量为大于或等于四个。
[0011]可选地，所述采用多个缓冲器分别进行日志计数累加和计数归零包括：
[0012]在每个所述预设时段内，选择所述多个缓冲器中的一个进行日志计数累加，并对所述多个缓冲器中的另外一个进行计数归零。
[0013]可选地，所述预设时段为当天的第K分钟内，所述采用多个缓冲器分别进行日志计数累加和计数归零包括：
[0014]确定用于进行计数累加的缓冲器序号N和用于计数归零的缓冲器序号M，其中所述序号N为K除以所述缓冲器的数量P后取余值，所述序号M为N+2除以P后取余值；
[0015]在序号为N的缓冲器中对所述预设时段内收到的日志进行计数累加；
[0016]在序号为M的缓冲器中进行计数归零。
[0017]此外，为实现上述目的，本申请实施例还提供一种日志统计系统，应用于日志发送端，所述系统包括：
[0018]计数模块，用于在接收到日志上报的请求后，采用多个缓冲器分别进行日志计数累加和计数归零；
[0019]编号模块，用于根据所述计数累加的结果对预设时段内的所述日志进行无锁的编号；
[0020]上报模块，用于将所述日志和对应的所述编号上报至日志收集端，以使所述日志收集端根据所述预设时段内接收到的日志数量和所述编号确定日志系统可靠性。
[0021]为实现上述目的，本申请实施例还提供一种日志统计方法，应用于日志收集端，所述方法包括：
[0022]收集日志发送端上报的日志及对应的编号，其中所述编号为采用多个缓冲器分别进行日志计数累加和计数归零后得到；
[0023]统计预设时段内收到的日志数量；
[0024]获取所述预设时段内收到的所述日志的最大编号；及
[0025]根据所述日志数量和所述最大编号确定日志系统可靠性。
[0026]可选地，所述日志系统可靠性根据所述预设时段内的日志丢失率确定，所述日志丢失率＝1
‑
(日志数量/最大编号)。
[0027]为实现上述目的，本申请实施例还提供一种日志统计系统，应用于日志收集端，所述系统包括：
[0028]收集模块，用于收集日志发送端上报的日志及对应的编号，其中所述编号为采用多个缓冲器分别进行日志计数累加和计数归零后得到；
[0029]统计模块，用于统计预设时段内收到的日志数量；
[0030]获取模块，用于获取所述预设时段内收到的日志的最大编号；
[0031]确定模块，用于根据所述日志数量和所述最大编号确定日志系统可靠性。
[0032]为实现上述目的，本申请实施例还提供一种电子装置，所述电子装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志统计程序，所述日志统计程序被所述处理器执行时实现如上述的日志统计方法。
[0033]为实现上述目的，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有日志统计程序，所述日志统计程序被处理器执行时实现如上述的日志统计方法。
[0034]本申请实施例提出的日志统计方法、系统、电子装置及计算机可读存储介质，能够在日志发送端采用多个缓冲器分别进行预设时段内的日志计数累加和计数归零，根据计数累加的结果对预设时段内的所述日志进行无锁的编号，而在日志收集端统计出所述预设时段内收到的日志数量并获取所述预设时段内收到的日志的最大编号，然后根据所述日志数量和所述最大编号计算得到日志丢失率，算法简单便捷，计数准确，可以高效地统计出所述预设时段内的日志丢失率，从而判断日志系统的可靠性，并且不需要加锁。
附图说明
[0035]图1为实现本申请各个实施例的一种应用环境架构图；
[0036]图2为本申请第一实施例提出的一种日志统计方法的流程图；
[0037]图3为图2中步骤S200的细化流程示意图；
[0038]图4为本申请中缓冲器数量为4时的示意图；
[0039]图5为本申请中缓冲器数量为2时的示意图；
[0040]图6A
‑
6B为本申请中缓冲器数量为3时的示意图；
[0041]图7为本申请第二实施例提出的一种日志统计方法的流程图；
[0042]图8为本申请第三实施例提出的一种电子装置的硬件架构示意图；
[0043]图9为本申请第四实施例提出的一种日志统计系统的模块示意图；
[0044]图10为本申请第五实施例提出的一种日志统计系统的模块示意图。
具体实施方式
[0045]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0046]需要说明的是，在本申请实施例中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志统计方法，应用于日志发送端，其特征在于，所述方法包括：在接收到日志上报的请求后，采用多个缓冲器分别进行日志计数累加和计数归零；根据所述计数累加的结果对预设时段内的所述日志进行无锁的编号；及将所述日志和对应的所述编号上报至日志收集端，以使所述日志收集端根据所述预设时段内接收到的日志数量和所述编号确定日志系统可靠性。2.根据权利要求1所述的日志统计方法，其特征在于，所述缓冲器的数量为大于或等于四个。3.根据权利要求2所述的日志统计方法，其特征在于，所述采用多个缓冲器分别进行日志计数累加和计数归零包括：在每个所述预设时段内，选择所述多个缓冲器中的一个进行日志计数累加，并对所述多个缓冲器中的另外一个进行计数归零。4.根据权利要求1
‑
3任一项所述的日志统计方法，其特征在于，所述预设时段为当天的第K分钟内，所述采用多个缓冲器分别进行日志计数累加和计数归零包括：确定用于进行计数累加的缓冲器序号N和用于计数归零的缓冲器序号M，其中所述序号N为K除以所述缓冲器的数量P后取余值，所述序号M为N+2除以P后取余值；在序号为N的缓冲器中对所述预设时段内收到的日志进行计数累加；在序号为M的缓冲器中进行计数归零。5.一种日志统计系统，应用于日志发送端，其特征在于，所述系统包括：计数模块，用于在接收到日志上报的请求后，采用多个缓冲器分别进行日志计数累加和计数归零；编号模块，用于根据所述计数累加的结果对预设时段内的所述日志进行无锁的编号；上报模块，用于将所述日志和对应的所述编号上报至日志...

【专利技术属性】
技术研发人员：蔡尚志，王盛，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：