一种客户端日志收集方法技术

本发明专利技术公开了一种客户端日志收集方法，属于数据处理领域。它包括对客户端的行为日志进行日志记录并以接口的方式实时上传；当上传失败时，将上传失败的日志缓存到本地，等待补传；当上传成功时，读取本地缓存中的缓存信息并判断是否有等待补传的日志，若存在，则以压缩包的方式对等待补传的日志进行补传。本发明专利技术能够在上传网络不稳定的情况下，综合多个因素综合考虑上传日志的时间、数量以及上传网络的网络质量，动态调整日志上传的方式、数量等，以保证日志能够稳定、安全且速度较快的上传至服务端。端。

【技术实现步骤摘要】
一种客户端日志收集方法


[0001]本专利技术属于数据处理
，更具体地说，涉及一种客户端日志收集方法。

技术介绍

[0002]目前，车辆远程诊断设备的诊断操作记录及诊断数据需要传到后台服务器，便于后台技术人员进行统计数据、排查问题等管理操作，利于提升产品以及售后服务的质量。车辆远程诊断设备的相关数据经由客户端操作产生日志，并在有网络连接的情况下将日志上传到后台服务器；但是当客户端由于各种因素导致无法上传日志到后台服务器，技术人员无法获取该时段的诊断数据和操作记录，影响数据的统计。
[0003]在边缘计算场景下，当车辆远程诊断设备部署在边缘端时，车辆远程诊断设备会持续地处理机器节点采集的数据，进而产生大量的日志。然而，由于边缘计算场景的网络通常不稳定，采用传统的日志上传方法上传大体量的日志数据时，会出现日志丢失的问题，日志上传的稳定性较差。
[0004]为解决上述问题，申请号为CN202010617963.1、申请日为2020年07月01日的中国专利技术专利公开了一种日志上传方法、日志查询方法、系统、计算机设备和存储介质。其中，所述的日志上传方法主要包括以下内容：通过边缘服务器获取与该边缘服务器处于同一个通信集群中的终端设备生成的初始日志，并根据初始日志的类型，选取对应的筛选策略对初始日志进行筛选，得到待上传日志并上传；所述上传所述待上传日志至云服务器，包括：
[0005]获取所述边缘服务器与所述云服务器之间的网络传输参数；
[0006]根据所述网络传输参数以及预设的限流算法，确定所述待上传日志限流后的上传速度；
[0007]以所述限流后的上传速度上传所述待上传日志至云服务器；
[0008]所述网络传输参数包括数据传输速度；所述根据所述网络传输参数以及预设的限流算法，确定所述待上传日志限流后的上传速度，包括：
[0009]根据所述数据传输速度以及预设的令牌桶算法，确定令牌桶中令牌的添加速度，并根据所述令牌的添加速度，向所述令牌桶中添加令牌；
[0010]当接收到所述日志上传请求时，根据所述令牌桶中已添加令牌的数量对所述日志上传请求进行处理，确定所述待上传日志限流后的上传速率。
[0011]该申请中通过根据初始日志的类型，选取对应的筛选策略对初始日志进行筛选，实现了对初始日志的删减和过滤，减小日志上传的体量；又通过采用令牌桶算法对待上传日志的上传速率进行限流，防止网络占用过高影响其他边缘计算服务。但该方法仍存在一些缺陷：(1)对初始日志进行筛选使得该方法的应用具有一定的局限性。例如：以车辆远程诊断设备的相关数据经由客户端操作产生的日志为例，日志中并不包含级别为error的日志、debug的日志以及upload的日志，对初始日志进行筛选也就无从谈起；(2)根据所述数据传输速度以及预设的令牌桶算法确定所述待上传日志限流后的上传速率，能够防止网络占用过高影响其他边缘计算服务，但却无法保证初始日志自身的上传稳定性和时效性。

技术实现思路

[0012]1、要解决的问题
[0013]针对现有技术中存在的问题，本专利技术提供一种客户端日志收集方法，综合考虑上传日志的时间、数量以及上传网络的网络质量，动态调整日志上传的方式、数量等，以保证日志能够稳定、安全且速度较快的上传至服务端。
[0014]2、技术方案
[0015]为解决上述问题，本专利技术采用如下的技术方案。
[0016]一种客户端日志收集方法，包括：
[0017]对客户端的行为日志进行日志记录并以接口的方式实时上传；
[0018]当上传失败时，将上传失败的日志缓存到本地，等待补传；
[0019]当上传成功时，读取本地缓存中的缓存信息并判断是否有等待补传的日志，若存在，则以压缩包的方式对等待补传的日志进行补传。
[0020]其优选的技术方案为：
[0021]如上所述的一种客户端日志收集方法，当上传成功时，还包括：
[0022]读取本地缓存中等待补传日志的创建时间；
[0023]检测本地缓存中等待补传日志的数量。
[0024]如上所述的一种客户端日志收集方法，还包括：
[0025]当本地缓存中等待补传日志的最早创建时间超过预设时间阈值且本地缓存中等待补传日志的数量超过预设数量阈值时：
[0026]以预设时间阈值为时间点对本地缓存中等待补传的日志对等待补传日志进行切分，按最早创建时间至预设时间阈值所在时间节点进行排序，直至日志的数量等于预设数量阈值，以排序后的日志作为目标日志，压缩打包处理，以压缩包的方式进行补传。
[0027]如上所述的一种客户端日志收集方法，以压缩包的方式进行补传时，还包括：
[0028]对当前日志上传网络的网络传输质量进行评估；
[0029]根据当前日志上传网络的网络传输质量的评估结果，对当前日志上传网络的网络传输质量进行打分；
[0030]根据日志上传网络的网络传输质量的打分，对预设时间阈值或预设数量阈值进行调整。
[0031]如上所述的一种客户端日志收集方法，对当前日志上传网络的网络传输质量进行评估包括：
[0032]根据诊断设备发送的上行数据生成相应的上行信号网络传输记录；
[0033]基于上行信号网络传输记录，确定当前上传网络的网络类型和网络传输带宽。
[0034]如上所述的一种客户端日志收集方法，对预设时间阈值或预设数量阈值进行调整包括：
[0035]基于预设调节策略表，确定对应的调节参数，所述的调节策略表预先根据网络传输质量打分所在的的打分区间设置对应的调节参数。
[0036]如上所述的一种客户端日志收集方法，对预设时间阈值T进行调整的方法为：
[0037][0038]式中，T
S
为预设的最大时间阈值，k1,k2,...k
n
分别为预设调节策略表中不同打分区间对应的调节参数，T
max
和T
min
分别为当前时刻本地缓存中等待补传的日志的最晚创建时间和最早创建时间，n为预设调节策略表中预设的打分区间数量,且n为自然数。
[0039]如上所述的一种客户端日志收集方法，对预设数量阈值M进行调整的方法为：
[0040][0041]式中，M
s
、M
n
分别为预设的最大补传日志的数量和当前时刻本地缓存中等待补传的日志的数量，k1,k2,...k
n
分别为预设调节策略表中不同打分区间对应的调节参数，n为预设调节策略表中预设的打分区间数量,且n为自然数。
[0042]3、有益效果
[0043]相比于现有技术，本专利技术的有益效果为：
[0044](1)本专利技术日志上传方式包括两种，包括采用接口的方式实时上传以及采用压缩包的方式对日志进行上传，其中，采用接口的方式能够实时将日志上传到后台供对应的管理人员实时查看，效率更高，但上传效率较低；而会使用压缩包的形式上传，日志文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种客户端日志收集方法，其特征在于：包括：对客户端的行为日志进行日志记录并以接口的方式实时上传；当上传失败时，将上传失败的日志缓存到本地，等待补传；当上传成功时，读取本地缓存中的缓存信息并判断是否有等待补传的日志，若存在，则以压缩包的方式对等待补传的日志进行补传。2.根据权利要求1所述的一种客户端日志收集方法，其特征在于：当上传成功时，还包括：读取本地缓存中等待补传日志的创建时间；检测本地缓存中等待补传日志的数量。3.根据权利要求2所述的一种客户端日志收集方法，其特征在于：还包括：当本地缓存中等待补传日志的最早创建时间超过预设时间阈值且本地缓存中等待补传日志的数量超过预设数量阈值时：以预设时间阈值为时间点对本地缓存中等待补传的日志对等待补传日志进行切分，按最早创建时间至预设时间阈值所在时间节点进行排序，直至日志的数量等于预设数量阈值，以排序后的日志作为目标日志，压缩打包处理，以压缩包的方式进行补传。4.根据权利要求3所述的一种客户端日志收集方法，其特征在于：以压缩包的方式进行补传时，还包括：对当前日志上传网络的网络传输质量进行评估；根据当前日志上传网络的网络传输质量的评估结果，对当前日志上传网络的网络传输质量进行打分；根据日志上传网络的网络传输质量的打分，对预设时间阈值或预设数量阈值进行调整。5.根据权利要求4所述的一种客户端日志收集方法，其特征在于：对当前日志上传网络的网络传输质量进行评估包括：根据诊断设备发送的上行数据生成相应的上...

【专利技术属性】
技术研发人员：刘义雷，于龙，
申请(专利权)人：上海星融汽车科技有限公司，
类型：发明
国别省市：