【技术实现步骤摘要】
一种日志压缩监控方法及装置
本专利技术涉及数据处理
,尤其涉及一种日志压缩监控方法及装置。
技术介绍
每隔一段时间客户端向服务器发送一条数据,该条数据携带了客户端行为的历史信息和最新的信息,随着发送次数的增加,越晚发送的数据携带的信息越新,该类型的数据被称为快照型数据。在每条快照型数据中携带有客户端此次操作行为的历史信息和最新的信息,操作行为例如可以为播放行为,浏览行为等。随着客户端与服务器交互次数的增加,时间越往后客户端向服务器发送的快照型数据中携带的信息越多。例如用户在通过客户端观看视频的过程中,服务器无法预测用户在下一个时间点所处的状态,只能依靠客户端每隔段时间向服务器发送的快照型数据。由快照型数据组成的日志称为快照型日志。由于每条快照型数据中包含有客户端的历史信息及最新的信息,因此对于快照型日志,新接收到的快照型日志比之前接收到的快照型日志携带的信息更多,数据也更新,并且新接收到的快照型日志中包含之前快照型日志中的数据,最新一条快照型日志中携带有此次操作行为在当前时间之前的所有数据,即包含针对此次操作行为之前快照日志中携带的数据。现有技术中,日志接收服务器接收从客户端发送的快照型日志,日志处理服务器从日志接收服务器获取快照型日志。日志处理服务器和日志接收服务器分别部署在不同的服务器上,当对日志进行处理时,日志处理服务器将日志文件从快照型日志接收服务器通过网络下载到本地,并对快照型日志进行处理。但日志接收服务器中保存的原始日志数量较多,而日志接收服务器与日志处理服务器之间的带宽有限,将每条日志从日志接收服务器传输到日志处理服务器将消耗大量的时间 ...
【技术保护点】
一种日志压缩监控方法,其特征在于,该方法包括:按照设定的时间间隔,获取日志接收服务器在本时间段内压缩的日志文件的原始日志文件及压缩后的日志文件的属性信息;根据所述属性信息,确定在该时间段内日志接收服务器的压缩参数;判断所述压缩参数与保存的平均压缩参数的差值是否位于设定的第一阈值范围内;当所述差值位于设定的第一阈值范围内时,确定该时间段内日志压缩正常,否则,确定该时间段内日志压缩异常。
【技术特征摘要】
1.一种日志压缩监控方法,其特征在于,该方法包括:按照设定的时间间隔,获取日志接收服务器在本时间段内压缩的日志文件的原始日志文件及压缩后的日志文件的属性信息;根据所述属性信息,确定在该时间段内日志接收服务器的压缩参数;判断所述压缩参数与保存的平均压缩参数的差值是否位于设定的第一阈值范围内;当所述差值位于设定的第一阈值范围内时,确定该时间段内日志压缩正常,否则,确定该时间段内日志压缩异常。2.如权利要求1所述的方法,其特征在于,所述压缩参数包括:压缩率和压缩速度中的一种或两种;当所述压缩参数为压缩率时,所述确定在该时间段内日志接收服务器的压缩参数包括:根据获取的属性信息中压缩后的日志文件包含的字节数,及原始日志文件包含的字节数,确定该时间段内日志接收服务器的压缩率;当所述压缩参数为压缩速度时,所述确定在该时间段内日志接收服务器的压缩参数包括:根据获取的属性信息中原始日志文件包含的字节数,及压缩原始日志文件的时间,确定该时间段内日志接收服务器的压缩速度。3.如权利要求1或2所述的方法,其特征在于,所述确定该时间段内日志压缩正常时,所述方法还包括:判断所述压缩参数与保存的上一时间段内的压缩参数的差值是否位于设定的第二阈值范围内;当与保存的上一时间段内的压缩参数的差值位于设定的第二阈值范围内时,确定该时间段内日志压缩正常,否则,确定该时间段内日志压缩异常。4.如权利要求3所述的方法,其特征在于,所述确定该时间段内日志压缩正常时,所述方法还包括:判断所述压缩参数是否不小于保存的平均压缩参数的最小值;当所述压缩参数不小于保存的平均压缩参数的最小值时,确定该时间段内日志压缩正常,否则,确定该时间段内日志压缩异常。5.如权利要求1所述的方法,其特征在于,所述方法还包括:确定该时间段内压缩的日志文件的原始日志文件包含的字节数;判断该原始日志文件包含的字节数与保存的历史同一时间段内日志文件的平均字节数的差是否位于设定的第三阈值范围内;当与保存的历史同一时间段内日志文件的平均字节数的差位于设定的第三阈值范围内时,确定该时间段内接收的日志文件正常,否则,确定该时间段内接收的日志文件异常;或确定该时间段内压缩的日志文件的原始日志文件包含的字节数,判断原始日志文件包含的字节数是否小于保存的历史同一时间段内日志文件的平均字节数的最小值,当小于所述最小值时,确定该时间段内的日志文件异常,否则,确定该时间段内接收的日志文件正常;或确定该时间段内压缩的日志文件的原始日志文件包含的字节数,判断原始日志文件包含的字节数是否大于保存的历史同一时间段内日志文件的平均字节数的最大值,当大于所述最大值时,确定该时间段内的日志文件异常,否则,确定该时间段内接收的日志文件正常。6.如权利要求1所述的方法,其特征在于,所述确定该时间段内日志压缩正常时,所述方法还包括:根据确定的所述压缩参数,对保存的平均压缩参数进行更新。7.如权利要求5所述的方法,其特征在于,所述确定时间段内的日志压缩异常,或该时间段内接收的日志文件异常...
【专利技术属性】
技术研发人员:王晓涛,
申请(专利权)人:北京国双科技有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。