一种日志压缩监控方法及装置制造方法及图纸

本发明专利技术提供一种日志压缩监控方法及装置，用以及时监控日志压缩情况，从而提高日志压缩的准确率。本方法按照设定的时间间隔，获取日志接收服务器在该时间段内压缩的日志文件的属性信息，根据该属性信息，确定该时间段内的压缩参数，根据该压缩参数与保存的平均压缩参数的差值，确定该时间段内日志压缩是否正常。本发明专利技术实施例还提供了相应的日志压缩监控装置。由于在本发明专利技术实施例中确定该时间段内的压缩参数，根据该压缩参数与平均压缩参数的差值，确定该时间段内日志压缩是否正常，从而实现对日志压缩的监控，可以有效的提高日志压缩的准确率。

【技术实现步骤摘要】
一种日志压缩监控方法及装置
本专利技术涉及数据处理
，尤其涉及一种日志压缩监控方法及装置。
技术介绍
每隔一段时间客户端向服务器发送一条数据，该条数据携带了客户端行为的历史信息和最新的信息，随着发送次数的增加，越晚发送的数据携带的信息越新，该类型的数据被称为快照型数据。在每条快照型数据中携带有客户端此次操作行为的历史信息和最新的信息，操作行为例如可以为播放行为，浏览行为等。随着客户端与服务器交互次数的增加，时间越往后客户端向服务器发送的快照型数据中携带的信息越多。例如用户在通过客户端观看视频的过程中，服务器无法预测用户在下一个时间点所处的状态，只能依靠客户端每隔段时间向服务器发送的快照型数据。由快照型数据组成的日志称为快照型日志。由于每条快照型数据中包含有客户端的历史信息及最新的信息，因此对于快照型日志，新接收到的快照型日志比之前接收到的快照型日志携带的信息更多，数据也更新，并且新接收到的快照型日志中包含之前快照型日志中的数据，最新一条快照型日志中携带有此次操作行为在当前时间之前的所有数据，即包含针对此次操作行为之前快照日志中携带的数据。现有技术中，日志接收服务器接收从客户端发送的快照型日志，日志处理服务器从日志接收服务器获取快照型日志。日志处理服务器和日志接收服务器分别部署在不同的服务器上，当对日志进行处理时，日志处理服务器将日志文件从快照型日志接收服务器通过网络下载到本地，并对快照型日志进行处理。但日志接收服务器中保存的原始日志数量较多，而日志接收服务器与日志处理服务器之间的带宽有限，将每条日志从日志接收服务器传输到日志处理服务器将消耗大量的时间，另外，由于需要将接收服务器中的日志下载到处理服务器进行处理，因此日志处理服务器也需要大量的存储空间，同时，由于快照型日志中针对同一操作行为的快照型日志包含的数据基本相同，如果每条快照型日志都进行解析，则会导致处理效率降低，造成处理时间的大量浪费。因此，日志接收服务器在将快照型日志发送到日志处理服务器之前，一般先对快照型日志进行压缩，将压缩后的快照型日志发送到日志处理服务器。但日志接收服务器在对快照型日志进行压缩时，无法及时有效的监控日志压缩情况，从而无法保证每条日志都能被准确压缩，但现有技术中又没有对日志压缩进行监控的相应方法，导致快照型日志的压缩准确率较低，影响后期的使用。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种日志压缩监控方法及装置。本专利技术实施例提供了一种日志压缩监控方法，该方法包括：按照设定的时间间隔，获取日志接收服务器在本时间段内压缩的日志文件的原始日志文件及压缩后的日志文件的属性信息；根据所述属性信息，确定在该时间段内日志接收服务器的压缩参数；判断所述压缩参数与保存的平均压缩参数的差值是否位于设定的第一阈值范围内；当所述差值位于设定的第一阈值范围内时，确定该时间段内日志压缩正常，否则，确定该时间段内日志压缩异常。在本专利技术实施例中为了有效的对日志压缩进行监控，提高压缩的准确率，所述压缩参数包括：压缩率和压缩速度中的一种或两种；当所述压缩参数为压缩率时，所述确定在该时间段内日志接收服务器的压缩参数包括：根据获取的属性信息中压缩后的日志文件包含的字节数，及原始日志文件包含的字节数，确定该时间段内日志接收服务器的压缩率；当所述压缩参数为压缩速度时，所述确定在该时间段内日志接收服务器的压缩参数包括：根据获取的属性信息中原始日志文件包含的字节数，及压缩原始日志文件的时间，确定该时间段内日志接收服务器的压缩速度。在本专利技术实施例中为了进一步提高监控的准确性，所述确定该时间段内日志压缩正常时，所述方法还包括：判断所述压缩参数与保存的上一时间段内的压缩参数的差值是否位于设定的第二阈值范围内；当与保存的上一时间段内的压缩参数的差值位于设定的第二阈值范围内时，确定该时间段内日志压缩正常，否则，确定该时间段内日志压缩异常。在本专利技术实施例中为了进一步提高监控的准确性，所述确定该时间段内日志压缩正常时，所述方法还包括：判断所述压缩参数是否不小于保存的平均压缩参数的最小值；当所述压缩参数不小于保存的平均压缩参数的最小值时，确定该时间段内日志压缩正常，否则，确定该时间段内日志压缩异常。在本专利技术实施例中为了进一步提高监控的准确性，所述方法还包括：确定该时间段内压缩的日志文件的原始日志文件包含的字节数；判断该原始日志文件包含的字节数与保存的历史同一时间段内日志文件的平均字节数的差是否位于设定的第三阈值范围内；当与保存的历史同一时间段内日志文件的平均字节数的差位于设定的第三阈值范围内时，确定该时间段内接收的日志文件正常，否则，确定该时间段内接收的日志文件异常；或确定该时间段内压缩的日志文件的原始文件包含的字节数，判断该字节数是否小于保存的历史同一时间段内日志文件的平均字节数的最小值，当小于所述最小值时，确定该时间段内的日志文件异常，否则，确定该时间段内接收的日志文件正常；或确定该时间段内压缩的日志文件的原始文件包含的字节数，判断该字节数是否大于保存的历史同一时间段内日志文件的平均字节数的最大值，当大于所述最大值时，确定该时间段内的日志文件异常，否则，确定该时间段内接收的日志文件正常。本专利技术实施例提供了一种日志压缩监控装置，该装置包括：获取模块，用于按照设定的时间间隔，获取日志接收服务器在本时间段内压缩的日志文件的原始日志文件及压缩后的日志文件的属性信息；确定模块，用于根据所述属性信息，确定在该时间段内日志接收服务器的压缩参数；判断模块，用于判断所述压缩参数与保存的平均压缩参数的差值是否位于设定的第一阈值范围内；当所述差值位于设定的第一阈值范围内时，确定该时间段内日志压缩正常，否则，确定该时间段内日志压缩异常。在本专利技术实施例中为了有效的对日志压缩进行监控，提高压缩的准确率，所述确定模块，具体用于当所述压缩参数为压缩率时，根据获取的属性信息中压缩后的日志文件包含的字节数，及原始日志文件包含的字节数，确定该时间段内日志接收服务器的压缩率；当所述压缩参数为压缩速度时，根据获取的属性信息中原始日志文件包含的字节数，及压缩原始日志文件的时间，确定该时间段内日志接收服务器的压缩速度。在本专利技术实施例中为了进一步提高监控的准确性，所述判断模块，还用于判断所述压缩参数与保存的上一时间段内的压缩参数的差值是否位于设定的第二阈值范围内；当与保存的上一时间段内的压缩参数的差值位于设定的第二阈值范围内时，确定该时间段内日志压缩正常，否则，确定该时间段内日志压缩异常。在本专利技术实施例中为了进一步提高监控的准确性，所述判断模块，还用于判断所述压缩参数是否不小于保存的平均压缩参数的最小值；当所述压缩参数不小于保存的平均压缩参数的最小值时，确定该时间段内日志压缩正常，否则，确定该时间段内日志压缩异常。在本专利技术实施例中为了进一步提高监控的准确性，所述判断模块，还用于确定该时间段内压缩的日志文件的原始日志文件包含的字节数；判断该原始日志文件包含的字节数与保存的历史同一时间段内日志文件的平均字节数的差是否位于设定的第三阈值范围内；当与保存的历史同一时间段内日志文件的平均字节数的差位于设定的第三阈值范围内时，确定该时间段内接收的日志文件正常，否则，确定该时间段本文档来自技高网...

【技术保护点】
一种日志压缩监控方法，其特征在于，该方法包括：按照设定的时间间隔，获取日志接收服务器在本时间段内压缩的日志文件的原始日志文件及压缩后的日志文件的属性信息；根据所述属性信息，确定在该时间段内日志接收服务器的压缩参数；判断所述压缩参数与保存的平均压缩参数的差值是否位于设定的第一阈值范围内；当所述差值位于设定的第一阈值范围内时，确定该时间段内日志压缩正常，否则，确定该时间段内日志压缩异常。

【技术特征摘要】
1.一种日志压缩监控方法，其特征在于，该方法包括：按照设定的时间间隔，获取日志接收服务器在本时间段内压缩的日志文件的原始日志文件及压缩后的日志文件的属性信息；根据所述属性信息，确定在该时间段内日志接收服务器的压缩参数；判断所述压缩参数与保存的平均压缩参数的差值是否位于设定的第一阈值范围内；当所述差值位于设定的第一阈值范围内时，确定该时间段内日志压缩正常，否则，确定该时间段内日志压缩异常。2.如权利要求1所述的方法，其特征在于，所述压缩参数包括：压缩率和压缩速度中的一种或两种；当所述压缩参数为压缩率时，所述确定在该时间段内日志接收服务器的压缩参数包括：根据获取的属性信息中压缩后的日志文件包含的字节数，及原始日志文件包含的字节数，确定该时间段内日志接收服务器的压缩率；当所述压缩参数为压缩速度时，所述确定在该时间段内日志接收服务器的压缩参数包括：根据获取的属性信息中原始日志文件包含的字节数，及压缩原始日志文件的时间，确定该时间段内日志接收服务器的压缩速度。3.如权利要求1或2所述的方法，其特征在于，所述确定该时间段内日志压缩正常时，所述方法还包括：判断所述压缩参数与保存的上一时间段内的压缩参数的差值是否位于设定的第二阈值范围内；当与保存的上一时间段内的压缩参数的差值位于设定的第二阈值范围内时，确定该时间段内日志压缩正常，否则，确定该时间段内日志压缩异常。4.如权利要求3所述的方法，其特征在于，所述确定该时间段内日志压缩正常时，所述方法还包括：判断所述压缩参数是否不小于保存的平均压缩参数的最小值；当所述压缩参数不小于保存的平均压缩参数的最小值时，确定该时间段内日志压缩正常，否则，确定该时间段内日志压缩异常。5.如权利要求1所述的方法，其特征在于，所述方法还包括：确定该时间段内压缩的日志文件的原始日志文件包含的字节数；判断该原始日志文件包含的字节数与保存的历史同一时间段内日志文件的平均字节数的差是否位于设定的第三阈值范围内；当与保存的历史同一时间段内日志文件的平均字节数的差位于设定的第三阈值范围内时，确定该时间段内接收的日志文件正常，否则，确定该时间段内接收的日志文件异常；或确定该时间段内压缩的日志文件的原始日志文件包含的字节数，判断原始日志文件包含的字节数是否小于保存的历史同一时间段内日志文件的平均字节数的最小值，当小于所述最小值时，确定该时间段内的日志文件异常，否则，确定该时间段内接收的日志文件正常；或确定该时间段内压缩的日志文件的原始日志文件包含的字节数，判断原始日志文件包含的字节数是否大于保存的历史同一时间段内日志文件的平均字节数的最大值，当大于所述最大值时，确定该时间段内的日志文件异常，否则，确定该时间段内接收的日志文件正常。6.如权利要求1所述的方法，其特征在于，所述确定该时间段内日志压缩正常时，所述方法还包括：根据确定的所述压缩参数，对保存的平均压缩参数进行更新。7.如权利要求5所述的方法，其特征在于，所述确定时间段内的日志压缩异常，或该时间段内接收的日志文件异常...

【专利技术属性】
技术研发人员：王晓涛，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京;11