一种数据处理装置、方法、监测设备以及计算机程序产品制造方法及图纸

本公开涉及数据压缩技术领域，具体提供一种数据处理装置、方法、监测设备以及计算机程序产品，数据处理装置包括：处理器、存储器，处理器执行下述过程：获取对目标服务接口的监测数据并将监测数据划分为多个数据组；不同数据组包括不同接口调用子时段内对目标服务接口进行服务调用的调用信息；多个数据组分别对应的接口调用子时段是基于同一目标接口调用时段确定的多个连续子时段；对多个数据组中的至少部分数据组各自的调用信息进行筛除处理，以筛除至少部分正常调用信息，得到筛除处理后的目标数据组；将多个数据组中未进行筛除处理的数据组和筛除处理后的目标数据组作为监测数据的压缩数据。本公开能够保证压缩数据的连续性以及提升压缩率。性以及提升压缩率。性以及提升压缩率。

【技术实现步骤摘要】
一种数据处理装置、方法、监测设备以及计算机程序产品


[0001]本公开涉及数据压缩
，具体而言，涉及一种数据处理装置、方法、监测设备以及计算机程序产品。

技术介绍

[0002]在展示服务接口的性能监测报表时，通常会遇到监测数据规模过大的问题，如果将全量的检测数据都加载到报表上，会产生数据加载困难、报表渲染失败、以及网页崩溃等问题。为了解决监测数据量过大的问题，一种既能够精准描述监测情况、又能够以高压缩比压缩监测数据的方式，成为当前亟待解决的问题。

技术实现思路

[0003]本公开实施例至少提供一种数据处理装置、方法、监测设备以及计算机程序产品第一方面，本公开实施例提供了一种数据处理装置，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行下述数据处理过程：获取对目标服务接口的监测数据，并将所述监测数据划分为多个数据组；不同所述数据组包括不同接口调用子时段内对所述目标服务接口进行服务调用的调用信息；其中，多个数据组分别对应的接口调用子时段是基于同一目标接口调用时段确定的多个连续子时段；对所述多个数据组中的至少部分数据组各自的调用信息进行筛除处理，以筛除至少部分正常调用信息，得到筛除处理后的目标数据组；将所述多个数据组中未进行筛除处理的数据组和筛除处理后的目标数据组，作为所述监测数据的压缩数据。
[0004]这样，在获取目标服务接口的监测数据后，对监测数据进行分组，并针对多个数据组中的至少部分数据组中的调用信息进行筛除处理，以筛除至少部分正常调用信息，以得到筛除处理后的目标数据组，并将未进行筛除处理的数据组和筛除处理后的目标数据组，作为监测数据的压缩数据，该压缩方法通过接口调用子时段对监测数据进行分组，并在数据组基础上进行数据筛除处理，能够保证压缩数据的连续性；同时，通过数据压缩的需要，灵活控制筛除处理过程中，所筛除的调用信息的量，以使得得到的压缩数据能够达到展示需求。
[0005]一种可能的实施方式中，所述数据处理装置，还包括：显示模块；所述处理器，还用于：基于所述压缩数据，控制所述显示模块显示监测数据报表。
[0006]这样，基于压缩数据，控制显示模块显示监测数据报表，压缩数据是从监测数据中筛除了冗余数据后得到的，因此能够给在时间上连续、且响应速度更快的展示内容。
[0007]一种可能的实施方式中，所述处理器，在获取对目标服务接口的监测数据，并将所
述监测数据划分为多个数据组时，用于：响应于接收到监测数据查询请求，基于所述监测数据查询请求中携带的所述目标接口调用时段，从存储原始监测数据的目标存储空间读取所述监测数据；所述监测数据中包括与所述目标接口调用时段对应的多条调用信息；基于目标持续时长，将所述目标接口调用时段划分为多个接口调用子时段；基于每条调用信息中携带的服务调用时间、以及每个接口调用子时段分别对应的起始时间和终止时间，将所述监测数据分为多个数据组。
[0008]一种可能的实施方式中，所述处理器，具体用于：针对每个所述数据组，将该数据组中的调用信息的数量、和目标数量阈值进行比对；响应于该数据组中的调用信息的数量、小于或者等于所述目标数量阈值，则将该数据组确定为与该数据组对应的目标数据组；响应于该数据组中的调用信息的数量大于所述目标数量阈值，则以筛除该数据组中的至少部分正常调用信息为目标，对该数据组中的调用信息进行筛除处理，得到与该数据组对应的目标数据组。
[0009]这样，对于调用信息较少的数据组，无需进行筛除处理，即保证了压缩数据能够正常显示，也保证了对数据的处理效率。
[0010]一种可能的实施方式中，每次服务调用对应的调用信息包括：该次服务调用的执行时长；所述处理器，在对任一数据组进行筛除处理时，具体用于：针对每个所述数据组，进行至少一个迭代周期的数据筛除处理，并在每个迭代周期中，执行：基于当前迭代周期对应的待处理数据组中的多条调用信息分别包括的执行时长，确定目标浮动区间；基于所述待处理数据组中的多条调用信息分别包括的执行时长，确定基准时长，并基于所述目标浮动区间、以及所述基准时长，从所述待处理数据组的调用信息中，确定待筛除的目标调用信息；将所述目标调用信息从所述待处理数据组中筛除，得到与当前迭代周期对应的中间数据组；确定所述当前迭代周期对应的中间数据组中的调用信息是否达到目标压缩条件；响应于未达到所述目标压缩条件，将所述当前迭代周期对应的中间数据组确定为下一迭代周期对应的待处理数据组，并进入下一迭代周期；响应于达到所述目标压缩条件，将所述当前迭代周期对应的中间数据组确定为所述目标数据组。
[0011]这样，通过至少一个迭代周期的数据筛除，能够控制将其中的冗余数据筛除，得到满足显示要求的压缩数据。
[0012]一种可能的实施方式中，所述处理器，在基于当前迭代周期对应的待处理数据组中的多条调用信息分别包括的执行时长，确定目标浮动区间时，用于：基于所述待处理数据组中各条调用信息分别包括的执行时长，对所述待处理数据
组中的多条调用信息进行排序，得到所述待处理数据组中的多条调用信息的排序队列；基于目标筛除阈值、以及所述待处理数据组中调用信息的数量，确定第一排序索引和第二排序索引，并基于所述第一排序索引和所述第二排序索引，从所述排序队列中确定第一调用信息、以及第二调用信息；基于所述第一调用信息包括的执行时长、和所述第二调用信息包括的执行时长，确定所述目标浮动区间。
[0013]一种可能的实施方式中，所述处理器，还用于：基于所述待处理数据组对应的起始时间和/或终止时间，确定与所述待处理数据组对应的时间因子；基于与所述待处理数据组对应的时间因子、和原始筛除阈值，为所述待处理数据组确定目标筛除阈值。
[0014]这样，利用时间因子，控制距离当前时刻较久的数据组对应较高的目标筛除阈值；而距离当前时刻较近的数据组对应较低的目标筛除阈值，以尽量在压缩数据中保留价值较大的调用信息。
[0015]一种可能的实施方式中，处理器，在基于所述待处理数据组中的多条调用信息分别包括的执行时长，确定基准时长，并基于所述目标浮动区间、以及所述基准时长，从所述待处理数据组的调用信息中，确定待筛除的目标调用信息时，用于：将所述排序队列的首个排序索引对应的调用信息的执行时长，确定为所述基准时长；基于所述排序队列中各条调用信息在所述排序队列中的前后顺序，从所述排序队列中确定未遍历到的当前调用信息；所述当前调用信息包括除所述首个排序索引、和最后一个排序索引外的其他排序索引对应的调用信息；将所述当前调用信息包括的执行时长和所述基准时长的差值的绝对值，与所述目标浮动区间进行比对；响应于所述当前调用信息对应的差值小于或者等于所述目标浮动区间，将所述当前调用信息确定为所述目标调用信息，并返回至从所述排序队列中确定未遍历到的当前调用信息的步骤；响应于所述当前调用信息对应的差值大于所述目标浮动区间，基于所述当前调用信息在所述排序队列中的位置，从所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理装置，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行下述数据处理过程：获取对目标服务接口的监测数据，并将所述监测数据划分为多个数据组；不同所述数据组包括不同接口调用子时段内对所述目标服务接口进行服务调用的调用信息；其中，多个数据组分别对应的接口调用子时段是基于同一目标接口调用时段确定的多个连续子时段；对所述多个数据组中的至少部分数据组各自的调用信息进行筛除处理，以筛除至少部分正常调用信息，得到筛除处理后的目标数据组；将所述多个数据组中未进行筛除处理的数据组和筛除处理后的目标数据组，作为所述监测数据的压缩数据。2.根据权利要求1所述的数据处理装置，其特征在于，所述处理器，在获取对目标服务接口的监测数据，并将所述监测数据划分为多个数据组时，用于：响应于接收到监测数据查询请求，基于所述监测数据查询请求中携带的所述目标接口调用时段，从存储原始监测数据的目标存储空间读取所述监测数据；所述监测数据中包括与所述目标接口调用时段对应的多条调用信息；基于目标持续时长，将所述目标接口调用时段划分为多个接口调用子时段；基于每条调用信息中携带的服务调用时间、以及每个接口调用子时段分别对应的起始时间和终止时间，将所述监测数据分为多个数据组。3.根据权利要求1所述的数据处理装置，其特征在于，所述处理器具体用于：针对每个所述数据组，将该数据组中的调用信息的数量、和目标数量阈值进行比对；响应于该数据组中的调用信息的数量小于或者等于所述目标数量阈值，则将该数据组确定为与该数据组对应的目标数据组；响应于该数据组中的调用信息的数量大于所述目标数量阈值，则以筛除该数据组中的至少部分正常调用信息为目标，对该数据组中的调用信息进行筛除处理，得到与该数据组对应的目标数据组。4.根据权利要求3所述的数据处理装置，其特征在于，每次服务调用对应的调用信息包括：该次服务调用的执行时长；所述处理器对任一数据组进行筛除处理时，具体用于，针对所述数据组，进行至少一个迭代周期的数据筛除处理，并在每个迭代周期中，执行：基于当前迭代周期对应的待处理数据组中的多条调用信息分别包括的执行时长，确定目标浮动区间；基于所述待处理数据组中的多条调用信息分别包括的执行时长，确定基准时长，并基于所述目标浮动区间、以及所述基准时长，从所述待处理数据组的调用信息中，确定待筛除的目标调用信息；将所述目标调用信息从所述待处理数据组中筛除，得到与当前迭代周期对应的中间数据组；确定所述当前迭代周期对应的中间数据组中的调用信息是否达到目标压缩条件；响应于未达到所述目标压缩条件，将所述当前迭代周期对应的中间数据组确定为下一
迭代周期对应的待处理数据组，并进入下一迭代周期；响应于达到所述目标压缩条件，将所述当前迭代周期对应的中间数据组确定为所述目标数据组。5.根据权利要求4所述的数据处理装置，其特征在于，所述处理器，在基于当前迭代周期对应的待处理数据组中的多条调用信息分别包括的执行时...

【专利技术属性】
技术研发人员：张锐，
申请(专利权)人：北京集度科技有限公司，
类型：发明
国别省市：