用于性能数据压缩和解压缩的方法、设备和系统技术方案

本发明专利技术的实施方式公开用于性能数据压缩和解压缩的方法、设备和系统。该方法包括识别性能数据样本流所具有的一个或者多个周期；将性能数据样本流按照识别出的周期划分成一个或者多个性能数据样本集；计算每个性能数据样本集的数字特征值；以及从性能数据样本集中去除计算出的相应数字特征值，以得到性能样本数据流的残差值。

【技术实现步骤摘要】

本专利技术一般地涉及性能数据的处理，以及更具体地，本专利技术涉及用于具有周期性特性的性能数据的压縮和解压縮的方法、设备和系统。
技术介绍
性能管理数据库(Performance Management Database,PMDB)存储性能数据，通过 分析其中存储的性能数据，可以支持对性能数据涉及的系统进行性能管理。如何高效地在 PMDB中存储庞大数量的性能数据，是一个关键问题。 例如，在网络环境中，性能数据通常包括与例如物理链路的实时负载情况、网络节点的CPU/内存利用率或者每个机架的功耗和温度变化相关的各种数据。随着网络规模的日益膨胀，PMDB需要保存相当高数量级的性能数据。例如，由于目前大型网络的网络设备数量在百万量级，因此仅物理层的性能数据(裸数据)就达千亿级字节的数量。 研究发现网络性能数据具有周期性(seasonal)的特性。为了便于理解这样的周期性特性，图1示意性示出了具有周期性特性的性能数据的分布。如图1所示，网络性能数据首先呈现出以年为单位的周期性，在以年为单位的周期性内又呈现出以月为单位的周期性，在以月为单位的周期性内又呈现出以星期为单位的周期性，而在以星期为单位的周期性内又呈现出以天为单位的周期性。网络性能数据之所以呈现出这样的周期性特性是因为网络的性能与用户的数量及其访问行为、网络的定时维护等有直接的关系。 首先，在用户的数量方面，当用户集中访问网络时，网络的负载将会随之加重。反之，当访问网络的用户数量减小时，则该网络的通信负载也就会相应地减轻。其次，在用户访问网络的访问行为方面，从一年来看，在一年的四个季节中由于在夏季用户通常休息的时间较短而访问网络的时间较长，因此平均网络在线用户的数目相比较于冬季来说就要多一些，这就体现出以月为单位的周期性；从一个星期来看，通常周末的网络访问量要大于平时的访问量，这就体现出以星期为单位的周期性；从一天来看，通常从早晨上班开始到午餐时间之间访问网络的用户数目要大于午餐时段访问网络的用户数目，这就体现出以天为单位的周期性。可以看出，由于用户访问网络的访问行为具有明显的周期性，使得网络的性能数据也就同样地体现出周期性。 此外网络中还有定时的维护服务，例如，每天午夜网络的设备同步日志、每天某个 固定时刻的病毒扫描等。这类的具有严格周期性的维护服务也使得网络性能数据具有周期 性特性。 现有的性能数据分析算法(例如业务估计中广泛使用的"Holt-Winter"算法)不 仅需要网络最近一段时间的性能数据而且需要以前某个时段的性能数据。因此，在实际的 网络性能管理操作中，当在执行性能数据的压縮存储时，存储器实体需要存储的是高效压 縮的且保持足够历史细节的性能数据。而当各种应用系统(包括来自第三方的应用系统) 和性能管理系统等想要查询特定时间的性能数据时，对性能数据进行解压的操作应该是简 单和有效的，换句话说，在查询时刻易于重构压縮的性能数据且保持足够的准确度。对此，目前并没有一种高效简单的方法。 因此，本领域需要一种用于性能数据压縮和解压縮的方法、设备和系统，其能够利 用性能数据、例如网络性能数据所具有的周期性特性对性能数据进行高效地压縮以便适合 于在PMDB中存储、提取和管理。该压縮操作同时能够保留关于网络性能足够的历史细节， 而在当用户查询给定时间点的性能数据时，易于对经压縮的性能数据进行解压縮处理以获 得给定时间的重构的性能数据。
技术实现思路
本专利技术的一个目的是提供一种对性能数据进行高效地压縮以便易于在PMDB中存 储、提取和管理的方法、设备和系统。 根据本专利技术的一个实施方式，提供一种用于对性能数据进行压縮的方法，该方法 可以包括识别性能数据样本流所具有的一个或者多个周期；将性能数据样本流按照识别 出的周期划分成一个或者多个性能数据样本集；计算每个性能数据样本集的数字特征值； 以及从性能数据样本集中去除计算出的相应数字特征值，以得到性能样本数据流的残差 值。 根据本专利技术的另一个实施方式，提供一种用于对性能数据进行压縮的设备，该设 备可以包括识别装置，用于识别性能数据样本流所具有的一个或者多个周期；划分装置， 用于将当前的性能数据样本流按照识别的周期划分成多个性能数据样本集；计算装置，用 于计算每个性能数据样本集的数字特征值；去除装置，用于从性能数据样本集中去除计算出的相应数字特征值，以得到该性能样本数据流的残差值。 根据本专利技术的另一个实施方式，提供一种对性能数据进行解压縮的方法，该方法 可以包括确定待解压縮的性能数据值在各个周期的各个性能数据样本集和残差值中的位 置；获取与该位置相关的各个数据样本集的数字特征值和残差值；以及处理获取的各个数 据样本集的数字特征值和残差值以得到性能数据值。 根据本专利技术的另一个实施方式，提供一种对性能数据进行解压縮的设备，该设备 可以包括确定装置，用于确定待解压縮的性能数据值在各个周期的各个性能数据样本集和 残差中的位置；获取装置，用于获取与该位置相关的各个数据样本集的数字特征值和残差 值；处理装置，用于处理获取的各个数据样本集的数字特征值和残差值以得到性能数据值。 根据本专利技术的另一个实施方式，提供一种用于性能数据的处理系统，该系统可以 包括监视器，被配置为用于识别性能数据样本流所具有的一个或者多个周期；压縮器，被 配置为用于将当前的性能数据样本流按识别的周期划分成多个性能数据样本集；计算每个 性能数据样本集的数字特征值；以及从性能数据样本集中去除计算出的相应数字特征值， 以得到性能样本数据流的残差值，以及将数字特征值和残差值保存到性能管理数据库中； 以及重构器，被配置为用于当从性能管理数据库查询性能数据时，确定待解压縮的性能数 据值在各个周期的各个性能数据样本集和残差中的位置，获取与该位置相关的各个数据样 本集的数字特征值和残差值，以及处理获取的各个数据样本集的数字特征值和残差值以得 到性能数据值。 本专利技术的实施方式利用了性能数据所具有的周期性特性对性能数据进行压縮和 解压縮。因此，压縮后的性能数据在保持了足够的历史细节的同时实现了较好的压縮比，便5于在性能管理数据库中存储。相应的解压縮过程也由于利用到性能数据的周期性特性而变 得更为容易实现并同时获得低的误差率。另外，根据本专利技术实施例的方法和设备可以无缝 地与现有的性能管理数据库集成而无需其任何的基础结构改变。附图说明 通过以下结合附图的说明，并且随着对本专利技术的更全面了解，本专利技术的其他目的 和效果将变得更加清楚和易于理解，其中 图1示意性示出了具有周期性特性的性能数据的分布； 图2示意性示出了利用频谱分析来检测具有周期性特性的性能数据； 图3示出了实际的性能数据信号及其功率谱图； 图4示意性示出根据本专利技术的一个实施方式的对网络的性能数据样本流压縮处 理的示意流程图； 图5示意性示出了对性能数据样本流提取数字特征后的残差数据进行处理的操 作； 图6示出根据本专利技术的一个实施方式的对具有周期性的性能数据进行压縮的方 法的示意性流程图； 图7示出根据本专利技术的一个实施方式的对实施如图4或图6所述的压縮处理后的 性能数据进行解压縮的方法的示意性流程图； 图8示出根据本专利技术的方法对性能数据进行压縮后解压縮恢复的性能数据与原 始性能数据的比较示图； 图9示意性示出根据本本文档来自技高网...

【技术保护点】
一种用于对性能数据进行压缩的方法，该方法包括：识别性能数据样本流所具有的一个或者多个周期；将性能数据样本流按照识别出的周期划分成一个或者多个性能数据样本集；计算每个性能数据样本集的数字特征值；以及从性能数据样本集中去除计算出的相应数字特征值，以得到性能样本数据流的残差值。

【技术特征摘要】

【专利技术属性】
技术研发人员：朱延峰，张轶博，周晋，夏寅贲，英春，陆薇，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：US[美国]