一种基于分段的SBR多属性数据压缩方法技术

本发明专利技术提供了一种基于分段的SBR多属性数据压缩算法。其主要包括：对于采集来的多种属性的性能数据，通过相关系数矩阵将属性分为基信号和非基信号；用基信号回归表示非基信号并得出回归参数，若由回归参数表示的预测值与实际值的误差大于阈值，则将属性进行分段，再进行回归表示，直到误差小于阈值；最后只需传送基信号和回归参数。本发明专利技术提出的方法在满足一定误差要求的前提下，能够压缩待传输的性能数据，节省了带宽，提高了性能数据的传输效率。

【技术实现步骤摘要】

本专利技术涉及一种基于分段的SBR多属性数据压缩方法。本专利技术属于异构网络领域，涉及异构网络性能管理中对性能数据进行压缩处理的方法。
技术介绍
随着无线网络技术(蜂窝网络、卫星网络、移动自组网、传感器网络等)的发展,计算机网络已经不再局限于有线、单一同构网络了,而是呈现高度异构化的趋势即向异构网络方向发展。异构网络不是一个新兴的网络，而是将原有的网络（例如高速有线网络、低速移动无线网络和卫星通信网络等）中不同的网络设备，不同通信技术和不同网络协议相互连接而形成的网络形态。异构网络不是一个新兴的网络，它是将现有的多种网络协同组合成一个整体的混合网络。由于包含的网络设备数量庞大、种类繁多、功能迥异、结构多样，而且随着网络规模不断扩大，网络的复杂程度不断的增加，当多个异构网连在一起时，经常出现无法预知的交互作用，这种复杂性经常会导致性能下降，迫切需要对异构网络进行管理和监控。异构网络包含多个网络的不同设备，为了保证不同设备的正常运行，网络管理系统需要实时监测异构网络中的网络参数和设备参数，设备种类的繁多造成海量性能数据，其在传输的过程中不仅占据大量带宽，而且影响性能数据的传输的效率。由于性能数据间具有相关性，如何在保证性能数据传输不失真的情况下，减少大量的性能数据，是目前急需解决的问题。
技术实现思路
技术问题：本专利技术针对异构网络中海量性能数据占据大量带宽，影响传输效率问题，提供一种基于分段的SBR多属性数据压缩方法，用来去除属性间的冗余性，减少待传输的性能数据量，节省带宽资源，提高数据传输效率。技术方案：本专利技术的基于分段的SBR多属性数据压缩方法，包括如下步骤：1)对于采集来的性能数据，根据属性间的相关性，计算相关系数矩阵，规范化误差和收益界；2)建立基集合BaseSet和候选集合CandSet，把所有属性初始化为候选集合；3)计算相关系数矩阵中每行相关系数的绝对值之和，并把值最大的那个属性划归到基集合中，作为第一个基信号；4)计算剩余属性的期望收益；5)若期望收益大于收益界，则把相对应的属性划归到基集合中作为基信号，并执行4）；若期望收益小于收益界，则相对应的属性保留在候选属性中作为非基信号；6）用基信号线性表示非基信号，并得出回归参数；7）利用基于分段的SBR算法计算预测值与实际值之间的误差平方和，若误差平方和大于阈值，则对属性数据进行分段，并执行6）；若误差平方和小于阈值，则线性表示结束，传输基信号，对于非基信号，只需传输相对应的回归参数即可。收益界的选取决定了基信号的个数，收益界越大，基信号越少，误差越大，数据压缩效率越高。因此误差平方和进行判决的阈值采用收益界值。附图说明图1是本专利技术的异构网络性能管理架构图。图2基于本专利技术的异构网络性能数据处理流程。图3是本专利技术的基于分段的SBR算法流程图。具体实施方式下面结合附表和附图与具体实施方式对本专利技术作进一步详细描述。图1是本专利技术的异构网络性能管理架构图，性能数据在异构网络中的处理流程为：（1）数据采集器以周期轮训的方式采集异构网络中的用户设备和网络设备的性能数据，如流量、负载、丢包、设备温度、CPU利用率、网络延迟，性能数据通过传输设备（路由器或交换机）进行传输，然后存储在局部数据库中；（2）网管软件从局部数据库提取实时性能数据和当前历史性能数据，通过对性能数据分析、统计、整理，生成性能报告、发出相应的性能配置指令，并把有关的性能数据存储在全局数据库中。考虑到异构网络是一个混合的网络，包含多个网络的不同设备，设备种类的繁多造成海量性能数据，其在传输的过程中不仅占据大量带宽，而且影响性能数据的传输的效率。由于性能数据具有相关性，因此本专利技术提供一种基于分段的SBR算法，以收益界做为判决门限，并采用分段近似回归的方法处理处理属性间的相关性。该方法作用在传输设备中（如路由器或交换机），用于去除性能数据间的冗余性，减少性能数据的传输量，达到节省带宽，提高性能数据传输效率的目的。图2为基于本专利技术的异构网络性能数据处理流程。下面给出本专利技术的具体实施案例：（1）设路由器或交换机中存储了N个时刻采集的某一设备M种属性的性能数据，用矩阵表示为：S=X0X1...XM-1=x0,0x0,1...x0,N-1x1,0x1,1...x1,N-1.........xM-1,0xM-1,1...xM-1,N-1]]>其中，Xi表示设备的第i种属性，xi,j表示第i种属性的第j个采样值。根据相关系数公式，rzy=cov(Z,Y)D(Z)D(Y)=Σi=0N-1[(zi-E(Z))(yi-E(Y))Σi=0N-1(zi-E(Z))2Σi=0N-1(yi-E(Y))2,]]>计算属性间的相关系数矩阵为R=R0R1...RM-1=r0,0r0,1...r0,M-1r1,0r1,1...r1,M-1............rM-1,0rM-1,1...rM-1,M-1;]]>规范化误差为enorm＝|norm(Z)-norm(Y)|，其中Ymax和Ymin分别为一段时间内采样数据的最大值和最小值，norm(Y)∈[0,1]；收益界为（2）建立基集合BaseSet和候选集合CandSet，把所有属性初始化为候选集合。初始化时，候选集合包含M个序列，基集合为空。若将候选集合中的非基属性Xj添加到基集合，采用期望收益作为判决依据。期望收益表示为incomej=Σk(|rjk|-bestfitk),]]>bestfitj=max(|rij/)，i∈BaseSet。基集合BaseSet的结构如下：struct{double r;//bestfit[i].r表示Xi与基集合的元素之间具有的相关系数绝对值的最大值int pos;//bestfit[i].pos表示Xi将用Xpos作基进行回归，Xi通过基集合中的Xpos达到最佳相关本文档来自技高网...

【技术保护点】
一种基于分段的SBR多属性数据压缩方法，其特征在于包含以下步骤：1)根据属性间的相关性，计算相关系数矩阵，规范化误差和收益界；2)建立基集合BaseSet和候选集合CandSet，把所有属性初始化为候选集合；3)计算相关系数矩阵中每行相关系数的绝对值之和，并把值最大的那个属性划归到基集合中，作为第一个基信号；4)计算剩余属性的期望收益；5)若期望收益大于收益界，则把相对应的属性划归到基集合中作为基信号，并执行4）；若期望收益小于收益界，则相对应的属性保留在候选属性中作为非基信号；6）用基信号线性表示非基信号，并得出回归参数；7）利用基于分段的SBR算法计算预测值与实际值之间的误差平方和，若误差平方和大于阈值，则对属性数据进行分段，并执行6）；若误差平方和小于阈值，则线性表示结束，传输基信号，对于非基信号，只需传输相对应的回归参数即可。

【技术特征摘要】
1.一种基于分段的SBR多属性数据压缩方法，其特征在于包含以下步骤：
1)根据属性间的相关性，计算相关系数矩阵，规范化误差和收益界；
2)建立基集合BaseSet和候选集合CandSet，把所有属性初始化为候选集
合；
3)计算相关系数矩阵中每行相关系数的绝对值之和，并把值最大的那个属
性划归到基集合中，作为第一个基信号；
4)计算剩余属性的期望收益；
5)若期望收益大于收益界，则把相对应的属性划归到基集合中作为基信号，
并执行4）；若期望收益小于收益界，则相对应的属性保留在候选属性中作为非
基信号；
6）用基信号线性表示非基信号，并得出回归参数；
7）利用基于分段的SBR算法计算预测值与实际值之间的误差平方和，若误
差平方和大于阈值，则对属性数据进行分段，并执行6）；若误...

【专利技术属性】
技术研发人员：张登银，李秀云，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32