一种基于稀疏化处理的移动节点监测数据序列压缩方法技术

本发明专利技术公开了一种基于稀疏化处理的移动节点监测数据序列压缩方法。本方法包括序列稀疏化处理和稀疏序列编码两个过程。根据移动节点监测数据之间存在的时间相关性以及序列局部时间相关性强于整体时间相关性，引入序列相关性重排和差分运算消除相邻监测数据之间时间冗余，通过前缀偏移编码和相邻位异或运算对数据进行稀疏化处理，再通过稀疏编码进一步去除序列中的冗余。本方法能有效地减少无线通信数据量，降低移动节点能耗，延长移动节点使用周期。

【技术实现步骤摘要】
一种基于稀疏化处理的移动节点监测数据序列压缩方法
本专利技术属于数据处理
，尤其涉及一种基于稀疏化处理的移动节点监测数据序列压缩方法。
技术介绍
随着全球化信息进程和无线通信技术的发展，通信网络已经从人与人之间，发展到物与物之间的通信。物联网技术引起了越来越多的关注，各行业对信息化也提出了更高的要求，对信息化的认识也由原先单纯的数字化转变为数字化和网络化以及无线化相结合，行业信息化建设不断深入，通过无线远程传输系统传输数据可以提升效率、降低成本，且采取多次采集一次传输的方式有利于服务器对监测数据进行数据分析。由于无线传输距离较远，移动节点多由干电池进行供电，研究如何减少移动节点能耗，延长节点生命周期十分必要。数据压缩是移动节点节能的方式之一，通过消除节点采集数据冗余减少通信数据量，不仅可以减少能耗，还能有效解决网络拥塞的问题，提高带宽利用率和传输效率，在很多应用中已得到广泛的应用。然而，除能量受限外，存储空间和计算处理能力也受到限制。这就对运行在移动节点上的算法程序的规模和计算复杂度提出了一定的要求。如何利用有限的计算能力和存储空间，设计无损数据压缩算法，节约节点的能量，延长节点生命周期是设计者迫切需要考虑的问题。传统的无损数据算法可以分为基于统计特性的数据压缩和基于字典的数据压缩。基于统计特性的算法经典算法有哈夫曼编码。哈夫曼编码根据符号出现概率，构造一棵最优哈夫曼树，对出现概率高的符号采用较短的代码代替，对概率低的符号采用长代码代替，使得哈夫曼编码的平均长度最短。基于字典的数据压缩是在Lempel和Ziv提出的LZ77和LZ78编码的基础上衍生出的一系列的算法，如LZW、LZMW、S-LZW等。字典编码利用字典的方式对字符串直接编码，使每个字符串直接对应于一个标识，字典编码又可根据字典生成方式分为静态字典(初始化字典固定不变)和动态字典(根据读入数据动态生成和维护)。但不管是哈夫曼编码还是字典编码，都是通用型压缩方式，未考虑数据内容，且均需要额外的内存开销，当构建的字典和哈夫曼树过大时，查询时效率较低。
技术实现思路
本专利技术的主要目的是设计一种基于稀疏化处理的移动节点监测数据序列压缩方法，其复杂度低，易移植于能量、内存和计算能力有限的无线远程数据传输系统终端移动节点。该压缩方法能对移动节点监测数据序列进行有效的压缩，降低通信数据量，降低移动节点能耗，延长移动节点使用周期，且服务器能对接收的数据进行无损还原。为达到上述目的，本专利技术的构思是：针对无线远程数据传输系统中移动节点监测多个环境变量数据，降低移动节点能耗和提高网络传输效率而专利技术。本专利技术结合了数据内容之间的时间相关性，提出了一种基于移动节点监测数据序列的稀疏化处理方法和稀疏序列压缩方法。根据上述专利技术构思，本专利技术采用下述技术方案：一种基于稀疏化处理的移动节点监测数据序列压缩方法，压缩过程包含序列稀疏化处理和稀疏序列编码两个过程，具体实现步骤如下：a)序列稀疏化处理(a-1)、移动节点根据传输数据帧格式，获取本次上传周期内序列采集次数m和单次采集序列中变量个数n。构建初始序列矩阵A。(a-2)、对初始序列矩阵A进行转置操作，得到的转置矩阵称为相关性重排矩阵AT。(a-3)、对相关性重排矩阵AT中的行向量Vi，记录最小值vmin，将行向量Vi中每个元素和最小值做差分处理，得到差分重排行向量Di，将最小值作为Di的第一个元素。(a-4)、依次对采集次数m、变量个数n和Di中元素进行前缀偏移编码。对于数据d，满足：c020+c121+…+cm2m<d<c020+c121+…+cn2n，其中0≤ci≤3且当ci>0时，ci-1＝3。前缀码长度计算起始数据和偏移码长度偏移量ds＝d-Cpstart，偏移码Cs为Ls位ds的二进制编码。数据d的前缀偏移编码即为前缀码Cp和偏移码Cs的组合码。(a-5)、从前缀偏移编码序列第二位开始，依次和前一位做异或运算，获得稀疏二进制编码。b)稀疏序列编码(b-1)、获取稀疏序列长度n和非零元素个数k。(b-2)、根据n和k计算序列分组长度L和分组编码位数i。其中，(b-3)、用2位二进制记录编码信息：00,01,10,11分别表示编码位数i为2,3,4,5位。(b-4)、稀疏序列编码初始化编码位置pStart，读取长度为L的序列进行编码(若此时未编码序列长度小于L则读完剩余序列)。若本次读取的序列为L位全零序列，标记位为0，码本位为空，本序列所对应的最终编码为0，pStart＝pStart+L。若本次读取的序列不为全零序列，首先将标志位置1，并根据序列首个非零位置p记录对应码字，将移动编码位置移动到首个非零位的下一位：pStart＝pStart+p+1。本专利技术与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：1)本专利技术算法复杂度低。序列稀疏化处理部分只涉及转置、差分运算和前缀偏移编码。稀疏序列压缩部分只需要实现基本数据的计数操作，适用于能量和计算能力有限的设备。2)本专利技术引入数据相关性重排，可以更好的消除数据序列之间存在的时间相关性冗余。通过前缀偏移编码将整数序列压缩转变为稀疏二进制序列压缩，可以提高压缩效果。3)本专利技术所涉及的字典信息不需要预先存储在内存中，只需几位二进制记录字典位数信息即可恢复出字典信息。减少了通用字典压缩算法所需要的存储和维护消耗。附图说明图1为本专利技术方法的流程图。图2为前缀偏移编码稀疏化流程图。图3为稀疏二进制序列编码流程图。具体实施方式下面结合附图，对本专利技术的具体实施作进一步说明。本方法的整体压缩流程如图1所示。在一个上传周期内，移动节点间隔相同时间多次进行数据采集，每一次数据采集涉及多个环境变量。在一个上传周期内，移动节点采集到的数据序列可表示为：D＝{D1,D2,D3,…,Dm}，其中m表示本上传周期内的采集次数，Di表示单次采集序列，Di＝{v1,v2,…,vn}。vj表示第j个变量数值，n表示采集的变量个数，一般在数据帧格式中进行规定。在序列稀疏化处理部分，首先记录本次上传周期内采集次数m和变量个数n。并通过数据帧中的数据域格式，构建初始序列矩阵A。在多次采集的数据序列中，相同变量数据变化趋势相同，数据序列局部时间相关性强于整体时间相关性。对初始序列矩阵进行转置操作，得到的转置矩阵称为相关性重排矩阵，记作AT。AT由n个相关性重排行向量Vi组成，每个行向量记录了当前变量第1次到第m次采集的数据值。对相关性重排行向量Vi，记录最小值vmin，将每个元素和最小值做差分处理，得到差分重排行向量Di，将最小值vmin作为差分重排行向量Di的第一个元素。在实际应用中，一个环境变量在一段时间内的采样值有着明显的时间相关性。即后一个时刻的采样值仅和前一个时刻的采样值有关，且变化幅度较小。针对此特性，本专利技术采用前缀偏移编码，结合二进制相邻位异或运算对采集次数m、变量个数n和行向量Di中的元素进行稀疏化处理。前缀偏移编码稀疏化流程图如图2所示，由前缀编码和相邻位异或运算两部分组成。前缀偏移编码是将一个整数值转换成一组二进制序列的编码过程。首先对采集次数m和变量个数n进行编码，再对差分重排行向量Di中元素进行编码。编码由前缀码Cp和偏移码C本文档来自技高网...

【技术保护点】
1.一种基于稀疏化处理的移动节点监测数据序列压缩方法，其压缩过程包含序列稀疏化处理和稀疏序列编码两个过程，具体实现步骤如下：a)序列稀疏化处理(a‑1)、移动节点根据传输数据帧格式，获取本次上传周期内序列采集次数m和单次采集序列中变量个数n，构建初始序列矩阵A；(a‑2)、对初始序列矩阵A进行转置操作，得到的转置矩阵称为相关性重排矩阵AT；(a‑3)、对相关性重排矩阵AT中的行向量Vi，记录最小值vmin，将行向量Vi中每个元素和最小值做差分处理，得到差分重排行向量Di，将最小值作为Di的第一个元素；(a‑4)、依次对采集次数m、变量个数n和Di中元素进行前缀偏移编码；对于数据d，满足：c02

【技术特征摘要】
1.一种基于稀疏化处理的移动节点监测数据序列压缩方法，其压缩过程包含序列稀疏化处理和稀疏序列编码两个过程，具体实现步骤如下：a)序列稀疏化处理(a-1)、移动节点根据传输数据帧格式，获取本次上传周期内序列采集次数m和单次采集序列中变量个数n，构建初始序列矩阵A；(a-2)、对初始序列矩阵A进行转置操作，得到的转置矩阵称为相关性重排矩阵AT；(a-3)、对相关性重排矩阵AT中的行向量Vi，记录最小值vmin，将行向量Vi中每个元素和最小值做差分处理，得到差分重排行向量Di，将最小值作为Di的第一个元素；(a-4)、依次对采集次数m、变量个数n和Di中元素进行前缀偏移编码；对于数据d，满足：c020+c121+…+cm2m<d<c020+c121+…+cn2n，其中0≤ci≤3且当ci>0时，ci-1＝3；前缀码长度计算起始数据和偏移码长度偏移量ds＝d-Cpst...

【专利技术属性】
技术研发人员：严军，范欢欢，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海,31