一种电能质量检测数据的编码压缩方法及存储介质技术

本发明专利技术公开了一种电能质量监测数据的编码压缩方法及存储介质，包括：步骤1，电能质量监测数据文件读取；步骤2，构建概要森林；步骤3，时间差分处理，实现电能质量监测数据压缩；步骤4，压缩存储，对完成压缩的电能质量监测数据进行存储，得到最终的压缩数据，数据最终保存格式为json嵌套式数据。本发明专利技术针对当前系统内存储的电能质量监测数据，分析数据间存在的特征与问题，利用监测数据的时空相关性，提供了一种适用于电能质量监测数据的编码压缩方法，解决当前数据编码格式存在大量冗余、数据文件体积过大的问题，降低数据冗余，缩小数据文件体积。文件体积。文件体积。

【技术实现步骤摘要】
一种电能质量检测数据的编码压缩方法及存储介质


[0001]本专利技术涉及数据的编码压缩方法，具体涉及一种基于概要森林和时间差分处理的电能质量检测数据的编码压缩方法及存储介质。

技术介绍

[0002]电能质量监测系统中的监测数据冗余度高、数据文件体积大，电能质量数据数据采集频率高且监测指标数众多，存在空间性与时序性较强的特点。如图1所示，电能质量的量测数据是由监测点ID、量测指标、时间戳以及监测值等组成的四元组。监测点ID由两位省公司编码及8位监测点编码组成。量测指标是复合结构，由多个量测编码拼合而成。对于量测指标结构中的每一项，都有其固定的编码，目前终端采集的量测指标约3000个。
[0003]当前，上述数据编码格式存在这大量冗余、数据文件体积过大等问题，缺乏针对上述数据的能够降低监测数据的冗余度、缩小数据体积的压缩方法。

技术实现思路

[0004]为了解决针对当前系统内存储的电能质量监测数据，分析数据间存在的特征与问题，利用监测数据的时空相关性，本专利技术提供一种适用于电能质量监测数据的编码压缩方法，解决当前数据编码格式存在大量冗余、数据文件体积过大的问题，降低数据冗余，缩小数据文件体积。
[0005]为了实现上述目的，本专利技术提供如下技术方案：
[0006]一种电能质量监测数据的编码压缩方法，包括以下步骤：
[0007]步骤1，数据文件读取
[0008]获取各类原始监测数据Y＝{y1,y2,
…
,y
n
}。
[0009]步骤2，构建概要森林
[0010]将Y存入缓存区中，对整个数据进行遍历，根据监测数据结构的固定属性信息字段确定概要树结构，依次抽取量测指标、监测点ID、时间戳及监测值进行数据插入。从监测数据中抽取监测点ID及监测指标等概要信息，利用电能质量监测数据的空间相关性，不同区域内的监测终端针对同一监测指标采集到的监测数据值比较相近，形成以量测指标为根节点，监测点ID及时间戳信息为子树，数据监测值为叶子结点的4层概要树，多棵概要树组成概要森林。
[0011]步骤3，时间差分处理
[0012]对于每个量测指标+监测点ID的分支，确定每组数据的时间戳起始时间与时间间隔，并求取监测值与基值的差分项，进行数据记录，若某时间点存在数据缺失，进行缺失项填充。时间差分处理是依据相邻原始监测数据的时间相关性，针对同一指标，同一区域内的监测终端在一段时间内监测数据值的变化不大，用当前监测值与其选定基值的差的编码形式表示当前值，然后对它们之间的差值进行保存。它通过减少监测数据中的时间戳冗余以及缩短各监测值的字节长度达到数据压缩的目的。取监测数据中同一指标的起始时间戳所
对应监测值为基值x0，之后保存的数据就只包括x0的差分项d
n
。数据处理端把读取到且量化后的差分项d
n
与基值x0相加，得到当前监测值x'
n
。即：
[0013]x'
n
＝d
n
+x0[0014]式中，x'
n
分别为第n和第n
‑
1时间点的监测数据的监测值。
[0015]分析可得，时间差分处理适用于某些字符重复出现概率高的数据，但存在如下问题：
①
未考虑电能质量监测数据的结构特征，数据中的固定属性信息利用不充分；
②
使用单数据点压缩的方式不能有效减少存储空间，压缩率较低。
[0016]因此，在对监测数据进行时间差分处理之前，通过对监测数据进行概要森林处理，充分利用了监测数据中的固定编码信息，消除了数据中存在的监测点ID及量测指标的冗余，有效减少了监测数据编码长度，同时将具有时空相关性的监测数据聚集到一起，使局部数据具有数据波动小的特点，同时避免了单数据点的存在，有效解决了时间差分处理存在的问题。
[0017]最终，经过概要森林与时间差分处理后的数据结构如图3所示，每个量测指标为根节点，进行该量测指标的多个监测点集合构成第二层中间结点，第三层中间结点为起始时间戳、时间间隔和基值的组合字符串，基值采用监测数据的起始时间的监测值；每个叶子结点包含了k个数据项的监测值差分项
[0018]步骤4，压缩存储
[0019]对完成压缩的数据进行存储，得到最终的压缩数据，数据最终保存格式为json嵌套式数据。在完成上述压缩后，采用固定字典表的方式对量测指标与监测点ID进行二次映射编码，根据量测指标与监测点ID的数量确定编码位数，从正整数1开始，每个量测指标与监测点ID都拥有一个属于它们的正整数编号，我们对量测指标与监测点ID采用十六进制规则进行编码，对量测指标与监测点ID的编号进行十六进制换算，编码长度为以此作为量测指标与监测点ID的编码。
[0020]本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序能够被处理器执行以实现本专利技术所述的电能质量监测数据的编码压缩方法的步骤。
[0021]本专利技术的有益效果：
[0022]本专利技术针对当前系统内存储的电能质量监测数据，分析数据间存在的特征与问题，利用监测数据的时空相关性，提供了一种适用于电能质量监测数据的编码压缩方法，解决当前数据编码格式存在大量冗余、数据文件体积过大的问题，降低数据冗余，缩小数据文件体积。
附图说明
[0023]图1为电能质量检测数据格式。
[0024]图2为概要森林模型。
[0025]图3为压缩数据模型。
[0026]图4为本专利技术的整体流程图。
具体实施方式
[0027]下面根据说明书附图并结合具体实施例对本专利技术的技术方案进一步详细表述。
[0028]如图4所示，一种基于概要森林和时间差分处理的电能质量检测数据压缩方法，包括以下步骤：
[0029]步骤1，数据文件读取
[0030]获取各类原始监测数据Y＝{y1,y2,
…
,y
n
}。
[0031]步骤2，构建概要森林
[0032]将Y存入缓存区中，对整个数据进行遍历，根据监测数据结构的固定属性信息字段确定概要树结构，依次抽取量测指标、监测点ID、时间戳及监测值进行数据插入。从监测数据中抽取监测点ID及监测指标等概要信息，利用电能质量监测数据的空间相关性，不同区域内的监测终端针对同一监测指标采集到的监测数据值比较相近，形成以量测指标为根节点，监测点ID及时间戳信息为子树，数据监测值为叶子结点的4层概要树，多棵概要树组成概要森林，如图2所示。
[0033]步骤3，时间差分处理
[0034]对于每个量测指标+监测点ID的分支，确定每组数据的时间戳起始时间与时间间隔，并求取监测值与基值的差分项，进行数据记录，若某时间点存在数据缺失，进行缺失项填充。时间差分处理是依据相邻原始监测数据的时间相关性，针对同一指标，同一区域内的监测终端在一段时间内监测数据值的变化不大，用当前监测值与其选定基值的差本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电能质量监测数据的编码压缩方法，其特征在于，包括以下步骤：步骤1，电能质量监测数据文件读取，所述电能质量监测数据是由监测点ID、量测指标、时间戳以及监测值组成，表示为Y＝{y1,y2,
…
,y
n
}；步骤2，构建概要森林；步骤3，时间差分处理，实现电能质量监测数据压缩，包括：(1)对于每个量测指标+监测点ID的分支，确定每组数据的时间戳起始时间与时间间隔，并求取监测值与基值的差分项，进行数据记录，若某时间点存在数据缺失，进行缺失项填充；(2)取监测数据中同一指标的起始时间戳所对应监测值为基值x0，之后保存的数据就只包括x0的差分项d
n
；数据处理端把读取到且量化后的差分项d
n
与基值x0相加，得到当前监测值x'
n
：x'
n
＝d
n
+x0式中：x'
n
分别为第n和第n
‑
1时间点的监测数据的监测值；步骤4，压缩存储对完成压缩的电能质量监测数据进行存储，得到最终的压缩数据，数据最终保存格式为json嵌套式数据。2.根据权利要求1所述的电能质量监测数据的编码压缩方法，其特征在于，步骤2还包括：将Y存入缓存区中，对整个数据进行遍历，根据电能质量监测数据结构的固定属性信息字段确定概要树结构，依次抽取量测指标、监测点ID、...

【专利技术属性】
技术研发人员：张冠豫，刘海斌，陆万荣，冯俊懿，
申请(专利权)人：云南电网有限责任公司信息中心，
类型：发明
国别省市：