基于Blink的电网量测数据压缩方法及系统、设备、存储介质技术方案

本发明专利技术公开了一种基于Blink的电网量测数据压缩方法及系统、设备、存储介质，所述基于Blink的电网量测数据压缩方法通过分组模型可以对每个量测设备采集数据中的多个数据项进行分类分组，将相似度高的数据项分配到同一组，再对同一组的多个数据项进行压缩，可以提高数据压缩率，并且保留了数据时序特征，不会丢失数据。而且，对数据流进行了实时压缩处理，现场只需存储压缩数据，不需要存储原始数据，大大减少了现场数据存储量，并且，只要有新的量测数据流进入即可自动进行数据拆解和数据压缩，实现了数据流压缩的即席自动化处理，不需要定期进行大量压缩操作。需要定期进行大量压缩操作。需要定期进行大量压缩操作。

【技术实现步骤摘要】
基于Blink的电网量测数据压缩方法及系统、设备、存储介质


[0001]本专利技术涉及电力大数据
，特别地，涉及一种基于Blink的电网量测数据压缩方法及系统、电子设备、计算机可读取的存储介质。

技术介绍

[0002]随着新型电力系统建设的快速推进，电源结构、电网形态、负荷特性、技术基础和业务模式发生深刻变化，电力潮流从单向供给向双向互动转变，电网控制由传统的元件级控制模式向新的信息交互协同互补转变。电网实时量测中心目前日增量数据约550GB，特别是分布式电源、微电网和未来的电动储能设备与智能配电网的互动调度，将融入大量新的智能电器与电子设备。随着网络规模扩容和智能设备的应用，量测信息点剧增，配电网量测点多、变化快和存储信息海量特性将尤为突出，若直接针对海量大数据集信息进行存取处理，容易使信息延迟、存取速度慢，影响系统实时性。为突破大数据集信息存取的局限性，需开展电力信息压缩的研究。
[0003]现有的电力数据压缩过程为：电力数据先积累到一定量，形成离线数据文件；再通过抽样或者分段求平均的方式，减少电力数据在时序维度的密度，形成新的数据文件；对新的数据文件进行压缩并存储。但是，上述电力数据压缩方法存在以下缺陷：其无法对数据流进行实时压缩，现场还需要存储大量的原始数据；无法做到数据流压缩的即席自动化处理，需要定期地对数据进行大量压缩操作；基于抽样或分段求平均的压缩方式，忽略了感知数据时序特征，容易丢失重要的数据节点。

技术实现思路

[0004]本专利技术提供了一种基于Blink的电网量测数据压缩方法及系统、电子设备、计算机可读取的存储介质，以解决现有电力数据压缩方法存在的上述缺点。
[0005]根据本专利技术的一个方面，提供一种基于Blink的电网量测数据压缩方法，包括以下内容：
[0006]基于每个量测设备的离线历史量测数据构建分组模型；
[0007]获取实时量测数据流，并根据量测设备ID对实时量测数据流进行数据拆解，以形成多个流压缩任务；
[0008]对于每个流压缩任务，采用对应的分组模型进行数据压缩处理，并存储压缩数据。
[0009]进一步地，所述基于每个量测设备的离线历史量测数据构建分组模型的过程为：
[0010]获取每个量测设备采集的多个连续有效的离线数据，得到初始数据集合；
[0011]对初始数据集合进行一阶差分处理，得到一阶差分数据集合；
[0012]基于数据项对一阶差分数据集合进行划分并进行归一化处理，得到归一化数据集合；
[0013]计算归一化数据集合中元素之间的相似度，并根据相似度计算结果对多个数据项进行分组，构建得到每个量测设备对应的分组模型。
[0014]进一步地，所述计算归一化数据集合中元素之间的相似度，并根据相似度计算结果对多个数据项进行分组，构建得到每个量测设备对应的分组模型的过程为：
[0015]初始时，令x＝1，H＝{2，3，
…
，M}，H表示归一化数据集合，M表示归一化数据集合中的元素个数，即数据项的数量；
[0016]令x为一组，然后依次判断元素x和元素m之间的欧式距离χ
x,m
，m≠x，m＝2,3,...,M是否小于预设阈值Γ，若χ
x,m
＜Γ，则将元素x和元素m归为一组，并从归一化数据集合中去除元素m，即H
′
＝H
‑
{m}；
[0017]不断迭代，直至H
′
为空集，则分组结束，从而得到分组模型。
[0018]进一步地，所述获取实时量测数据流，并根据量测设备ID对实时量测数据流进行数据拆解，以形成多个流压缩任务的过程为：
[0019]构建Blink流处理引擎，源端系统将量测数据流实时汇入消息队列DataHub，Blink流处理引擎通过DataStream Connectors组件从DataHub中获取实时量测数据流，然后根据量测设备ID对实时量测数据流进行数据拆解，分解得到每个量测设备在当前时刻的量测数据，从而分解出多个流压缩任务，JobManager将多个量测设备在当前时刻的量测数据分发至不同的TaskManager并行执行流压缩任务。
[0020]进一步地，所述对于每个流压缩任务，采用对应的分组模型进行数据压缩处理，并存储压缩数据的过程为：
[0021]对每个流压缩任务中的实时数据进行规整处理；
[0022]对规整处理后的实时数据基于分组模型进行分组处理；
[0023]对分组处理后的实时数据进行压缩，并实时将压缩数据存储在内存上。
[0024]进一步地，所述对每个流压缩任务中的实时数据进行规整处理的过程为：
[0025]将当前时刻数据中包含的每个数据项分别与前一个时刻数据中包含的每个数据项进行一一比对，若满足则认为当时时刻的数据项值与前一时刻的数据项值在两个连续时刻的波动非常小，则将赋值为若则保留其中，表示量测设备n在Z+1时刻采集的数据项m的数据值，表示量测设备n在Z时刻采集的数据项m的数据值。
[0026]进一步地，还包括以下内容：
[0027]调取压缩数据，并根据分组模型对压缩数据进行重组，得到解压后的数据。
[0028]另外，本专利技术还提供一种基于Blink的电网量测数据压缩系统，包括：
[0029]分组模型构建模块，用于基于每个量测设备的离线历史量测数据构建分组模型；
[0030]数据流拆解模块，用于获取实时量测数据流，并根据量测设备ID对实时量测数据流进行数据拆解，以形成多个流压缩任务；
[0031]数据压缩模块，用于对每个流压缩任务采用对应的分组模型进行数据压缩处理，并存储压缩数据。
[0032]另外，本专利技术还提供一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行如上所述
的方法的步骤。
[0033]另外，本专利技术还提供一种计算机可读取的存储介质，用于存储基于Blink进行电网量测数据压缩的计算机程序，所述计算机程序在计算机上运行时执行如上所述的方法的步骤。
[0034]本专利技术具有以下效果：
[0035]本专利技术的基于Blink的电网量测数据压缩方法，先基于离线历史量测数据为每个量测设备构建分组模型，再获取实时量测数据流，并根据量测设备ID对实时量测数据流进行数据拆解，将其分解为多个量测设备的数据流以形成多个流压缩任务，再采用对应的分组模型对每个量测设备的数据流进行数据压缩，并存储压缩后的数据。通过分组模型可以对每个量测设备采集数据中的多个数据项进行分类分组，将相似度高的数据项分配到同一组，再对同一组的多个数据项进行压缩，可以提高数据压缩率，并且保留了数据时序特征，不会丢失数据。而且，对数据流进行了实时压缩处理，现场只需存储压缩数据，不需要存储原始数据，大大减少了现场数据存储量，并且，只要有新的量测数据流进入即可自动进行数据拆解和数据压缩，实现了数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Blink的电网量测数据压缩方法，其特征在于，包括以下内容：基于每个量测设备的离线历史量测数据构建分组模型；获取实时量测数据流，并根据量测设备ID对实时量测数据流进行数据拆解，以形成多个流压缩任务；对于每个流压缩任务，采用对应的分组模型进行数据压缩处理，并存储压缩数据。2.如权利要求1所述的基于Blink的电网量测数据压缩方法，其特征在于，所述基于每个量测设备的离线历史量测数据构建分组模型的过程为：获取每个量测设备采集的多个连续有效的离线数据，得到初始数据集合；对初始数据集合进行一阶差分处理，得到一阶差分数据集合；基于数据项对一阶差分数据集合进行划分并进行归一化处理，得到归一化数据集合；计算归一化数据集合中元素之间的相似度，并根据相似度计算结果对多个数据项进行分组，构建得到每个量测设备对应的分组模型。3.如权利要求2所述的基于Blink的电网量测数据压缩方法，其特征在于，所述计算归一化数据集合中元素之间的相似度，并根据相似度计算结果对多个数据项进行分组，构建得到每个量测设备对应的分组模型的过程为：初始时，令x＝1，H＝{2，3，
…
，M}，H表示归一化数据集合，M表示归一化数据集合中的元素个数，即数据项的数量；令x为一组，然后依次判断元素x和元素m之间的欧式距离χ
x,m
，m≠x，m＝2,3,...,M是否小于预设阈值Γ，若χ
x,m
＜Γ，则将元素x和元素m归为一组，并从归一化数据集合中去除元素m，即H
′
＝H
‑
{m}；不断迭代，直至H
′
为空集，则分组结束，从而得到分组模型。4.如权利要求1所述的基于Blink的电网量测数据压缩方法，其特征在于，所述获取实时量测数据流，并根据量测设备ID对实时量测数据流进行数据拆解，以形成多个流压缩任务的过程为：构建Blink流处理引擎，源端系统将量测数据流实时汇入消息队列DataHub，Blink流处理引擎通过DataStream Connectors组件从DataHub中获取实时量...

【专利技术属性】
技术研发人员：祝视，方彬，杨芳僚，田建伟，朱宏宇，孙毅臻，王建辉，徐宁，邓惠贤，
申请(专利权)人：国网湖南省电力有限公司信息通信分公司国家电网有限公司，
类型：发明
国别省市：