一种高频电力数据深度无损压缩方法及系统技术方案

一种高频电力数据深度无损压缩方法及系统，使用自注意力挖掘数据局部信息设计新型的T

【技术实现步骤摘要】
一种高频电力数据深度无损压缩方法及系统


[0001]本专利技术属于数据处理
，涉及对电力数据的压缩，为一种高频电力数据深度无损压缩方法。

技术介绍

[0002]压缩在信息传输中，压缩对于传输有着至关重要的重用，相较于奈奎斯特采样，压缩感知对采样条件要求更低，它的特殊采样方式打破了奈奎斯特采样定律的限制，拥有更高的计算效率。在传统的电力压缩算法中，数据段处于不平稳状态时的重建效果较差，对信号频率的分析变化会显得困难。区别于同步向量测量的数据，分钟级电力数据则以实时数据测量传输，对于电网统计的居民生活区用电数据的压缩与恢复问题，成为相关部门迫切需求。
[0003]近年来，家庭用户用电供应需求增大，采集用电电表需要传输生活区每户用电数值，进而存储与传输的工作就变得非常重要。一方面，生活区电表并不能完全采集到所有连续电力数据，而是一组离散时间序列，所测绘出的数值并非连续且存在null值，而且不同用户用电数据各不相同，彼此之间没有明显的相关性，现有技术的经典压缩算法对这种数据的压缩分析较为困难。另一方面，经典的有损压缩在如此庞大的家庭用户数据量上会造成极大的数据损失，影响用电数据采集的准确性。随着计算机人工智能技术的发展，深度学习的方法对数据的建模提供了极大的帮助，已有一些深度压缩感知方案的研究，但面对海量用电数据以及对数据无损、准确性的要求，常用的提升网络的深度来提高性能的方式会增加模型的训练时间及数据处理时间，增加对数据处理设备硬件资源要求，不利于数据采集及传输设备的部署。

技术实现思路

[0004]本专利技术要解决的技术问题是：现有的深度压缩感知算法不适用对电力数据的压缩，需要提供一种可以做到电力数据无损压缩的方案。
[0005]本专利技术的技术方案为：一种高频电力数据深度无损压缩方法，对采集的居民用电数据进行无损压缩，包括以下步骤：
[0006]1)设计电力数据特征提取模型T
‑
Transformer，所述T
‑
Transformer模型基于Transformer模型，在Encoder和Decoder增加高斯先验模块，由居民用电的历史数据训练T
‑
Transformer模型，学习居民用电数据的特征；
[0007]2)输入待压缩电力数据至T
‑
Transformer模型，输出得到电力数据的注意力特征，经由线性变换层得到输出向量；
[0008]3)通过算术编码对输出向量进行编码得到概率区间；
[0009]4)对编码得到的概率区间进行比特编码，完成数据压缩；
[0010]5)利用解码器对压缩数据解压。
[0011]本专利技术还提供一种高频电力数据深度无损压缩系统，配置有计算机存储介质，所
述计算机可读存储介质上存储有计算机程序,该计算机程序被执行时,实现上述的方法。
[0012]本专利技术设计T
‑
Transformer模型作为训练的网络，相较于文本数据词与词之间的强相关性，电力数据的序列结构以及每个浮点数的关联性不强等特点导致它会出现语义分割困难的情况，本专利技术利用Self
‑
Attention的结构来提取特征，避免数据丢失情况下长时依赖会丢失传递信息，转而挖掘数据的局部信息。
[0013]进一步的，本专利技术对于电力数据处理时，使用相对位置编码代替绝对位置编码，提取数据位置特征，构建数据向量。并考虑到数据局部信息的不平稳性，数据之间的关联难以区分，增加高斯先验模块，提升维度信息的相关性，加强自注意力捕获局部特征的能力。
[0014]本专利技术在通过相对位置编码构建数据字典后，电力数据将转化为坐标向量输入T
‑
Transformer网络，得到数据特征，数据学习过后通过全连接将多维的数据特征变为一维的区间编码，每维度代表着与字典中该位置的数据关系程度，最后通过softmax转化得到可能出现在下一位的数据的概率。
[0015]居民用户用电数据为分钟级数据，相对于工业用电数据那种高电模式，居民用电数据波动频率周期性弱，尤其是考虑到提高传输端的效率，数据采集的往往是同一分钟下的多个用户用电数据，这种数据在时域以及频域下的周期性基本可以忽略不计。家庭用电的测量数值是实时性的标准用电量，包括电压、电流、功率，存在数据波动域不稳定和数据某一段的激变的情况，这使得现有技术的常用压缩方法，如小波变换等，在这种情况下的重构结果会有不小的损失。因此本专利技术所针对的数据类型与数据传输模式都具有其独特性。
[0016]本专利技术高频电力数据深度无损压缩方法，具有如下有益效果：
[0017]1、引入基于Transformer的模型在电力数据无损压缩领域，基于Transformer的多头注意力机制不受长期依赖，不存在丢失位置信息，有效解决了电力数据的不平稳性对特征提取的影响，并缩小数据训练时的潜在搜索空间。
[0018]2、考虑到高频电力数据语义特征弱，数据分布密集，自注意力捕获特征困难，本专利技术设计了T
‑
Transformer模型，同时结合了相对位置编码、多头自注意力、高斯先验模块，综合提升了数据训练速度和训练效果。
[0019]3、深度模型结合算术编码，有效提升压缩算法的性能；解决大多电力压缩算法存在的数据稀疏、难以识别复杂模式和无法利用数据语义关联性的问题。
附图说明
[0020]图1为本专利技术的流程图。
[0021]图2为本专利技术中的网络模型图。
[0022]图3为本专利技术中的方法步骤图。
[0023]图4为本专利技术的算术编码算法结构。
[0024]图5为本专利技术的比特编码结构示意图。
[0025]图6是本专利技术数据解压结果图示意图。
具体实施方式
[0026]下面结合说明书附图和具体实施方式对本专利技术做进一步详细描述。
[0027]如图1所示，本专利技术提出一种高频电力数据深度无损压缩方法，包括以下步骤：
[0028](1)设计T
‑
Transformer模型，学习电力数据特征；
[0029](2)输入待压缩电力数据至训练模型，输出得到电力数据的注意力特征，经由线性变换层得到输出向量；
[0030](3)通过算术编码对输出向量进行编码得到概率区间；
[0031](4)对编码得到的概率区间进行比特编码，完成数据压缩；
[0032](5)解码器根据通讯过程后的压缩数据解压。
[0033]其中，设计T
‑
Transformer作为预训练的模型，因为高频电力数据的不平稳性以及弱语义性，在网络中增加相对位置编码、高斯先验模块，增强数据特征的提取以及对不同序列电力数据的学习能力，例如：功率，电压、电流。采用算术编码与比特编码算法，对概率区间编码得到压缩数据，提高压缩效率。
[0034]本专利技术的高频电力数据深度无损压缩方法，由计算机程序实现，主要包括三个模块：生成模块、压缩模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高频电力数据深度无损压缩方法，其特征在于，对采集的居民用电数据进行无损压缩，包括以下步骤：1)设计电力数据特征提取模型T
‑
Transformer，所述T
‑
Transformer模型基于Transformer模型，在Encoder和Decoder增加高斯先验模块，由居民用电的历史数据训练T
‑
Transformer模型，学习居民用电数据的特征；2)输入待压缩电力数据至T
‑
Transformer模型，输出得到电力数据的注意力特征，经由线性变换层得到输出向量；3)通过算术编码对输出向量进行编码得到概率区间；4)对编码得到的概率区间进行比特编码，完成数据压缩；5)利用解码器对压缩数据解压。2.根据权利要求1所述的高频电力数据深度无损压缩方法，其特征在于，所述T
‑
Transformer模型基于Transformer模型，在Encoder与Decoder之前增加高斯先验，对输入的用电数据首先进行预处理，计算每个数据的相对位置编码，公式为：采用正弦与余弦函数计算，在偶数位置，使用正弦编码，得到偶数位置编码PE
ps,2i
，在奇数位置，使用余弦编码，得到奇数位置编码PE
ps,2i+1
，其中ps为数据的绝对位置，i是数据向量的第i维，dm为数据向量的维度；其中，Encoder中由多头注意力机制提取注意力向量，拼接后得到Encoder特征，在进行注意力处理前，增加一个高斯先验模块，加强自注意力捕获局部特征的结构，得到新的第i个数据向量X
i
：式(2)中，w为位置权重，b为偏差，x
i
表示当前中心数据，x
j...

【专利技术属性】
技术研发人员：马洲俊，朱红，许洪华，付章杰，何卓豪，朱正谊，楚成博，吕梦婕，陆越，冯隆基，
申请(专利权)人：国网江苏省电力有限公司，
类型：发明
国别省市：