一种面向电力在线采集数据的稀疏表示方法技术

本发明专利技术提供一种面向电力在线采集数据的稀疏表示方法，所述方法包括如下步骤：(1)建立稀疏编码模型，并初始化零向量；(2)随机采样数据样本进行迭代处理；(3)更新稀疏编码系数；(4)计算逼近误差；(5)判别算法收敛性。本发明专利技术基于随机梯度下降算法研究电力大数据稀疏表示方法，不仅能够快速有效的处理数据，大大提高了求解效率，也能有效地求出稀疏编码系数，实现了对大数据稀疏编码的压缩，减少了存储空间，降低了对硬件的存储要求。

【技术实现步骤摘要】

本专利技术设及一种稀疏表示方法，具体设及一种面向电力在线采集数据的稀疏表示 方法。
技术介绍
在当今社会，数据的重要性正逐渐显现，r然已经成为公司全局、全量分析的重要 依据。随着科技的进步，人们获得信息的渠道越来越多，积累的数据资源也越来越多，许多 互联网企业单日的数据量已达几百GB，更有甚者，已经达到TB(1TB= 1024GB)级别。传统 的数据库已经无法满足如此庞大的数据存储要求。在目前数据量呈爆炸式增长的大数据背 景下，稀疏编码的出现成功地实现了数据压缩，解决了数据存储量大、硬件要求高等一系列 问题。 大数据的稀疏表示能够充分挖掘数据的内在结构与特征，能够将复杂的高维大数 据压缩成简单的编码形式，并且能够通过之前训练的集合无损地恢复出原数据，已经在信 号处理、人工智能、模式识别等很多领域得到了应用。然而传统的稀疏编码技术面临的最大 问题就是实时性差，计算速度慢，需要花费大量的时间来对数据进行处理，并且在面对大数 据时，并不能轻易的解出稀疏编码。因此，对于实时变化的电力大数据来说，研究如何有效 快速地利用稀疏方法求解出稀疏编码是非常有意义的。
技术实现思路
为了克服上述现有技术的不足，本专利技术提供一种面向电力在线采集数据的稀疏表 示方法，本专利技术基于随机梯度下降算法能够快速有效的处理数据，更加有效的处理电力大 数据W及其他大数据。 为了实现上述专利技术目的，本专利技术采取如下技术方案： ，所述方法包括如下步骤： 阳007] (1)建立稀疏编码模型，并初始化零向量； (2)随机采样数据样本进行迭代处理； (3)更新稀疏编码系数； (4)计算逼近误差； (5)判别算法收敛性。 优选的，所述步骤（1)中，所述稀疏编码模型为：… 式中yeRn为目标向量矩阵，矩阵ΦeRnxm是用于向量矩阵稀疏表示的集合，m 为集合中的原子个数，Wer为稀疏编码系数向量，λ为向量的步长，R"xm为η行、m列数 据样本的向量矩阵； 将U和V初始化为零向量，并将稀疏编码系数W表示为：w= …，Um-O似式中Um，Vm分别为向量U和V的第m个分量。[001引优选的，所述步骤似中，所述随机采样数据样本y的第t个分量yt根据下面的 迭代公式依次更新Ui,Vi(1《i《m):(3) W20] 式中，t(l《t《η)表示当前随机选择进行逼近表示的样本点位置序号，Φ(t)eRm表示集合Φ的第t(l《t《η)行向量，Φi(t)eR表示集合Φ第t行向量的 第i个分量，为实数值，yt表示样本数据y的第t个分量， +=max{0,χ?。优选的，所述步骤（3)中，将迭代后的Ui和V1代入公式（2)更新所述稀疏编码系 数。 优选的，所述步骤（4)中，通过如下公式计算逼近误差：(4) 优选的，所述步骤（5)中，判别算法收敛性，当所述逼近误差recerKlX105时，算 法收敛停止迭代，输出稀疏编码W，否则转至步骤（2)继续迭代处理。与现有技术相比，本专利技术的有益效果在于： 本专利技术基于随机梯度下降算法研究电力大数据稀疏表示方法，不仅能够快速有效 的处理数据，大大提高了求解效率，也能有效地求出稀疏编码系数，实现了对大数据稀疏编 码的压缩，减少了存储空间，降低了对硬件的存储要求。【附图说明】 图1是本专利技术提供的的流程图【具体实施方式】 下面结合附图对本专利技术作进一步详细说明。 稀疏编码模型是信号的一种有效表示方法，编码模型为：阳〇3U 式中式中yeRn为目标向量矩阵，矩阵ΦeRnxm是用于向量矩阵稀疏表示的集 合，m为集合中的原子个数，wer为稀疏编码系数向量，λ为向量的步长，R"xm为η行、m列数据样本的向量矩阵。求解出的W既要保证能准确的恢复出目标y，又要保证足够的稀疏 度。传统的方法都是采用内点法、梯度下降法来求解W。目前广泛使用的内点法求解软件 Ll-Magic其复杂度为0 (η2'5)，η为待处理数据的维数，运算复杂度高。传统的梯度下降法虽 然降低了每次迭代的运算量，但较难处理非光滑的L1范数。同时在大数据背景下，由于数 据量大，数据样本的特征维数η高，使得对稀疏表示系数W的求解尤为困难。特别是对于电 力行业的大数据（例如无人机航拍的高清巡线图像、监控图像等），不仅特征维数高，同时 也通常是在线采集数据，因此，对于稀疏表示算法的效率提出了更高的要求。 本专利技术采取随机采样策略对样本数据进行逼近表示，每次迭代时只需要处理随机 选取的数据特征点，不需要遍历每个样本的所有特征点数据，减少了所需处理样本数据维 数，同时为了有效处理非光滑的L1范数，本专利技术将W分解成2个变量之差，即将W看成是 (Ui-Vi，一，Um-Vm)的组合形式。虽然看上去变量多了，但是在实际的求解过程中，计算变得 更为简洁，并且也能妥善处理传统的梯度下降法在W处难W求导的尴尬。本专利技术关于向量 U和V的第1个分量（表示为。郝J的迭代更新公式如下： 其中t(l《t《η)表示当前随机选择进行逼近表示的样本点位置序号， Φ(t)eRm表示集合Φ的第t(l《t《η)行向量，Φi(t)eR表示集合Φ第t行向量的 第i个分量，为实数值，yt表示样本数据y的第t个分量。 如图1所示，为本专利技术提供的流程 图，具体步骤如下： 1、建立稀疏编码模型，并初始化零向量； 所述稀疏编码模型为：(U 式中yeRn为目标向量矩阵，矩阵ΦeRnxm是用于向量矩阵稀疏表示的集合，m 为集合中的原子个数，Wer为稀疏编码系数向量，λ为向量当前第1页1 2 本文档来自技高网...

【技术保护点】
一种面向电力在线采集数据的稀疏表示方法，其特征在于，所述方法包括如下步骤：(1)建立稀疏编码模型，并初始化零向量；(2)随机采样数据样本进行迭代处理；(3)更新稀疏编码系数；(4)计算逼近误差；(5)判别算法收敛性。

【技术特征摘要】

【专利技术属性】
技术研发人员：周爱华，孟祥君，丁杰，朱力鹏，胡斌，饶玮，潘森，
申请(专利权)人：国网智能电网研究院，国网山东省电力公司，国家电网公司，
类型：发明
国别省市：北京;11