一种基于大数据的智能化数据预测分析系统及方法技术方案

本发明专利技术公开了一种基于大数据的智能化数据预测分析系统及方法，属于深度学习技术领域，一种基于大数据的智能化数据预测分析系统和方法，包括：数据采集单元、数据预处理单元、数据降维单元和分布式服务器集群；数据采集单元，其输出端与数据预处理单元的输入端相连接，用于收集每个小时的电力负荷、相对湿度、温度、大气压强、降雨量、风速和电力价格数据；数据预处理单元，其输出端与所述数据降维单元的输入端相连接，用于对原始数据进行处理；数据降维单元，其输出端与分布式服务器集群的输入端相连接，对数据进行降维；分布式服务器集群，建立分布式深度学习模型，对电力负荷序列进行预测。预测。预测。

【技术实现步骤摘要】
一种基于大数据的智能化数据预测分析系统及方法


[0001]本专利技术涉及深度学习
，具体为一种基于大数据的智能化数据预测分析系统及方法。

技术介绍

[0002]在现代社会中，电力负荷数据已经成为了重要数据之一，准确对电力负荷数据进行预测，无论是对社会和国家还是个人，其重要性都不言而喻。诸多因素都对电力负荷有或多或少的影响，在大数据时代，数据的种类繁多，体积巨大但价值密度比较低，在对电力负荷进行预测时，过多不需要的数据不仅仅会增加训练的时间和难度，也会使预测的精度降低。同时，在预测过程中，短期的电力负荷主要受到气象因素和电力价格因素的影响，尖、峰、平和谷各个时的电价差异较大，也会给预测带来困难。

技术实现思路

[0003]本专利技术的目的在于提供一种基于大数据的智能化数据预测分析系统及方法，以解决上述
技术介绍
中提出的问题。
[0004]为了解决上述技术问题，本专利技术提供如下技术方案：
[0005]一种基于大数据的智能化数据预测分析系统，包括：数据采集单元、数据预处理单元、数据降维单元和分布式服务器集群；
[0006]所述数据采集单元，其输出端与所述数据预处理单元的输入端相连接，用于收集每个小时的电力负荷、相对湿度、温度、大气压强、降雨量、风速和电力价格数据；
[0007]所述数据预处理单元，其输出端与所述数据降维单元的输入端相连接，用于对原始数据的异常值进行寻找和处理，将原始数据进行标准化；
[0008]所述数据降维单元，其输出端与所述分布式服务器集群的输入端相连接，对数据进行降维处理；
[0009]所述分布式服务器集群，用预处理和降维之后的数据建立分布式深度学习模型，对电力负荷序列进行预测，并将预测结果反标准化得到最终电力负荷数据预测值。
[0010]可选地，原始数据采用孤立森林算法直接对每天的数据向量进行检测异常值检测。
[0011]可选地，对检测出来的异常值采用移动平均滤波代替，滤波时使用的数据长度可根据具体情况设定，其形式如下：
[0012][0013]其中，N为数据长度，z
k
为异常变量值，z
k
‑
24i
(i＝1,2,...,N)为异常值之前的前N个变量值。
[0014]可选地，标准化方式采用z—score。
[0015]可选地，以主成分分析法获取主成分及其方差贡献率，按照方差贡献率从高到低，
选取主成分直到所选主成分的方差贡献率之和达到q，q为小于一的正常数，可根据需要自行设置；将获得的主成分与其对应的方差贡献率作内积得到hour量集合，一个hour量对应一个小时的主成分数据，以多元线性回归方式计算获取最合适的hour量组，hour量组所对应的主成分部分即为主成分的有效部分，作为输入输送给所述分布式服务器集群。
[0016]由于采用了z—score方式进行标准化，故多元线性回归不存在截距。
[0017]多元线性回归的形式如下：
[0018][0019]其中，t代表时刻，代表第t时刻的拟合值，l为拟合优度R2保持不变时，对应的hour量组中的hour量个数，x
i
(i＝1,2,...,n)表示时刻，表示第x
i
时刻的hour量，为的系数。
[0020]优选地，以分布式机器学习的方式对大规模数据进行训练，将数据分成多个数据片到不同的计算节点上面进行训练，即以数据并行方式训练；
[0021]优选地，分布式架构基于规约Reduce。经典架构参数服务器模式需要有一个中心节点来存储参数和更新梯度，中心节点需要和各个计算节点之间进行通信，随着计算节点数量增加，中心节点通信量也线性增加，参数服务器模式会达到瓶颈；而基于规约Reduce的架构则不同，计算节点连接成环形，每个计算节点将梯度传送给下一个计算节点，经过同步之后就可以完成梯度的更新，当计算节点数量增加时，通信量不会随之增加，也没有参数服务器模式会遇到的瓶颈。
[0022]可选地，梯度同步采用混合范式，完成梯度计算的计算节点会在一定的时间内等待其它的计算节点完成梯度计算；其他计算节点超时之后，完成梯度计算的计算节点之间同步更新梯度，不与未完成的计算节点之间进行同步，未完成的计算节点的梯度被抛弃。
[0023]可选地，以长短期记忆神经网络对电力负荷进行预测。
[0024]一种基于大数据的智能化数据预测分析方法，包括：
[0025]S6
‑
1，收集电力负荷、相对适度、温度、大气压强、降雨量、风速和电力价格数据，进行预处理；
[0026]S6
‑
2，从预处理的数据中提取出所需要的主成分有效部分；
[0027]S6
‑
3，分布式服务器集群采用LSTM模型对主成分有效成分进行训练；
[0028]S6
‑
4，利用训练所得LSTM模型进行预测得到输出；
[0029]S6
‑
5，将模型预测结果反归一化得到最终电力负荷预测值；
[0030]S6
‑
6，当有新的数据来临时，重复步骤S6
‑
1至S6
‑
5，更新LSTM模型并获得新的电力负荷预测值。
[0031]数据预处理包括异常值处理和归一化，原始数据采用孤立森林算法直接对每天的数据向量进行检测异常值检测，对检测出来的异常值采用移动平均滤波代替，滤波时使用的数据长度可根据具体情况设定，其形式如下：
[0032][0033]其中，N为数据长度，z
k
为异常变量值，z
k
‑
24i
(i＝1,2,...,N)为异常值之前的前N个变量值；
[0034]标准化方式采用z—score，其形式如下：
[0035][0036]其中，x
*
为归一化后的数据，x为经过异常值处理的数据，μ为x的均值，σ为x的方差。
[0037]主成分有效部分提取包括以下步骤：
[0038]S8
‑
1，用hour量集合中的前m个hour量分别对第m+1个hour量进行简单线性回归，挑选出拟合优度R2最高的一个hour量；
[0039]S8
‑
2，将所挑选的hour量与前m个hour量中其余未被选中的hour量依次组合，对第m+1个hour量进行二元线性回归，挑选出拟合优度R2最高的hour量组；
[0040]S8
‑
3，将所挑选的hour量组与前m个hour量中其余未被选中的hour量依次组合，对第m+1个hour量进行多元线性回归，获得拟合优度最高的新的hour量组；
[0041]S8
‑
4，重复步骤S8
‑
3，直到拟合优度R2保持不变，此时hour量组中的hour量个数为n1，将n1个hour量所对应的主成分数据部分提取出来；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的智能化数据预测分析系统，其特征在于，包括：数据采集单元、数据预处理单元、数据降维单元和分布式服务器集群；所述数据采集单元，其输出端与所述数据预处理单元的输入端相连接，用于收集每个小时的电力负荷、相对湿度、温度、大气压强、降雨量、风速和电力价格数据；所述数据预处理单元，其输出端与所述数据降维单元的输入端相连接，用于对原始数据的异常值进行寻找和处理，进行标准化；所述数据降维单元，其输出端与所述分布式服务器集群的输入端相连接，用于对数据进行降维处理；所述分布式服务器集群，用预处理和降维之后的数据建立分布式深度学习模型，对电力负荷序列进行预测，并将预测结果反标准化得到最终电力负荷数据预测值。2.根据权利要求1所述一种基于大数据的智能化数据预测分析系统，其特征在于，所述数据预处理单元采用孤立森林算法对异常值进行检测并处理，对处理异常值之后的数据采用z—score方式进行标准化。3.根据权利要求1所述一种基于大数据的智能化数据预测分析系统，其特征在于，所述数据降维单元，以主成分分析法获取主成分及其方差贡献率，按照方差贡献率从高到低，选取主成分直到所选主成分的方差贡献率之和达到q，q为小于一的正常数，可根据需要自行设置；将所有主成分与其对应的方差贡献率作内积得到hour量集合，集合中每个hour量对应一个小时的主成分数据，以多元线性回归方式计算获取最合适的hour量组，该hour量组所对应的主成分部分即为主成分的有效部分，作为输入输送给所述分布式服务器集群。4.根据权利要求3所述一种基于大数据的智能化数据预测分析系统，其特征在于：所述多元线性回归的形式如下：其中，t代表时刻，代表第t时刻的拟合值，l为拟合优度R2保持不变时，对应的hour量组中的hour量个数，x
i
(i＝1,2,...,n)表示时刻，表示第x
i
时刻的日期变量，为的系数。5.根据权利要求1所述一种基于计算的分布式任务管理系统，其特征在于：所述分布式服务器集群的架构模式基于规约Reduce，采用混合范式，以数据并行的方式对数据进行分布式LSTM训练。6.一种基于大数据的智能化数据预测分析方法，其特征在于，包括以下步骤：S6
‑
1，接收历史时刻的电力负荷、相对湿度、温度、大气压强、降雨量、风速和电力价格数据，进行预处理；S6
‑
2，从预处理的数据中提取出主成分有效部分；S6
‑
3，分布式服务器集群采用LSTM模型对主成分有效成分进行训练；S6
‑
4，利用训练所得LSTM模型进行预测得到输出；S6
‑
5，将模型预测结果反标准化得到最终电力负荷预测值；S6
‑
6，当获得新的数据时，重复步骤S6
‑
1至S6
‑
5，更新LSTM模型并获得新的电力负荷预测值。7.根据权利要求6所述的一种基于大数据的智能化数据预测分析方法，其特征在于，数
据预处理包括异常值处理...

【专利技术属性】
技术研发人员：宁天君，
申请(专利权)人：哈尔滨天君科技有限公司，
类型：发明
国别省市：