一种基于PySpark的储能数据计算和分析方法技术

本发明专利技术公开了一种基于PySpark的储能数据计算和分析方法，所述储能数据计算和分析方法通过web应用框架，将储能系统数据封装为应用于restfulapi接口的形式，将接口数据转换为以PySpark为基础的RDD数据，进行数据处理和分析，所述储能数据计算和分析方法包括以下流程步骤：数据采集、数据转换、数据储存、读取数据、数据预处理、数据生成、数据归一化、数据权重分配和数据分类计算。该基于PySpark的储能数据计算和分析方法，采用Restfulapi进行数据接口的设计，是为了满足如今B/S架构设计平台的需求，通过http协议进行数据传输。

【技术实现步骤摘要】
一种基于PySpark的储能数据计算和分析方法
本专利技术涉及海量数据的处理和分析
，具体为一种基于PySpark的储能数据计算和分析方法。
技术介绍
近年来，随着信息技术的发展，传统的能源行业开始以信息化、智能化的特点进行转变。而对于储能领域，对于数据的实时性和准确性的要求也越来越高，随着时间精度的提高，电厂运行时产生的数据量级也随之水涨船高，面对海量数据时，内存需求无法满足计算，因此需要及时构建一个基于大数据处理的平台，实现海量数据的处理和分析。为此，本专利采用了一种基于spark的python库PySpark，并通过web平台实现，完成对储能数据的分析和处理。
技术实现思路
本专利技术的目的在于提供一种基于PySpark的储能数据计算和分析方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于PySpark的储能数据计算和分析方法，所述储能数据计算和分析方法通过web应用框架，将储能系统数据封装为应用于restfulapi接口的形式，将接口数据转换为以PySpa本文档来自技高网...

【技术保护点】
1.一种基于PySpark的储能数据计算和分析方法，其特征在于，所述储能数据计算和分析方法通过web应用框架，将储能系统数据封装为应用于restfulapi接口的形式，将接口数据转换为以PySpark为基础的RDD数据，进行数据处理和分析，所述储能数据计算和分析方法包括以下流程步骤：数据采集、数据转换、数据储存、读取数据、数据预处理、数据生成、数据归一化、数据权重分配和数据分类计算。/n

【技术特征摘要】
1.一种基于PySpark的储能数据计算和分析方法，其特征在于，所述储能数据计算和分析方法通过web应用框架，将储能系统数据封装为应用于restfulapi接口的形式，将接口数据转换为以PySpark为基础的RDD数据，进行数据处理和分析，所述储能数据计算和分析方法包括以下流程步骤：数据采集、数据转换、数据储存、读取数据、数据预处理、数据生成、数据归一化、数据权重分配和数据分类计算。


2.根据权利要求1所述的一种基于PySpark的储能数据计算和分析方法，其特征在于：所述数据采集采集电厂储能数据。


3.根据权利要求1所述的一种基于PySpark的储能数据计算和分析方法，其特征在于：所述数据转换将数据转换为Restfulapi的形式，通过接口发送。


4.根据权利要求1所述的一种基于PySpark的储能数据计算和分析方法，其特征在于：所述数据储存根据采集数据的时标进行数据存储入数据库。


5.根据权利要求1所述的一种基于PySpark的储能数据计算和分析方法，其特征在于：所述读取数据通过Sparkdataframe读取数据库数...

【专利技术属性】
技术研发人员：尚德华，谢思奇，
申请(专利权)人：傲普上海新能源有限公司，
类型：发明
国别省市：上海;31