基于超算平台的并行化电力数据库集成提取方法及系统技术方案

本发明专利技术公开了一种基于超算平台的并行化电力数据库集成提取方法及系统，通过收集用户任务需求，对用户任务需求中的任务进行等量划分，并将等量划分后的任务均衡分配给相应的进程进行同步处理；基于分配好的任务，获取单进程所分配到的任务；根据单进程分配到的任务的详情，在对应的子数据库中检索出对应的数据；按照预设的定时序列来对检索出的数据进行集成；与客户端建立

【技术实现步骤摘要】
基于超算平台的并行化电力数据库集成提取方法及系统


[0001]本专利技术涉及电力控制
，尤其公开了一种基于超算平台的并行化电力数据库集成提取方法及系统
。

技术介绍

[0002]随着电力数据量的飞速增长，处理
、
集成和分析这些数据成为一项巨大的挑战
。
在电力系统中，各种数据
(
包括电力生产
、
输电
、
分布和消费等方面的数据
)
在时间和空间上都非常分散
。
这些数据包括但不限于，发电量数据
、
负载数据
、
网损数据
、
电价数据
、
气象数据等
。
所有这些数据都包含有价值的信息，可以用于系统运营和优化决策
。
然而，由于数据量大
、
种类多
、
来源分散，以及数据的质量
、
完整性和一致性问题，使得电力数据的集成和提取变得困难
。
另外，随着电力系统的复杂性和动态性不断增强，对实时
、
准确的数据获取和处理的需求也在不断增加
。
[0003]传统的电力数据处理方法无法解决这些问题，尤其是在处理大规模
、
多源数据时，无法满足高效
、
快速的数据集成和提取需求
。
在传统方法中，数据处理通常在个人计算机上完成，这在面对大数据时会出现计算资源不足<br/>、
效率低下等问题
。
[0004]例如公开号为
CN101141370A(
专利名为“基于网格服务的电力企业实时数据处理方法”)
的专利文献中并没有使用针对性的并行数据处理方法
。
因此尽管使用了高性能的计算设备，但是在处理大量数据时依然会耗时巨大
。
此外该类方法也没有对收集的数据进行时序化的整合，导致最终的结果可能在时间维度出现对不齐的情况
。
[0005]此外，由于缺乏专门设计的
、
可利用超级计算机资源的电力数据集成和提取工具，非专业研究人员在利用超级计算机进行电力数据处理时往往面临重大挑战
。
[0006]因此，现有电力数据处理方法中存在的上述缺陷，是目前亟待解决的技术问题
。

技术实现思路

[0007]本专利技术提供了一种基于超算平台的并行化电力数据库集成提取方法及系统，旨在解决现有电力数据处理方法中存在的上述缺陷
。
[0008]本专利技术的一方面涉及一种基于超算平台的并行化电力数据库集成提取方法，包括以下步骤：
[0009]任务收集与分配：收集用户任务需求，对用户任务需求中的任务进行等量划分，并将等量划分后的任务均衡分配给相应的进程进行同步处理
。
[0010]数据提取：基于分配好的任务，获取单进程所分配到的任务；根据单进程分配到的任务的详情，在对应的子数据库中检索出对应的数据；按照预设的定时序列来对检索出的数据进行集成
。
[0011]数据中转：与客户端建立
socket
连接，对集成的数据进行双向交互；轮询所有运行中的数据提取模块，一旦识别到数据提取模块完成任务时，则读取数据提取模块的处理结果；将处理结果通过网络连接迅速发送给客户端
。
[0012]网页界面：在网页界面上对处理结果进行展示
。
[0013]数据转发：将网页后端服务器与超算集群上的提取程序进行通讯，待提取完成后将打包提取结果发送给客户端
。
[0014]进一步地，任务收集与分配的步骤包括：
[0015]收集任务需求：获取操作界面录入的用户任务需求，在原始数据库中提取与用户任务需求相匹配的特征；
[0016]设备资源评估：根据进程的数量，将用户任务需求按照超算平台可用的节点数进行等量划分，分配任务信息；
[0017]分配进程：将分配好的任务信息发送给相应的进程，实现任务的负载均衡；
[0018]进程同步：为每个进程均配置同步机制，确保所有进程同步完成任务
。
[0019]进一步地，数据提取步骤包括：
[0020]基于分配好的任务，获取单进程所分配到的任务；
[0021]根据单进程分配到的任务的详情，在对应的子数据库中检索出对应的数据；
[0022]按照预设的定时序列来对检索出的数据进行集成，将数据中每个数值都按产生的时间存入对应的地方
。
[0023]进一步地，数据中转的步骤包括：
[0024]进度传输：与客户端建立
socket
连接，对集成的数据进行双向交互；
[0025]完成任务收集：轮询所有运行中的数据提取模块，一旦识别到数据提取模块完成任务时，则读取数据提取模块的处理结果；
[0026]数据传输：将处理结果通过网络连接迅速发送给客户端；
[0027]进度优化：采用基于信息传递接口的非阻塞通信模式，在集成的数据未准备就绪时，执行其他任务
。
[0028]进一步地，进度传输的步骤包括：
[0029]利用
socket
与客户端建立连接，当客户端发出提取需求时，则将所有的配置参数打包为一个数据包，再通过
socket
连接发送至提取管线；
[0030]一旦识别到管线接收到数据包时，使用预设的解码规则对数据包进行解码；
[0031]通过
JSON
解析库对数据包进行解析以得到
JSON
对象，并进一步查询
JSON
对象以提取对应的配置参数；
[0032]将解析得到的任务参数广播给所有的数据提取模块，将提取得到的处理结果通过已建立的
socket
连接返回给客户端
。
[0033]本专利技术的另一方面涉及一种基于超算平台的并行化电力数据库集成提取系统，包括：
[0034]任务收集与分配模块，用于收集用户任务需求，对用户任务需求中的任务进行等量划分，并将等量划分后的任务均衡分配给相应的进程进行同步处理；
[0035]数据提取模块，用于基于分配好的任务，获取单进程所分配到的任务；根据单进程分配到的任务的详情，在对应的子数据库中检索出对应的数据；按照预设的定时序列来对检索出的数据进行集成；
[0036]数据中转模块，用于与客户端建立
socket
连接，对集成的数据进行双向交互；轮询所有运行中的数据提取模块，一旦识别到数据提取模块完成任务时，则读取数据提取模块
的处理结果；将处理结果通过网络连接迅速发送给客户端；
[0037]网页界面模块，用于在网页界面上对处理结果进行展示；
[0038]数据转发模块，用于将网页后端服务器与超算集群上的提取程序本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于超算平台的并行化电力数据库集成提取方法，其特征在于，包括以下步骤：任务收集与分配：收集用户任务需求，对所述用户任务需求中的任务进行等量划分，并将等量划分后的任务均衡分配给相应的进程进行同步处理；数据提取：基于分配好的任务，获取单进程所分配到的任务；根据单进程分配到的任务的详情，在对应的子数据库中检索出对应的数据；按照预设的定时序列来对检索出的数据进行集成；数据中转：与客户端建立
socket
连接，对集成的数据进行双向交互；轮询所有运行中的数据提取模块，一旦识别到所述数据提取模块完成任务时，则读取所述数据提取模块的处理结果；将所述处理结果通过网络连接迅速发送给客户端；网页界面：在网页界面上对所述处理结果进行展示；数据转发：将网页后端服务器与超算集群上的提取程序进行通讯，待提取完成后将打包提取结果发送给客户端
。2.
如权利要求1所述的基于超算平台的并行化电力数据库集成提取方法，其特征在于，所述任务收集与分配的步骤包括：收集任务需求：获取操作界面录入的用户任务需求，在原始数据库中提取与所述用户任务需求相匹配的特征；设备资源评估：根据进程的数量，将所述用户任务需求按照超算平台可用的节点数进行等量划分，分配任务信息；分配进程：将分配好的所述任务信息发送给相应的进程，实现任务的负载均衡；进程同步：为每个进程均配置同步机制，确保所有进程同步完成任务
。3.
如权利要求1所述的基于超算平台的并行化电力数据库集成提取方法，其特征在于，所述数据提取步骤包括：任务获取：基于分配好的任务，获取单进程所分配到的任务；数据提取：根据单进程分配到的任务的详情，在对应的子数据库中检索出对应的数据；数据集成：按照预设的定时序列来对检索出的数据进行集成，将数据中每个数值都按产生的时间存入对应的地方
。4.
如权利要求1所述的基于超算平台的并行化电力数据库集成提取方法，其特征在于，所述数据中转的步骤包括：进度传输：与客户端建立
socket
连接，对集成的数据进行双向交互；完成任务收集：轮询所有运行中的数据提取模块，一旦识别到所述数据提取模块完成任务时，则读取所述数据提取模块的处理结果；数据传输：将所述处理结果通过网络连接迅速发送给客户端；进度优化：采用基于信息传递接口的非阻塞通信模式，在集成的数据未准备就绪时，执行其他任务
。5.
如权利要求4所述的基于超算平台的并行化电力数据库集成提取方法，其特征在于，所述进度传输的步骤包括：利用
socket
与客户端建立连接，当客户端发出提取需求时，则将所有的配置参数打包为一个数据包，再通过
socket
连接发送至提取管线；一旦识别到管线接收到所述数据包时，使用预设的解码规则对所述数据包进行解码；
通过
JSON
解析库对所述数据包进行解析以得到
JSON
对象，并进一步查询所述
JSON
对象以提取对应的配置参数；将解析得到的任务参数广播给所有的数据提取模块，将提取得到的处理结果通过已建立的
socket
连接返回给客户端
。6.
一种基于超算平台的并行化电力数据库集成提取系统，其特征在于，包括：任务收集与分配...

【专利技术属性】
技术研发人员：粟海斌，刘珺，詹柱，刘斌，徐毅，
申请(专利权)人：方心科技股份有限公司，
类型：发明
国别省市：