一种电力系统海量数据管理系统及其使用方法技术方案

本发明专利技术涉及一种电力系统海量数据管理系统及其使用方法，所述系统包括仿真数据分布式存储子系统和海量仿真数据处理子系统；所述仿真数据分布式存储子系统将数据分散存储在多台独立的互联设备上；所述仿真数据分布式存储子系统采用集群方式，其包含两类节点：元数据服务器master和文件服务器server；所述海量仿真数据处理子系统对数据通过切分规则将数据分布到不同的数据库服务器上，通过路由规则路由访问特定的数据库；所述海量仿真数据处理子系统包括数据访问层，数据管理层和数据存储层。所述方法包括仿真数据分布式存储子系统数据处理方法和海量仿真数据处理子系统处理方法。

【技术实现步骤摘要】
【专利摘要】本专利技术涉及，所述系统包括仿真数据分布式存储子系统和海量仿真数据处理子系统；所述仿真数据分布式存储子系统将数据分散存储在多台独立的互联设备上；所述仿真数据分布式存储子系统采用集群方式，其包含两类节点：元数据服务器master和文件服务器server；所述海量仿真数据处理子系统对数据通过切分规则将数据分布到不同的数据库服务器上，通过路由规则路由访问特定的数据库；所述海量仿真数据处理子系统包括数据访问层，数据管理层和数据存储层。所述方法包括仿真数据分布式存储子系统数据处理方法和海量仿真数据处理子系统处理方法。【专利说明】
本专利技术涉及一种电力系统管理方法，具体讲涉及一种电力系统海量数据管理系统 及其使用方法。
技术介绍
现阶段的电力系统仿真计算分析数据的存储模式依然严重依赖于数据库存储数 据的模式。而对大规模数据的处理，首先涉及到的是对数据的存储。单机存储不能满足大 规模数据的存储要求。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服 务器成为系统性能的瓶颈，制约了存储系统可靠性和安全性的提高，不能满足大规模存储 应用的需要。 随着目前一些地区电网的深入建设，结构化与非结构化电网仿真数据的急剧膨 胀，原有的单机数据库已无法满足海量大规模电网仿真数据的存储与处理需要，逐渐成为 数据存储和访问的瓶颈。大规模的集群数据库的投运，虽然在一定程度上解决了存储的平 滑扩展，但是也给应用带来巨大的成本。为此，电力系统仿真计算分析急需改变海量仿真计 算数据的存储模式和机制，提高数据存储和访问的效率，降低数据存储的成本，建立海量数 据处理框架，结合机群服务器，提高海量数据存储机制的扩展性、扩充性和灵活性。 电力系统海量数据存储与处理系统的使用部门需要基于廉价的PC实现快速可靠 的存储，处理PB级数据，根据业务需求尽量平衡分布式系统的CAP理论中三点要求，接口要 简洁，对上层应用的改动尽量产生较小的影响，达到较好的性价比。
技术实现思路
针对现有技术的不足，本专利技术提出一种电力系统海量数据管理系统及其使用方 法，本专利技术方法通过仿真数据分布式存储子系统与海量仿真数据处理子系统的构建来说 明。 仿真数据分布式存储子系统将数据分散存储在多台独立的互联设备上。采用可扩 展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，不但提 高了系统的可靠性、可用性和存取效率，还易于扩展。 仿真数据分布式存储子系统采用集群方式来实现，集群通常包含两类节点：元数 据服务器和文件服务器。元数据服务器通常只管理名字空间，权限等元数据信息，而底层的 磁盘块分配释放则交由各个文件服务器单独管理。文件服务器提供给外界的是面向数据对 象的访问接口，对象大小远大于磁盘块大小，且可以大小不一。客户端通常只在执行元数据 操作（如打开、创建文件）时和元数据服务器交互，数据I/O操作则直接与文件服务器交 互。该架构把磁盘块管理，数据I/O处理分散到多个文件服务器，从而提高了系统的可扩展 性。 海量仿真数据处理子系统为了能够高效存储处理海量数据，需要根据数据之间的 关联进行合理切分。数据切分（Sharding)的基本思想就要把一个数据库切分成多个部分 放到不同的数据库（server)上，从而缓解数据存储在单一数据库所带来的性能问题。 数据切分可以是物理上的，对数据通过一系列的切分规则将数据分布到不同的数 据库服务器上，通过路由规则路由访问特定的数据库。这样一来每次访问面对的就不是单 台服务器了，而是N台服务器，这样就可以降低单台机器的负载压力。数据切分也可以是数 据库内的，对数据通过一系列的切分规则，将数据分布到一个数据库的不同表中。 本专利技术的目的是采用下述技术方案实现的： 一种电力系统海量数据管理系统，其改进之处在于，所述系统包括仿真数据分布 式存储子系统和海量仿真数据处理子系统； 所述仿真数据分布式存储子系统将数据分散存储在多台独立的互联设备上； 所述仿真数据分布式存储子系统采用集群方式，其包含两类节点：元数据服务器 master和文件服务器server ; 所述海量仿真数据处理子系统对数据通过切分规则将数据分布到不同的数据库 服务器上，通过路由规则路由访问特定的数据库； 所述海量仿真数据处理子系统包括数据访问层，数据管理层和数据存储层。 优选的，所述系统对电力系统海量仿真数据进行结构化与非结构化进行分类处 理，通过仿真数据分布式存储子系统存储电力系统仿真计算分析非结构化数据，通过关系 型数据库依据细分属性进行水平切分后分库分表存储与处理。 优选的，所述仿真数据分布式存储子系统由一个单一的元数据服务器和多个文件 服务器组成，客户端client访问主节点； 在子系统中，每个文件拆成固定大小的块chunk ;每一个块都由master根据块创 建的时间产生一个64位的chunk handle标志；server在本地文件系统保存这些文件块， 并且根据chunk handle和字节区间，通过操作系统文件系统读写这些块数据。 优选的，所述海量仿真数据处理子系统对于数据的切分包括垂直切分和水平切 分； 所述垂直切分为把不同格式的数据，存储到不同的数据库； 所述水平切分为把相同的数据格式的数据，存储到不同的数据库。 优选的，所述数据访问层用于接受用户接入，等待用户输入，对输入语句进行输出 转换和输入拆分，并保存拆分信息； 所述数据管理层负责调用底层接口，通过传递参数来进行管理；并接受数据访问 层提取的输入信息，调用底层接口，获得所需数据； 所述数据存储层用于与操作系统对接，调用底层文件接口对文件进行操作。 本专利技术基于另一目的提供的一种电力系统海量数据使用方法，其改进之处在于， 所述方法包括仿真数据分布式存储子系统数据处理方法和海量仿真数据处理子系统处理 方法。 优选的，所述仿真数据分布式存储子系统数据处理方法包括 (1)写入过程； (I. 1)客户端向元数据服务器发送查找命令，检查所要创建文件的父目录下是否 已有该文件名目录项，元数据服务器通过查询B+树检查是否有并返回结果； (1. 2)若此文件名不存在，客户端向元数据服务器发送信息在该目录下创建文件， 指定文件名以及该文件的副本数，元数据服务器在名字空间中添加该文件名目录项，并向 客户端返回该文件对应的文件句柄，该文件句柄代表这个文件； (1.3)客户端准备向文件的某偏移量写入数据，先算得该偏移量位于第几个 server，向元数据服务器发送定位命令创建该偏移量对应的chunk ; (1. 4)元数据服务器为该chunk分配chunk号，并优选3个sever服务器来存放这 个chunk，元数据服务器向被选中的3个server服务器发送写入信息，被选中的3个server 服务器创建该chunk并返回成功； (1. 5)元数据服务器在接收到所有创建成功信息后向客户端返回成功； (1. 6)客户端向3个sever服务器写数据； (2)读取过程； (2. 1)客户端向元数据服务器发送查找命令获取所要读取文件的文件句柄； (本文档来自技高网...

【技术保护点】
一种电力系统海量数据管理系统，其特征在于，所述系统包括仿真数据分布式存储子系统和海量仿真数据处理子系统；所述仿真数据分布式存储子系统将数据分散存储在多台独立的互联设备上；所述仿真数据分布式存储子系统采用集群方式，其包含两类节点：元数据服务器master和文件服务器server；所述海量仿真数据处理子系统对数据通过切分规则将数据分布到不同的数据库服务器上，通过路由规则路由访问特定的数据库；所述海量仿真数据处理子系统包括数据访问层，数据管理层和数据存储层。

【技术特征摘要】

【专利技术属性】
技术研发人员：何春江，陈勇，裘微江，郭中华，周智强，严剑峰，刘欣，
申请(专利权)人：国家电网公司，中国电力科学研究院，
类型：发明
国别省市：北京;11