一种用于存储电网实时运行数据的分布式存储系统技术方案

本发明专利技术公开了一种用于存储电网实时运行数据的分布式存储系统，包括数据获取单元、数据解析单元、数据划分单元、控制器、显示单元、管理单元、数据跟随单元和存储端；本发明专利技术通过数据获取单元获取到电网运行数据，之后借助数据解析单元对电网运行数据进行分类得到分类运行数据，之后借助数据划分单元对分类运行数据进行阶次分析得到对应该分类运行数据的内容占值Sij、跨度时长Tij和重值Zij这三个影响因素，并根据这三个影响因素计算对应分类运行数据的奇值Qij；之后借助控制器及其对应的规则，根据奇值Qij对分类运行数据分配排值，之后借助识别转存单元根据排值将对应的分类运行数据进行存储分配。

A distributed storage system for real-time operation data of power grid

The invention discloses a distributed storage system for storing real-time operation data of power grid, including data acquisition unit, data analysis unit, data division unit, controller, display unit, management unit, data follow unit and storage end; the invention obtains operation data of power grid through data acquisition unit, and then uses data analysis unit to process operation data of power grid Row classification is used to get classified operation data, and then the rank analysis of classified operation data is carried out by means of data division unit to get the three influencing factors of the content of classified operation data, namely, SIJ, span length TIJ and multiple value Zij, and the odd value qij of corresponding classified operation data is calculated according to these three influencing factors; then the controller and its corresponding rules are used to calculate the odd value qij of corresponding classified operation data according to the odd value qij The sorting operation data is allocated the row value, and then the corresponding sorting operation data is stored and allocated according to the row value with the help of the identification transfer storage unit.

【技术实现步骤摘要】
一种用于存储电网实时运行数据的分布式存储系统
本专利技术属于电网运行数据分布式存储领域，涉及一种分布式存储技术，具体是一种用于存储电网实时运行数据的分布式存储系统。
技术介绍
公告号为CN103116595B的专利文件公开了一种面向电网的SCADA历史数据分布式存储的实现方法，前置服务器实时采集电力数据，并将数据组装成报文，以消息的形式发放到总线上；各应用服务器读取各自订阅的消息报文，解析得到的数据放入实时库；实时库的数据不断被刷新，不同业务类型的数据以不同的采样频率批量存入开源分布式数据库。本专利技术采用海量scada历史数据的分布式存储，具有大数据的快速查询分析能力、支持多副本容错、支持分布式计算等优点，并且其还具有良好的扩展性。但是该专利在对历史数据进行处理的时候，没有结合数据的自身特性，仅仅是根据不同业务类型的数据以不同的采样频率存入开源分布式数据库，缺乏综合考虑数据的自身特性；而且没有突出数据自身的重要性；为了解决这一技术问题，现提供一种解决方案。
技术实现思路
本专利技术的目的在于提供一种用于存储电网实时运行数据的分布式存储系统。本专利技术的目的可以通过以下技术方案实现：一种用于存储电网实时运行数据的分布式存储系统，包括数据获取单元、数据解析单元、数据划分单元、控制器、显示单元、管理单元、数据跟随单元和存储端；存储端包括识别转存单元、第一存储模块、第二存储模块、第三存储模块和第四存储模块；其中，所述数据获取单元用于获取电网运行数据，电网运行数据为电网在运行时候产生的数据；所述数据获取单元用于将电网运行数据传输到数据解析单元，所述数据解析单元接收数据获取单元传输的电网运行数据并对其进行数据解析处理得到分类运行数据Dij；所述数据解析单元用于将分类运行数据Dij传输到数据划分单元，所述数据划分单元接收数据解析单元传输的分类运行数据Dij并对其进行阶次分析，阶次分析的具体步骤为：步骤一：首先获取到所有的分类运行数据Dij，对分类运行数据Dij进行重要性分析得到重值Zij，Zij与Dij一一对应；步骤二：获取到所有的分类运行数据Dij，首先获取到该分类运行数据Dij距离当下的时间跨度，具体获取准则为：以半天为计量单位，超过一天不到两天的标记为1.5天，依次类推，得到所有分类运行数据Dij距离当下的时间跨度，将其标记为跨度时长Tij；Tij与Dij一一对应；步骤三：获取到所有分类运行数据Dij的占用存储大小，并采用统一量纲兆，将存储大小标记为内容占值Sij，Sij与Dij一一对应；步骤四：得到内容占值Sij、跨度时长Tij和重值Zij，引入权值X3、X4和X5；且有X3<X4<X5，X3+X4+X5＝1；步骤五：将该存储优先级数标定为奇值Qij；根据公式Qij＝X3*Zij+X4*Tij+X5*Sij计算得到奇值Qij，Qij与Dij一一对应；所述数据划分单元用于将奇值Qij传输到控制器，所述控制器用于根据数据跟随单元内存储的分配规则对分类运行数据Dij进行分类标记处理，具体处理步骤如下：SS1：首先获取到对应分类运行数据Dij的奇值Qij；SS2：根据Qij的值对分类运行数据Dij进行排序；SS3：将排名位于前1/5的对应分类运行数据Dij赋予排值Ⅰ；将排名位于总占比1/5-2/5之间位置的对应分类运行数据Dij赋予排值Ⅱ，此处指代位于排名1/5之后到位于排名2/5之间这一阶段的数据；将排名位于总占比2/5-4/5之间位置的对应分类运行数据Dij赋予排值Ⅲ，该位置解释同上；将排名位于最后1/5的对应分类运行数据Dij赋予排值Ⅳ；所述控制器用于将分类运行数据Dij及其对应的排值传输到识别转存单元，所述识别转存单元用于对分类运行数据Dij进行转存处理，具体过程如下：K1：获取分类运行数据Dij及其对应的排值；K2：将排值为Ⅰ的分类运行数据Dij存储到第一存储模块；K3：将排值为Ⅱ的分类运行数据Dij存储到第二存储模块；K4：将排值为Ⅲ的分类运行数据Dij存储到第三存储模块；K5：将排值为Ⅳ的分类运行数据Dij存储到第四存储模块；进一步地，所述数据解析处理具体步骤如下：A：获取到所有的电网运行数据；B：对电网运行数据进行分类处理，具体分类按照其文件后缀名进行分类；C：得到若干种的电网运行数据，将电网运行数据按照种类划分得到分类运行数据，并将其分类运行数据标记为Dij，i＝1...n，j＝1...m；其中Dij表示第i类的第j个分类运行数据。进一步地，所述重要性分析的具体步骤为：S1：首先令i＝1，获取到对应该类的所有分类运行数据D1j，j＝1...m；S2：令j＝1，获取到对应的分类运行数据D11；S3：获取到对应该分类运行数据的查看次数和调用次数，并将查看次数标记为K，将调用次数标记为C；其中查看次数指代用户在预设时间内搜索了任一数据，则表示该数据的查看次数加一；调用次数指代用户在预设时间内搜索了任一数据，并获取调用了该数据，则表示对应该数据调用次数加一；S4：根据查看次数K和调用次数C计算重要性度量数据重值，引入均衡值X1和X2，X1和X2为预设值，且X1+X2＝1，X1>X2；S5：利用公式Z＝C*X1+K*X2计算该分类运行数据的重值C；S6：令j＝j+1，选中对应分类运行数据，重复步骤S2-S5，得到该分类运行数据的重值；S7：重复步骤S6得到当i＝1时，所有对应该类型的分类运行数据的重值；S8：令i＝i+1，重复步骤S1-S7，得到该分类所有运行数据的重值；S9：重复步骤S8，直到得到所有分类运行数据的重值，将重值标定为Zij，i＝1...n，j＝1...m；且Zij与Dij一一对应。进一步地，第一存储模块、第二存储模块、第三存储模块和第四存储模块对外界指令响应的速度和数据读取速度，依次序逐步降低。进一步地，所述管理单元用于用户录入所有的预设值X1、X2、X3、X4和X5；所述管理单元用于将预设值X1、X2、X3、X4和X5传输到控制器，所述控制器用于将预设值X1、X2、X3、X4和X5传输到数据划分单元，所述数据划分单元用于将预设值X1和X2传输到数据解析单元。进一步地，所述控制器还用于每隔预设时间结合数据解析单元和数据分析单元，重新分析一次所有分类运行数据的排值得到更新排值；所述控制器用于将更新排值传输到识别转存单元，所述识别转存单元用于根据更新排值重新对分类运行数据进行存储；所述识别转存单元还用于将连续存储在第四存储模块内，且超过第二预设时间长度的分类运行数据标记为删除数据；所述第四存储模块在检测到存在删除数据时自动将其删除。进一步地，所述控制器还用于将分类运行数据Dij及其对应的排值传输到显示单元，所述显示单元接收控制器传输的分类运行数据Dij及其对应的排本文档来自技高网...

【技术保护点】
1.一种用于存储电网实时运行数据的分布式存储系统，其特征在于，包括数据获取单元、数据解析单元、数据划分单元、控制器、显示单元、管理单元、数据跟随单元和存储端；所述存储端包括识别转存单元、第一存储模块、第二存储模块、第三存储模块和第四存储模块；/n其中，所述数据获取单元用于获取电网运行数据，所述电网运行数据为电网在运行时候产生的数据；/n所述数据获取单元用于将电网运行数据传输到数据解析单元，所述数据解析单元接收数据获取单元传输的电网运行数据并对其进行数据解析处理得到分类运行数据Dij；/n所述数据解析单元用于将分类运行数据Dij传输到数据划分单元，所述数据划分单元接收数据解析单元传输的分类运行数据Dij并对其进行阶次分析，阶次分析的具体步骤为：/n步骤一：首先获取到所有的分类运行数据Dij，对分类运行数据Dij进行重要性分析得到重值Zij，Zij与Dij一一对应；/n步骤二：获取到所有的分类运行数据Dij，首先获取到该分类运行数据Dij距离当下的时间跨度，具体获取准则为：/n以半天为计量单位，超过一天不到两天的标记为1.5天，依次类推，得到所有分类运行数据Dij距离当下的时间跨度，将其标记为跨度时长Tij；Tij与Dij一一对应；/n步骤三：获取到所有分类运行数据Dij的占用存储大小，并采用统一量纲兆，将存储大小标记为内容占值Sij，Sij与Dij一一对应；/n步骤四：得到内容占值Sij、跨度时长Tij和重值Zij，引入权值X3、X4 和X5；且有X3<X4<X5，X3+X4+X5＝1；/n步骤五：将该存储优先级数标定为奇值Qij；根据公式Qij＝X3*Zij+X4*Tij+X5*Sij计算得到奇值Qij，Qij与Dij一一对应；/n所述数据划分单元用于将奇值Qij传输到控制器，所述控制器用于根据数据跟随单元内存储的分配规则对分类运行数据Dij进行分类标记处理，具体处理步骤如下：/nSS1：首先获取到对应分类运行数据Dij的奇值Qij；/nSS2：根据Qij的值对分类运行数据Dij进行排序；/nSS3：将排名位于前1/5的对应分类运行数据Dij赋予排值Ⅰ；/n将排名位于总占比1/5-2/5之间位置的对应分类运行数据Dij赋予排值Ⅱ，此处指代位于排名1/5之后到位于排名2/5之间这一阶段的数据；/n将排名位于总占比2/5-4/5之间位置的对应分类运行数据Dij赋予排值Ⅲ，该位置解释同上；/n将排名位于最后1/5的对应分类运行数据Dij赋予排值Ⅳ；/n所述控制器用于将分类运行数据Dij及其对应的排值传输到识别转存单元，所述识别转存单元用于对分类运行数据Dij进行转存处理，具体过程如下：/nK1：获取分类运行数据Dij及其对应的排值；/nK2：将排值为Ⅰ的分类运行数据Dij存储到第一存储模块；/nK3：将排值为Ⅱ的分类运行数据Dij存储到第二存储模块；/nK4：将排值为Ⅲ的分类运行数据Dij存储到第三存储模块；/nK5：将排值为Ⅳ的分类运行数据Dij存储到第四存储模块。/n...

【技术特征摘要】
1.一种用于存储电网实时运行数据的分布式存储系统，其特征在于，包括数据获取单元、数据解析单元、数据划分单元、控制器、显示单元、管理单元、数据跟随单元和存储端；所述存储端包括识别转存单元、第一存储模块、第二存储模块、第三存储模块和第四存储模块；
其中，所述数据获取单元用于获取电网运行数据，所述电网运行数据为电网在运行时候产生的数据；
所述数据获取单元用于将电网运行数据传输到数据解析单元，所述数据解析单元接收数据获取单元传输的电网运行数据并对其进行数据解析处理得到分类运行数据Dij；
所述数据解析单元用于将分类运行数据Dij传输到数据划分单元，所述数据划分单元接收数据解析单元传输的分类运行数据Dij并对其进行阶次分析，阶次分析的具体步骤为：
步骤一：首先获取到所有的分类运行数据Dij，对分类运行数据Dij进行重要性分析得到重值Zij，Zij与Dij一一对应；
步骤二：获取到所有的分类运行数据Dij，首先获取到该分类运行数据Dij距离当下的时间跨度，具体获取准则为：
以半天为计量单位，超过一天不到两天的标记为1.5天，依次类推，得到所有分类运行数据Dij距离当下的时间跨度，将其标记为跨度时长Tij；Tij与Dij一一对应；
步骤三：获取到所有分类运行数据Dij的占用存储大小，并采用统一量纲兆，将存储大小标记为内容占值Sij，Sij与Dij一一对应；
步骤四：得到内容占值Sij、跨度时长Tij和重值Zij，引入权值X3、X4和X5；且有X3<X4<X5，X3+X4+X5＝1；
步骤五：将该存储优先级数标定为奇值Qij；根据公式Qij＝X3*Zij+X4*Tij+X5*Sij计算得到奇值Qij，Qij与Dij一一对应；
所述数据划分单元用于将奇值Qij传输到控制器，所述控制器用于根据数据跟随单元内存储的分配规则对分类运行数据Dij进行分类标记处理，具体处理步骤如下：
SS1：首先获取到对应分类运行数据Dij的奇值Qij；
SS2：根据Qij的值对分类运行数据Dij进行排序；
SS3：将排名位于前1/5的对应分类运行数据Dij赋予排值Ⅰ；
将排名位于总占比1/5-2/5之间位置的对应分类运行数据Dij赋予排值Ⅱ，此处指代位于排名1/5之后到位于排名2/5之间这一阶段的数据；
将排名位于总占比2/5-4/5之间位置的对应分类运行数据Dij赋予排值Ⅲ，该位置解释同上；
将排名位于最后1/5的对应分类运行数据Dij赋予排值Ⅳ；
所述控制器用于将分类运行数据Dij及其对应的排值传输到识别转存单元，所述识别转存单元用于对分类运行数据Dij进行转存处理，具体过程如下：
K1：获取分类运行数据Dij及其对应的排值；
K2：将排值为Ⅰ的分类运行数据Dij存储到第一存储模块；
K3：将排值为Ⅱ的分类运行数据Dij存储到第二存储模块；
K4：将排值为Ⅲ的分类运行数据Dij存储到第三存储模块；
K5：将排值为Ⅳ的分类运行数据Dij存储到第四存储模块。


2.根据权利要求1所述的一种用于存储电网实时运行数据的分布式存储系统，其特征在于，所述数据解析处理具体步骤如下：
A：获...

【专利技术属性】
技术研发人员：梁寿愚，胡荣，何超林，方文崇，李映辰，周志烽，朱文，王义昌，
申请(专利权)人：中国南方电网有限责任公司，
类型：发明
国别省市：广东;44