风电场数据分布式存储系统、方法、设备及介质技术方案

本发明专利技术公开了一种风电场数据分布式存储系统、方法、设备及介质。该风电场数据分布式存储系统，包括多个用于存储风机数据的存储服务器，至少一个所述存储服务器部署有客户端和监控进程，至少两个所述存储服务器部署有分配进程，其中：所述客户端用于接收所述风电场数据并进行缓存；所述分配进程用于将所述客户端中缓存的所述风电场数据基于数据种类分配至对应的所述存储服务器；所述监控进程用于选择一个所述分配进程作为主分配进程，并监控所述主分配进程和其他所述分配进程的状态，在所述主分配进程故障时，切换其他状态正常的所述分配进程替代所述主分配进程。能通过该存储系统能将海量数据接入、存储及整合。存储及整合。存储及整合。

【技术实现步骤摘要】
风电场数据分布式存储系统、方法、设备及介质


[0001]本专利技术涉及一种分布式存储系统，尤其是风电场数据分布式存储系统、方法、设备及介质。

技术介绍

[0002]目前风电场的风机各部件的监控系统相互独立，缺乏数据交互，难以通过数据的共享与算法的整合实现对风力发电机组的全面监控；各部件的监控系统相互独立，数据采集单元使用的硬件平台不统一，后期难以维护；各部件的监控系统各自采用不同的通讯协议，对数据的接入与整合带来了困难；对各部件的采集数据，缺乏集中统一的分布式存储平台。

技术实现思路

[0003]本专利技术要解决的技术问题是为了克服现有技术中风机各部件数据不互通，缺乏的缺陷，提供一种。
[0004]本专利技术是通过下述技术方案来解决上述技术问题：
[0005]第一方面提供一种风电场数据分布式存储系统，包括多个用于存储风机数据的存储服务器，至少一个所述存储服务器部署有客户端和监控进程，至少两个所述存储服务器部署有分配进程，其中：
[0006]所述客户端用于接收所述风电场数据并进行缓存；
[0007]所述分配进程用于将所述客户端中缓存的所述风电场数据基于数据种类分配至对应的存储服务器；
[0008]监控进程用于选择一个分配进程作为主分配进程，并监控所述主分配进程和其他分配进程的状态，在所述主分配进程故障时，切换其他状态正常的分配进程替代所述主分配进程。
[0009]较佳地，所述分配进程还用于根据哈希函数将所述客户端中缓存的风电场数据基于数据种类分配至对应的存储服务器。
[0010]较佳地，所述客户端还用于识别所述风电场数据的存储服务映射信息，并根据所述存储服务映射信息形成服务信息表。
[0011]较佳地，所述监控进程还用于监控所述分配进程的工作状态和存储服务器的上线和下线信息，并发送至所述主分配进程。
[0012]较佳地，所述存储服务器还用于在被分配的所述风电场数据大于预设阈值时，压缩所述风电场数据。
[0013]较佳地，所述分配进程还用于筛选所述风电场数据中的目标数据，在所述目标数据分配的存储服务器以外的其他存储服务器中存储所述目标数据的副本。
[0014]较佳地，所述分配进程还用于缓存包括所述风电场数据存储服务信息的元数据。
[0015]第二方面提供一种风电场数据分布式存储方法，应用于上述的风电场数据分布式
Electrotechnical Commission国际电工委员会104)工业协议，提供风机实时数据及统计数据对外接口服务。客户端1接收风电场主控PLC发来的不同种类的风机数据，并进行缓存；监控进程2从多个分配进程中选择一个分配进程作为主分配进程3；主分配进程3根据客户端中的风机数据的种类，分配至对应的存储服务器。
[0033]例如，将存储服务器4按风机数据种类分为环境数据存储服务器、风机工作数据存储服务器和风机故障数据存储服务器，对应的将风机环境数据、风机工况数据和风机故障数据具有对应种类的备注，分配进程根据在客户端1中缓存的风机数据的备注分配至对应的环境数据存储服务器、风机工作数据存储服务器和风机故障数据存储服务器。
[0034]监控进程2用于监控各分配进程的状态，尤其是主分配进程3的状态，在主分配进程3发生离线或者故障等无法工作的情况时，监控进程能及时选择另一可工作的其他分配进程301作为主分配进程3用于分配风机数据至对应的存储服务器4。
[0035]需强调的是，本实施例中所述分配进程、监控进程2及客户端1可根据实际使用需求采用分配服务器、监控服务器及客户端服务器等形式。同样的，分配进程、监控进程2、客户端1及存储服务器4的数量根据实际需求进行增减。
[0036]通过客户端1、监控进程2、分配进程及存储服务器4组成的风电场数据分布存储系统，能接入风场数据采集组件的各个检测传感器的数据信号，并分类、分时的进行分布式存储，同时通过监控进程保障整个风电场数据分布式存储系统的工作稳定性。
[0037]在一可实施的方式中，所述分配进程还用于根据哈希函数将所述客户端中缓存的风电场数据基于数据种类分配至对应的存储服务器。
[0038]具体的，哈希函数又称哈希算法，包括但不限于字符串哈希算法、MD4(Message Digest消息摘要)算法、MD5算法、SHA
‑
1(Secure Hash Algorithm安全哈希算法)算法、Davies
‑
Meyer(分组算法)等，哈希函数对具有较高计算效率需求的风电场数据有较高的适配性，实现数据的均匀分布和快速定位，能提高风场数据分布式存储系统的运行效率和散列均匀。
[0039]在一可实施的方式中，所述客户端还用于识别所述风电场数据的存储服务映射信息，并根据所述存储服务映射信息形成服务信息表。
[0040]具体的，所述客户端1在所述风电场数据经分配进程存入存储服务器4中的过程中，记录所述风电场数据在所述存储服务器4的存储位置相关的映射信息，所有所述风场数据的映射信息形成所述服务信息表。作为可实现的方式，所述客户端1还部署有用于记录服务信息表的存储信息的ROOT(根目录)表。
[0041]在一可实施的方式中，所述监控进程还用于监控所述分配进程的工作状态和存储服务器的上线和下线信息，并发送至所述主分配进程。
[0042]具体的，监控进程2实时监控各分配进程的工作状态，尤其是主分配进程3的工作状态，监控进程2可周期性的将其他分配进程301的工作状态，包括但不限于上线和下线信息，以保障在主分配3进程故障或无法通信时，及时选择一处于工作状态的其他分配进程301，替代为主分配进程3；同时将存储服务器的上线和下线信息发送至所述主分配进程，以便主分配进程将风电场数据分配至工作的存储服务器。
[0043]监控进程2的存在能保障整个风电场数据分布式存储系统的运行稳定，尤其是不占用更多的服务器，节约成本。
[0044]在一可实施的方式中，所述存储服务器4还用于在被分配的所述风电场数据大于预设阈值时，压缩所述风电场数据。
[0045]具体的，所述风电场数据存入存储服务器4的数据大小达到阈值时，系统会将数据进行合并，在合并过程中进行版本迭代和删除，形成压缩数据。这样有利于系统存储更多数据。
[0046]在一可实施的方式中，所述分配进程还用于筛选所述风电场数据中的目标数据，在所述目标数据分配的存储服务器4以外的其他存储服务器中存储所述目标数据的副本。
[0047]具体的，为了提高风电场数据分布式存储系统的稳定性，在对于采集的风电场数据中重要的目标数据，在分配程序的分配过程中进行筛选和标记，将目标数据进行分布存储的同时，在至少一个其他存储服务器中存储目标数据的副本，以保障重要的目标数据在原存储服务器文件损坏的情况下，仍能调取副本进行后续计算使用。
[0048]在一可实施的方式中，所述分配进程还用于缓存包括所述风电场数据存储服务信息的元数据。
[0049]具体的，通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种风电场数据分布式存储系统，其特征在于，包括多个用于存储风机数据的存储服务器，至少一个所述存储服务器部署有客户端和监控进程，至少两个所述存储服务器部署有分配进程，其中：所述客户端用于接收所述风电场数据并进行缓存；所述分配进程用于将所述客户端中缓存的所述风电场数据基于数据种类分配至对应的所述存储服务器；所述监控进程用于选择一个所述分配进程作为主分配进程，并监控所述主分配进程和其他所述分配进程的状态，在所述主分配进程故障时，切换其他状态正常的所述分配进程替代所述主分配进程。2.根据权利要求1所述的风电场数据分布式存储系统，其特征在于，所述分配进程还用于根据哈希函数将所述客户端中缓存的风电场数据基于数据种类分配至对应的存储服务器。3.根据权利要求1所述的风电场数据分布式存储系统，其特征在于，所述客户端还用于识别所述风电场数据的存储服务映射信息，并根据所述存储服务映射信息形成服务信息表。4.根据权利要求1所述的风电场数据分布式存储系统，其特征在于，所述监控进程还用于监控所述分配进程的工作状态和存储服务器的上线和下线信息，并发送至所述主分配进程。5.根据权利要求1所述的风电场数据分布式存储系统，其特征在于，所述存储服务器还用于在被分配的所述风电场数据大于预设阈值时...

【专利技术属性】
技术研发人员：申文，
申请(专利权)人：上海电气风电集团股份有限公司，
类型：发明
国别省市：