一种超大规模低成本存储系统技术方案

本实用新型专利技术公开一种超大规模低成本存储系统，包括：卷管理节点、元数据管理节点、块数据存储节点、用户挂载客户端和管理监控中心。本实用新型专利技术解决了现有存储解决方案中存在的易用性差、集成度不高、扩展性不强，成本较高等问题，实现了具有高可靠、性能优异、易维护、扩展性强、高密度的超大规模低成本的存储系统。本实用新型专利技术构建的系统，卷管理节点及元数据管理节点均采用双机热备方式，大大提高了系统的可靠性。（*该技术在2022年保护过期，可自由使用*）

【技术实现步骤摘要】

本技术涉及计算机及网络信息
，尤其涉及一种超大规模低成本存储系统。
技术介绍
随着信息时代的飞速发展，信息量的爆炸式增长已成为一种时代特征，随之而来的问题便是海量数据的存储问题，传统的硬盘式的存储显然难以满足需求，后来出现的DAS(Direct-Attached Storage—直连式存储)存储方式，解决了存储数据量的问题，但分立的DAS存储形成一个个孤岛，当一个存储容量饱和，即使其他的DAS设备有富余的容量也需要购买新的存储设备，而且新加一个服务器也要新加一个DAS，存储成本较高，后来的NAS(Network Attached Storage—网络连接式存储)和 SAN (Storage Area Network—存储网络)解决了存储空间公用的问题，但随着数据量的增长，集群的性能和可扩展性又成了主 要问题，也就无法实现超大规模低成本存储系统的构建。
技术实现思路
本技术实施的目的在于解决现有存储解决方案中存在的易用性差、集成度不高、扩展性不强，成本较高等问题，构建一种同时具有高可靠、性能优异、易维护、扩展性强、高密度的超大规模低成本的存储系统。本技术采用如下技术方案一种超大规模低成本存储系统，包括以下模块卷管理节点(SuMaster)该节点维护所有元数据服务器子集群的信息，为挂载客户端提供元数据服务器标识、IP地址和端口号信息；包括主卷管理服务器(SuperMaster)及备卷管理服务器(SlaveSuperMaster)；元数据管理节点(Master)管理元数据，为挂载客户端提供元数据访问服务；包括主元数据服务器(Master)和备元数据服务器(Slave Master)；块数据存储节点(Data Node)存储数据块，并根据配置的备份策略将数据块发送给由元数据管理节点选定的另一块数据存储节点进行数据块备份；用户挂载客户端(MountClient)文件系统挂载客户端，挂载后可对应用透明为普通的单点文件系统。管理监控中心(NMC)包括配置中心和监控中心，负责管理和监控整个存储系统，为管理员提供强大的管理功能，优化硬件资源配置。现有技术中存储系统都是单台的元数据服务器、块数据服务器和访问客户端，元数据都保存在内存中，由于内存有限无法做到大规模扩张，因而存储的文件总数量有限，每个客户端只能访问一个个固定的小集群中的文件，而本技术构建的超大规模低成本存储系统以廉价的普通磁盘为介质，能够实现客户端自动的在多个集群中访问所有文件。存储服务器单节点可挂载16块硬盘，按照当前单盘容量为3TB来算，单节点容量可达48TB。采用卷管理服务器+子集群的架构可以满足IOOPB容量要求。一个标准的42U机架将能够提供高达1PB(1024TB)的容量。依照本方法构建的存储系统可提供海量数据存储，容量无上限，理论支撑容量可达到GP级，即1024*1024*1024PB，真正做到超大规模低成本存储。本技术构建的系统，卷管理节点及元数据管理节点均采用双机热备方式，大大提高了系统的可靠性。附图说明图1为本技术系统架构图； 图2为本技术系统的组网方式及部署架构图；图3是中心服务器模式图；图4是Hash环示意图。具体实施方式以下结合附图对本技术的技术方案进行详细说明如图1、图2所示，本技术系统包括卷管理节点(SuMaster)、元数据管理节点(Master)、块数据存储节点(Data Node)、用户挂载客户端(MountClient)和管理监控中心(NMC)0卷管理节点维护所有元数据服务器子集群的信息，为挂载客户端提供元数据服务器标识、IP地址和端口号信息，包括主卷管理服务器(SuperMaster)及备卷管理服务器(Slave SuperMaster)，主、备卷管理服务器通过同一个VIP (虚拟IP)对外提供服务，主、备卷管理服务器通过监控中心添加配置和维护两者状态统一。元数据管理节点管理元数据，为挂载客户端提供元数据访问服务,包括主元数据服务器(Master)和备元数据服务器(Slave Master)，主、备元数据服务器通过scoket网络通信，实时的把每次变化的元数据同步到备元数据服务器，如果元数据不一致，则通过全量同步达到两者一致，主、备元数据服务器通过同一个VIP对外提供服务。块数据存储节点存储数据块，并根据配置的备份策略将数据块发送给另一块数据存储节点进行数据块备份，备份节点由Master根据当前的负载情况，选择负载最轻的块数据存储节点。管理监控中心包括配置中心和监控中心，负责管理和监控整个存储系统，为管理员提供强大的管理功能，优化硬件资源配置。配置中心包括卷配置、节点参数配置、存储参数配置、用户配额管理和告警配置。监控中心包括存储空间监控、设备状态监控、程序状态监控、网络状态监控、磁盘状态监控、流量监控和全面告警。卷配置能够添加和删除卷；节点参数配置能设置块数据存储节点配置参数；存储参数配置能设置卷管理节点和元数据管理节点配置参数；用户配额管理能设置不同用户能使用存储空间的大小和文件的数目；告警配置用于设置告警级别和告警类型。存储空间监控能查看各个卷空间的大小和使用情况；设备状态监控能查看各个节点设备是否正常；程序状态监控能查看每个程序是否正常运行；网络状态监控查看网络健康情况；磁盘状态监控查看磁盘是否有损坏；流量监控查看节点流量状况；全面告警包括磁盘损坏、系统空间已满、有效期到期和硬件损坏告警。下面从数据存储的角度进一步说明本技术系统的架构及组织方式。1.元数据存储 元数据存储于元数据管理节点(Master)服务器的内存中，并与本机进行持久化备份； 元数据管理节点为主、备双机方式，提供高可靠不间断元数据管理服务，单机故障时可实现无缝快速切换，通过同一个VIP对外提供服务； 考虑大容量数据存储时文件数量多，元数据容量大的问题，系统将元数据进行分布式存储，采用多个元数据管理节点进行元数据管理； 元数据分布式存储，每个元数据管理节点均注册到卷管理服务器上，每个元数据管理节点有唯一标识；MasterID (元数据服务器标识)、IP地址、端口号信息在子集群信息管理节点卷管理节点中配置和维护； 元数据管理节点ID中高N位为MasterlD，避免了不同元数据管理节点产生节点ID重复；这里的N可根据业务应用场景需求进行配置； 挂载客户端根据文件节点标识的高N位决定当次请求该发往哪个元数据管理节点。2.分布式存储本技术采用中心服务器模式来管理整个文件系统。中心管理服务器模式图如附图3:元数据管理节点管理分布式文件系统中的一个卷的元数据。文件划分为块进行存储，对于元数据管理节点来说，每个块数据存储节点均注册到元数据管理节点，块数据存储节点只是一个存储空间。客户端发起的所有操作都需要先通过元数据管理节点才能执行。这样做有许多好处，增加新的块数据存储节点是一件十分容易的事情，块数据存储节点只需要注册到元数据管理节点上即可，块数据存储节点之间无任何关系。元数据管理节点维护了一个统一的命名空间，同时掌握整个系统内块数据存储节点的情况，据此可以实现整个系统范围内数据存储的负载均衡。由于只有一个中心服务器，元数据的一致性问题自然解决。客户端对文件进行分块，然后可以选择不同的块存储到不本文档来自技高网...

【技术保护点】
一种超大规模低成本存储系统，其特征在于包括：卷管理节点：维护所有元数据服务器子集群的信息，为挂载客户端提供元数据服务器标识、IP地址和端口号信息；包括主卷管理服务器及备卷管理服务器；?元数据管理节点：?管理元数据，为挂载客户端提供元数据访问服务；包括主元数据服务器和备元数据服务器；块数据存储节点：存储数据块，并根据配置的备份策略将数据块发送给由元数据管理节点选定的另一块数据存储节点进行数据块备份；用户挂载客户端：文件系统挂载客户端，挂载后对应用透明为普通的单点文件系统；管理监控中心：包括配置中心和监控中心，负责管理和监控整个存储系统，为管理员提供强大的管理功能，优化硬件资源配置。

【技术特征摘要】
1.一种超大规模低成本存储系统，其特征在于包括 卷管理节点 维护所有元数据服务器子集群的信息，为挂载客户端提供元数据服务器标识、IP地址和端口号信息；包括主卷管理服务器及备卷管理服务器； 元数据管理节点 管理元数据，为挂载客户端提供元数据访问服务；包括主元数据服务器和备元数据服务器； 块数据存储节点 存储数据块，并根据配置的备份策略将数据块发送给由元数据管理节点选定的另一块数据存储节点进行数据块备份； 用户挂载客户端 文件系统挂载客户端，挂载后对应用透明为普通的单点文件系统； 管理监控中心 包括配置中心和监控中心，负责管理和监控整个存储系统，为管理员提供强大的管理功能，优化硬件资源配置。2.如权利要求1所述的超大规模低成本存储系统，其特征在于所述主、备卷管理服务器通过同一个VIP对外提供服务，主、备卷管理服务器通过管理监控中心添加配置和维护两者状态统一。3.如权利要求1所述的超大规模低成本存储系统，其特征在于主、备元数据服务器通过scoket网络通信，实时地把每次变化的元数据同步到备元数据服务器，主、备元数据服务器通过同一个VIP对外提供服务。4.如权利要求1所述的超大规模低成本存储系统，其特征在于配置中心包括卷配置、节点参数配置、存储参数配置、用户配额...

【专利技术属性】
技术研发人员：张真，吴全声，刘志明，阳俊，赵庆福，
申请(专利权)人：南京云创存储科技有限公司，
类型：实用新型
国别省市：