大规模分布式存储系统技术方案

一种计算机网络应用技术领域的大规模分布式存储系统，包括：至少一个存储对象的名字空间、元数据信息、对象号及对象的地址信息的管理节点、若干个存储对应的对象数据的存储节点和若干个超级客户端，超级客户端通过存储节点访问管理节点并在管理节点中查找待访问文件的对象号及对象的地址信息并从对应的存储节点中访问相应的对象数据；管理节点包括：存储有对象的名字空间和元数据信息的文件系统以及存储有对象号和对象的地址信息的数据库。本发明专利技术采用可配置的自动负载均衡和数据迁移，定期检查数据的一致性，清除垃圾数据等，消除了人工操作带来的各种问题，并且具有很高的可扩展性。

【技术实现步骤摘要】

本专利技术涉及的是一种计算机网络应用
的装置，具体是一种大规模分布式 存储系统。
技术介绍
在传统的文件存储系统或文件服务器中，比如，基于网路附加存储(Network Attached Storage，NAS)中，数据是被一个巨大的、封闭的、独立的系统所存储和管理。企 业中往往需要部署多个文件服务器，来满足迅速增长的数据处理需求。但是，部署多个文件 服务器会引起数据迁移、数据共享、负载和容量均衡以及高可用性等等问题，这些问题很多 时候需要人工参与解决，会产生诸多隐患。在传统文件系统中，每个文件服务器限制了整个文件系统的访问带宽，并且由于 元数据和数据都存储在一个单独的系统中，越来越多的用户访问时，频繁的随机读写操作 使得系统的运行速度变慢，成为性能瓶颈。经过对现有技术的检索发现，RedHat的《GFS-The Global File System(GFS文件 系统)》和Sun的《Lustre File System (Lustre文件系统)》等分布式文件系统解决了传统 文件系统中的这些问题。但是该现有技术通常用于高性能计算或大型数据中心，对硬件设 施条件要求较高。以Lustre文件系统为例，它只对元数据管理器MDS提供容错解决方案， 而对于具体的数据存储节点OST来说，则依赖其自身来解决容错的问题。例如，Lustre推 荐OST节点采用RAID技术或SAN存储区域网来容错，但由于Lustre自身不能提供数据存 储的容错，一旦OST发生故障就无法恢复，因此对OST的稳定性就提出了相当高的要求，从 而大大增加了存储的成本，而且成本会随着规模的扩大线性增长。经过对现有技术的检索发现，Google的《The Google File System (Google文件 系统)》是采用廉价的商用机器的分布式文件系统。Google GFS将容错的任务交由文件系 统来完成，利用软件的方法解决系统可靠性问题，这样使得存储的成本成倍下降；但是该现 有技术的设计是与Google应用的特点紧密结合的，仅适用于大文件、读操作优先的应用环 境，不适用于小文件随机读写的应用环境，并且不支持通用的文件系统访问协议。
技术实现思路
本专利技术针对现有技术存在的上述不足，提供一种大规模分布式存储系统，采用可 配置的自动负载均衡和数据迁移，定期检查数据的一致性，清除垃圾数据等，消除了人工操 作带来的各种问题。并且具有很高的可扩展性，随着存储设备的增加，系统的容量和带宽线 性增加。本专利技术的硬件环境例如廉价的商用机器或个人电脑等，并通过通用文件系统协议 访问，适用于存储各种大小的文件，支持用户对文件系统的各种标准操作。本专利技术是通过以下技术方案实现的，本专利技术包括至少一个存储文件的名字空间、 元数据信息、文件和对象的映射关系、对象号及对象的地址信息的管理节点、若干个存储对 应的对象数据的存储节点和若干个超级客户端或客户端，其中客户端通过存储节点访问3管理节点并在管理节点中查找待访问文件的对象号及对象的地址信息并从对应的存储节 点中访问相应的对象数据，而超级客户端则直接访问管理节点并在管理节点中查找待访问 文件的对象号及对象的地址信息并从对应的存储节点中访问相应的对象数据。所述的管理节点包括存储有对象的名字空间和元数据信息的文件系统以及存储 有对象号和对象的地址信息的数据库，其中所述的访问文件的方式使用租约管理文件的读写访问，具体为超级客户端的 一个读写请求需要向管理节点请求租约，得到租约后访问其中一个存储节点上的数据；当 多个读写请求到来时，要根据是否剥夺或访问时间等信息来进行租约的分配。所述的文件和对象的映射关系是指文件被分割成最大为64MB的对象，一个文件 可能对应一组对象号，每个对象数据可能有多个相同内容的复本，这种文件和对象的映射 关系被保存在管理节点上；文件和对象的映射关系中包括文件的状态信息等，这些信息常 被用于提高系统性能的一些策略中，这些策略有同步复制策略、异步复制策略和异步删除 策略等。所述的对象数据可能有多个相同内容的复本，各个复本存储于不同的存储节点 上，这样提高系统的可靠性，当其中某些复本错误时，通过一致性检查恢复错误数据，并且 提高这个文件被读访问时的访问带宽。所述的同步复制策略是指超级客户端向含有复本的存储节点写入数据时，各个 存储节点对其含有的复本进行同步写，当所有的复本都返回写成功后更新管理节点的元数 据信息并返回写成功给超级客户端。所述的异步复制策略是指超级客户端向含有复本的存储节点写入数据时，至少 一个存储节点对其含有的复本进行异步写，并当其余存储节点的同步写结束后即向超级客 户端返回写成功，该存储节点在完成异步写后对对象映射关系进行更新，并与其余存储节 点进行一致性检查。所述的异步删除策略是指删除管理节点中对象的名字空间和元数据后返回给 超级客户端删除成功，由对应存储节点通过加入一个异步删除任务队列进行对象数据的删 除，当异步删除任务执行后，管理节点对其存储的对象号和对象的地址信息进行修改或删 除。所述的一致性检查是指通过管理节点周期性地向存储节点发送对象号和对象的 地址信息并接收存储节点返回的更新后的对象号和对象的地址信息进行数据检查、垃圾数 据清除、数据恢复和数据迁移。所述的IP地址迁移是指当一个存储节点与管理节点断开连接或出现错误时，管 理节点将该存储节点的IP地址动态迁移至其他的存储节点。所述的访问采用NFS、CIFS、HTTP或FTP协议。附图说明图1为本专利技术系统结构图。图2a为本专利技术的超级客户端访问存储系统的结构图。图2b为本专利技术的超级客户端访问存储系统的结构图。图3为本专利技术的管理节点的功能模块图。图4为本专利技术的存储节点的功能模块图。图5为本专利技术的超级客户端的功能模块图。图6为本专利技术的对象关系映射示意图。图7为本专利技术的目录结构示意图。图8为本专利技术的租约管理示意图。图9为本专利技术的同步复制示意图。图10为本专利技术的同步复制时序图。图11为本专利技术的任务引擎示意图。图12为本专利技术的任务引擎的任务队列示意图。图13为本专利技术的异步删除任务示意图。图14为本专利技术的异步复制任务示意图。图15为本专利技术的IP地址迁移示意图。图16为本专利技术的监控服务示意图。图17为本专利技术的文件访问协议示意图。具体实施例方式下面对本专利技术的实施例作详细说明，本实施例在以本专利技术技术方案为前提下进行 实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施 例。如图1所述，本实施例包括至少一个存储对象的名字空间、元数据信息、对象号 及对象的地址信息的管理节点、若干个存储对应的对象数据的存储节点和若干个超级客户 端或客户端，其中客户端、超级客户端、管理节点和存储节点之间通过交互网络进行通信。所述的管理节点为个人电脑、工作站或服务器等；存储系统中可能存在影子管理 节点；包括存储有对象的名字空间和元数据信息的文件系统以及存储有对象号和对象的 地址信息的数据库等。所述的影子管理节点是指系统中与管理节点是实时备份关系的管理节点，当管 理节点宕机时，影子管理节点代替管理节点工作，这样提高了管理节点的可靠性。所述的存储节点为个人电脑、工作站或服务器等；采用NTFS、EXT、XFS、ZFS等文件 系统来存储数据对象。所述的客户端是本文档来自技高网...

【技术保护点】
１．一种大规模分布式存储系统，其特征在于，包括：至少一个存储对象的名字空间、元数据信息、对象号及对象的地址信息的管理节点、若干个存储对应的对象数据的存储节点和若干个超级客户端，其中：超级客户端通过存储节点访问管理节点并在管理节点中查找待访问文件的对象号及对象的地址信息并从对应的存储节点中访问相应的对象数据；所述的管理节点包括：存储有对象的名字空间和元数据信息的文件系统以及存储有对象号和对象的地址信息的数据库。

【技术特征摘要】

【专利技术属性】
技术研发人员：李小勇，刘海涛，史高峰，王皓，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：31