网络存储系统中的数据管理方法及其构建的网络存储系统技术方案

本发明专利技术一种网络存储系统中的数据管理方法，是在网络存储系统中的存储服务器内设置核心管理器，由所述核心管理器将所述存储服务器对应的存储空间组成共有存储空间，并使各存储服务器与其管理的对应的元数据分离而成为存储管理器，所述各存储管理器中的所述核心管理器对元数据在所述共有存储空间的存储位置和元数据与所述存储管理器的对应关系进行管理。通过调整所述的对应关系，即可简单、有效地实现存储管理器的扩展、失效处理、动态负载均衡和／或集群重构等过程。本发明专利技术有效的解决了现有网络存储系统的扩展性问题，最大程度上发挥出存储管理器集群的动态处理能力，因此极大地提高了数据的可靠性和可用性。

【技术实现步骤摘要】

本专利技术涉及网络存储
，特别涉及一种网络存储系统中的数据管理方法及其构建的网络存储系统。
技术介绍
网络存储系统是基于存储网络，以存储服务器为核心，为应用服务器提供数据存储服务的数据存储系统，该系统强调数据服务的可扩展性、高可靠性和动态处理能力，目前常用的技术是存储区域网络(SAN)。存储区域网络是由若干存储服务器和存储设备以及存储网络设备组成的一个单独的数据网络，通过专用的互连方式连接，是一种高速、专用、集中式管理且具有安全性的信息系统构架。在存储区域网络中，对外提供数据服务的存储服务器在进行扩展时会导致系统的I/O性能下降，因此限制了该类型服务器的应用。特别是随着具有独立的元数据服务器结构的存储系统的发展，存储服务器(例如元数据服务器)的动态扩展问题就更成为影响系统整体性能扩展的重要因素。在目前元数据服务器(即存储服务器，以下同)的设计中，通常每个元数据服务器都使用自己对应的存储空间来存储元数据，该对应的存储空间是元数据服务器对应的本地存储装置中的存储空间。一般来说，元数据管理器集群(即存储服务器集群)主要使用两种元数据存储和管理方法。方法一，集群中的每个元数据服务器保存部分的全局元数据表，即全局元数据表由集群中所有的元数据服务器上的子表合并而成。这样，每个元数据服务器可以具备高的元数据访问性能和元数据存储效率，并且无需其他同步机制。但是，这种设计使得元数据服务器集群的容灾性和负载均衡能力很差。因为，一个元数据服务器的失效，将导致部分元数据表的丢失。而元数据动态负载不均衡将导致大量的元数据从某一个服务器上存取，会降低元数据服务器集群的性能。方法二，集群中的每个元数据服务器在本地保存一个被同步的全局的元数据表的拷贝，即每个元数据服务器都可以访问全局元数据表，包括读访问和写访问。而元数据服务器之间采用一定的同步机制来保证全局元数据的实时性和完整性。这样，元数据服务器集群就可以具有很好的负载均衡能力和容灾能力。但是因为通常元数据的访问是一种很频繁的小I/O请求，这种元数据服务器之间同步机制将损坏元数据服务器集群整体性能，进而使整个存储系统性能下降。而且由于这种同步机制的开销，也使得元数据服务器集群的扩展性受到限制。因为加入新的元数据服务器意味着有更多的全局元数据表需要同步。这种元数据管理机制也使得元数据的存储效率降低，因为每个元数据记录在每个服务器上都有对应的本地拷贝。
技术实现思路
本专利技术的目的在于提供一种网络存储系统中的数据管理方法，该方法可有效地解决现有网络存储系统中的存储服务器的扩展问题，同时还解决了存储服务器失效的动态处理和恢复，存储服务器集群的负载均衡、重构等技术难题，可以在最大程度上发挥出系统的动态处理能力，因此极大地提高了数据的可靠性和可用性。本专利技术的另一个目的在于提供该方法构建的网络存储系统，该系统中的存储服务器具有优越的动态扩展功能，同时能动态处理和恢复存储服务器的失效，即具有较好的容灾性能，还能在保证系统高的存储效率的条件下实现存储服务器集群的负载均衡和重构。实现本专利技术第一个目的的技术方案是这样一种网络存储系统中的数据管理方法，所述网络存储系统包括互连网络、与所述互连网络相连的为应用服务器提供数据存储服务的存储服务器集群及其中各存储服务器对应的存储空间，所述各存储服务器存储和管理的数据包括应用服务器需要存取的原始数据和储存在所述对应的存储空间的元数据，其特征在于，在所述存储服务器内设置核心管理器，由所述核心管理器将所述各存储服务器对应的存储空间组成共有存储空间，并使各存储服务器与其对应的元数据分离而成为存储管理器，所述存储管理器中的所述核心管理器对元数据在所述共有存储空间的存储位置和元数据与所述各存储管理器的对应关系进行管理。技术效果本专利技术由于将各存储服务器对应的存储空间集中而构成共有存储空间，这样各存储服务器原来各自对应的存储空间不再成为各存储服务器的私有空间，而是通过核心管理器的管理组合成根据数据高效管理需要而安排的共有存储空间，同时各存储服务器对应的存储空间内的元数据也相应地与各自存储服务器分离，成为在核心管理器分配下，根据高效管理需要安排给各存储服务器管理的可分配元数据。将只对元数据进行管理的存储服务器定义为存储管理器，相应存储服务器集群成为存储管理器集群，即各存储管理器不再拥有对应的存储空间和对应的元数据，而是只对核心管理器分配给它的元数据进行管理。由于各存储管理器不自己拥有各自的元数据，即实现了与元数据的分离，因此存储管理器的扩展、失效处理，存储管理器集群的动态负载均衡和重构都变成与元数据无关的操作，故本专利技术能有效地解决现有设计方案中的扩展性问题，同时还解决了存储管理器失效的动态处理和恢复、存储管理器集群的负载均衡、存储管理器集群重构等技术难题。更优化的设计是，所述共有存储空间设置有分区，所述存储管理器与所述分区具有一对一和/或一对多的映射关系。在共有存储空间设置有分区的方案下，核心管理器的管理更方便，即只需对分区进行编号，设置好分区与各存储管理器的对应关系，就可使数据的管理有序而高效，使得共有存储空间的每一个分区都可以映射在任何一个存储管理器上，但在同一时刻，只可以有一个存储管理器安装该分区并对其进行独占式的访问。特别是，所述核心管理器由设置在存储管理器中的分配控制器、映射控制器和分区管理控制器组成，所述分配控制器实现文件的元数据在共有存储空间的分区上的分布，所述映射控制器实现共有存储空间的分区与各存储管理器的映射管理，并通过一张映射表来维护这种映射关系，所述分区管理控制器管理共有存储空间的分区。本专利技术方法能高效实现系统的信息访问、存储管理器的扩展、失效处理，存储管理器集群的动态负载均衡和重构的详细过程见具体实施方式的详细描述。本专利技术的第二个目的是这样实现的上述数据管理方法构建的网络存储系统，包括互连网络、与所述互连网络相连的为应用服务器提供数据存储服务的存储管理器集群及存储元数据的存储空间，其特征在于各存储管理器内设置有核心管理器；所述存储空间为存储管理器集群中所有存储管理器共同使用的共有存储空间，所述核心管理器对元数据在所述共有存储空间的存储位置和元数据与所述各存储管理器的对应关系进行管理。技术效果本专利技术方法所构建的网络存储系统，由于存储管理器没有对应的存储空间存储对应的元数据，而是受核心管理器分配使用共有存储空间，即各存储管理器实现了与元数据的分离，成为可替换的服务器，因此存储管理器的扩展、失效处理，存储管理器集群的动态负载均衡和重构都变成与元数据无关的操作，因此系统中的存储管理器具有优越的动态扩展功能，同时能动态处理和恢复存储服务器的失效，即具有较好的容灾性能，还能在保证系统高的存储效率的条件下实现存储服务器集群的负载均衡和重构。本专利技术方法所构建的网络存储系统优选地在所述共有存储空间设置分区，所述存储管理器与所述分区具有一对一和/或一对多的映射关系；所述核心管理器由设置在存储管理器中的分配控制器、映射控制器和分区管理控制器组成，所述分配控制器实现文件在共有存储空间的分区上的分布，所述映射控制器实现共有存储空间的分区与存储管理器的映射管理，并通过一张映射表来维护这种映射关系，所述分区管理控制器管理共有存储空间的分区。上述优选的方案在实际运行时，本文档来自技高网...

【技术保护点】
一种网络存储系统中的数据管理方法，所述网络存储系统包括互连网络、与所述互连网络相连的为应用服务器提供数据存储服务的存储服务器集群及各存储服务器对应的存储空间，所述各存储服务器存储和管理的数据包括应用服务器需要存取的原始数据和储存在所述对应的存储空间的元数据，其特征在于，在所述存储服务器内设置核心管理器，由所述核心管理器将所述各存储服务器对应的存储空间组成共有存储空间，并使各存储服务器与其管理的对应的元数据分离而成为存储管理器，所述存储管理器中的所述核心管理器对元数据在所述共有存储空间的存储位置和元数据与所述各存储管理器的对应关系进行管理。

【技术特征摘要】
1.一种网络存储系统中的数据管理方法，所述网络存储系统包括互连网络、与所述互连网络相连的为应用服务器提供数据存储服务的存储服务器集群及各存储服务器对应的存储空间，所述各存储服务器存储和管理的数据包括应用服务器需要存取的原始数据和储存在所述对应的存储空间的元数据，其特征在于，在所述存储服务器内设置核心管理器，由所述核心管理器将所述各存储服务器对应的存储空间组成共有存储空间，并使各存储服务器与其管理的对应的元数据分离而成为存储管理器，所述存储管理器中的所述核心管理器对元数据在所述共有存储空间的存储位置和元数据与所述各存储管理器的对应关系进行管理。2.根据权利要求1所述的网络存储系统中的数据管理方法，其特征在于所述共有存储空间设置有分区，所述存储管理器与所述分区具有一对一和/或一对多的映射关系。3.根据权利要求2所述的网络存储系统中的数据管理方法，其特征在于所述核心管理器由设置在存储管理器中的分配控制器、映射控制器和分区管理控制器组成，所述分配控制器实现文件在共有存储空间的分区上的分布，所述映射控制器实现共有存储空间的分区与存储管理器的映射管理，并通过一张映射表来维护这种映射关系，所述分区管理控制器管理共有存储空间的分区。4.根据权利要求3所述网络存储系统中的数据管理方法，其特征在于，实现系统信息访问过程包括如下步骤(1)、应用服务器产生信息请求；(2)、分配控制器决定信息存储的分区；(3)、映射控制器根据映射表决定当前管理该分区的存储管理器；(4)、通过网络传输信息请求和/或被写信息到该存储管理器；(5)、存储管理器在该分区上完成该信息访问；(6)、返回信息访问结果和/或被写结果到应用服务器。5.根据权利要求3所述网络存储系统中的数据管理方法，其特征在于，实现所述存储管理器的扩展包括如下步骤(1)、系统接入新存储管理器；(2)、系统发现该新存储管理器；(3)、映射控制器调整映射表，加入与新存储管理器相关的映射关系；(4)、分区管理控制器锁住对需转移的分区的访问队列；(5)、分区管理控制器将需转移的分区从当前管理该分区的存储管理器上卸载；(6)、分区管理控制器将被卸载的需转移的分区安装在新存储管理器上；(7)、对需转移的分区的访问队列解锁。6.根据权利要求3所述网络存储系统中的数据管理方法，其特征在于，实现所述存储管理器集群重构包括如下步骤...

【专利技术属性】
技术研发人员：祝夭龙，严杰，熊晖，
申请(专利权)人：北京邦诺存储科技有限公司，
类型：发明
国别省市：11[中国|北京]