一种数据存储方法装置制造方法及图纸

本发明专利技术涉及一种数据存储方法及装置。其中，数据存储方法包括：接收待存储的数据；根据分布式文件系统中各存储服务器的负载值将所述数据存储到对应的存储服务器中，所述负载值等于存储服务器的已占用容量与总容量的比值。本发明专利技术的数据存储方法及装置，使得各个存储服务器可以达到负载均衡。存储服务器负载均衡，则在进行读写操作时，分布在存储服务器上的IO就比较均衡，不会出现IO集中到某一存储服务器上，出现等待IO的情况，从而提升了访问文件系统的性能，也即提高了文件系统的读写性能。另外，本发明专利技术的数据存储方法及装置还对存储服务器进行了分组，通过再组外拷贝副本，提高了文件系统的安全性。

【技术实现步骤摘要】

本专利技术涉及计算机领域，尤其涉及一种应用于云计算平台的数据存储方法及装置。
技术介绍
分布式文件系统由元数据服务器、存储数据服务器、客户端、管理工具组成。元数据服务器用于管理文件系统的元数据(包括文件目录树组织、属性维护、文件操作日志记录、授权访问等)，管理整个存储系统的命名空间，对外提供单一的系统映像，并负责整个存储集群的管理监控。存储服务器用于存储用户的实际数据，是整个分布式文件系统存储资源提供者。当应用服务器进行数据访问时，存储服务器集群提供实际的数据IO (Input/Outpu，输入/输出)服务，客户端同应用对接，应用通过客户端访问分布式文件系统。存储服务器是文件系统的物理存储设备，是整个分布式文件系统的存储资源提供者。当应用服务器进行数据访问时，存储服务器集群提供实际的数据IO服务，数据压力分布在存储服务器集群中的各存储服务器之间。当前，分布式文件系统存储服务器设定有一个限额值。分布式文件系统按照操作顺序，轮流的把该次操作的数据存储到已占用存储空间未超过限额值的存储服务器的存储空间中。如果所有的存储服务器的已占用存储空间都超过限额值，则限额值翻倍。图1为传统分布式存储流程示意图。如图1所示，传统分布式存储流程包括如下步骤步骤S101，准备存储数据；步骤S102，判断当前存储服务器已占用的存储空间是否小于限额值，若是执行步骤S106，否则执行步骤S103 ；步骤S103，判断所有存储服务器的已占用存储空间是否都超过限额值，若是执行步骤S105，否则执行步骤S104 ；步骤S104，修改限额值变大；步骤S105，查看下一个存储服务器的已占用存储空间；步骤S106，将数据存储到当前存储服务器的存储空间，存储完成。传统分布式存储方式存在如下问题(I)存储服务器负载不均衡现有方案轮流依次存储数据到存储服务器，因为每次操作的数据大小不一，虽然轮流操作均衡了每个存储服务器的操作次数。但长久时间后，每个存储服务器负载差异较大。存储服务器负载差异大后，IO不均衡，读写文件性能降低。(2)存储服务器没有分组存储服务器不分组，处于同一环境中，比如同一机房，如果机房掉电，那么该机房中存储服务器都不能访问。尽管其他机房的存储服务器可以正常访问。此场景下，分布式文件系统中会出现部分文件不能访问的情况。(3)跨网络段存储，按照整个存储集群进行存储，多个副本存储在各个存储节点，当跨网段部署时，存储效率低。一个应用请求的计算，离它操作的数据越近就越高效，在数据达到海量级别的时候更是如此。因为这样就能降低网络阻塞的影响，提高系统数据的吞吐量。
技术实现思路
本专利技术所要解决的技术问题是提供一种数据存储方法装置，提高文件系统的读写性能。为解决上述技术问题，本专利技术提出了一种数据存储方法，应用于分布式文件系统，包括接收待存储的数据；根据分布式文件系统中各存储服务器的负载值将所述数据存储到对应的存储服务器中，所述负载值等于存储服务器的已占用容量与总容量的比值。进一步地，上述数据存储方法还可具有以下特点，所述根据分布式文件系统中各存储服务器的负载值将所述数据存储到对应的存储服务器中，包括计算分布式文件系统中各存储服务器的负载值；将各存储服务器按照所述负载值进行排序；选择负载值最小的存储服务器来存储所述数据。进一步地，上述数据存储方法还可具有以下特点，在所述选择负载值最小的存储服务器来存储所述数据之后，还包括将所述数据的副本存储到与所选择存储服务器不在同一组的存储服务器中。进一步地，上述数据存储方法还可具有以下特点，所述将所述数据的副本存储到与所选择存储服务器不在同一组的存储服务器中，包括对所有存储服务器进行分组，将处于同一环境中的存储服务器分在同一组中；选择与所选择存储服务器不在同一组、且负载值最小的一个或多个存储服务器来存储所述数据的副本。进一步地，上述数据存储方法还可具有以下特点，所述同一环境指场地相同、场景相同。为解决上述技术问题，本专利技术提出了一种数据存储系统，应用于分布式文件系统，包括接收模块，用于接收待存储的数据；存储模块，用于根据分布式文件系统中各存储服务器的负载值将所述接收模块接收的待存储数据存储到对应的存储服务器中，所述负载值等于存储服务器的已占用容量与总容量的比值。进一步地，上述数据存储装置还可具有以下特点，所述存储模块包括计算单元，用于计算分布式文件系统中各存储服务器的负载值；排序单元，用于将各存储服务器按照所述负载值进行排序；选择单元，用于选择负载值最小的存储服务器来存储所述数据。进一步地，上述数据存储装置还可具有以下特点，所述存储模块还包括副本存储单元，用于将所述数据的副本存储到与所选择存储服务器不在同一组的存储服务器中。进一步地，上述数据存储装置还可具有以下特点，所述副本存储单元还包括分组子单元，用于对所有存储服务器进行分组，将处于同一环境中的存储服务器分在同一组中；组外选择子单元，用于选择与所选择存储服务器不在同一组、且负载值最小的一个或多个存储服务器来存储所述数据的副本。进一步地，上述数据存储装置还可具有以下特点，所述同一环境指场地相同、场景相同。本专利技术的数据存储方法及装置，使得各个存储服务器可以达到负载均衡。存储服务器负载均衡，则在进行读写操作时，分布在存储服务器上的IO就比较均衡，不会出现IO集中到某一存储服务器上，出现等待IO的情况，从而提升了访问文件系统的性能，也即提高了文件系统的读写性能。另外，本专利技术的数据存储方法及装置还对存储服务器进行了分组，将处同一场地、场景(例如同一机架、同一机房)的存储服务器设置在同一小组内，通过再组外拷贝副本，当某一场地发生重大故障(比如同一机房掉电)，此时文件系统可以正常访问其他组外副本，提高了文件系统的安全性。附图说明图1为传统分布式存储流程示意图；图2为本专利技术实施例中数据存储方法的流程图；图3为本专利技术实施例中数据存储的一个具体流程图；图4为本专利技术实施例中数据存储装置的结构框图。具体实施例方式详单云存储是一款为云存储服务而设计的集群存储系统，用户可以抛开文件的实际物理位置，仅通过一定的逻辑关系就可以查找和访问网络的文件资源。用户能够像访问本地文件一样，访问分布在网络中多个服务器上的文件提供PB级的存储容量，实现文件系统存储虚拟化。本专利技术的主要构思是在分布式文件系统中存储数据的时候，根据存储服务器主机的负载值(负载值等于存储服务器的已占用容量与总容量的比值)将数据均匀的分散到每一个存储服务器，也就是存储负载均衡。本专利技术的数据存储方法可以应用于分布式文件系统。以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。图2为本专利技术实施例中数据存储方法的流程图。如图2所示，本实施例中，数据存储方法可以包括以下步骤步骤S101，接收待存储的数据；步骤S102，根据分布式文件系统中各存储服务器的负载值将待存储数据存储到对应的存储服务器中，其中，负载值等于存储服务器的已占用容量与总容量的比值。其中，步骤S102可以由以下子步骤来实现(a)，计算分布式文件系统中各存储服务器的负载值；(b)，将各存储服务器按照负载值进行排序；排序的方式可以是从小到大，也可以是从大到小。(C)，选择负载值最小的存储服务器来存储待存储数据。在步骤(C)之后，本文档来自技高网...

【技术保护点】
一种数据存储方法，应用于分布式文件系统，其特征在于，包括：接收待存储的数据；根据分布式文件系统中各存储服务器的负载值将所述数据存储到对应的存储服务器中，所述负载值等于存储服务器的已占用容量与总容量的比值。

【技术特征摘要】
1.一种数据存储方法，应用于分布式文件系统，其特征在于，包括:接收待存储的数据； 根据分布式文件系统中各存储服务器的负载值将所述数据存储到对应的存储服务器中，所述负载值等于存储服务器的已占用容量与总容量的比值。2.根据权利要求1所述的数据存储方法，其特征在于，所述根据分布式文件系统中各存储服务器的负载值将所述数据存储到对应的存储服务器中，包括: 计算分布式文件系统中各存储服务器的负载值； 将各存储服务器按照所述负载值进行排序； 选择负载值最小的存储服务器来存储所述数据。3.根据权利要求2所述的数据存储方法，其特征在于，在所述选择负载值最小的存储服务器来存储所述数据之后，还包括: 将所述数据的副本存储到与所选择存储服务器不在同一组的存储服务器中。4.根据权利要求3所述的数据存储方法，其特征在于，所述将所述数据的副本存储到与所选择存储服务器不在同一组的存储服务器中，包括: 对所有存储服务器进行分组，将处于同一环境中的存储服务器分在同一组中； 选择与所选择存储服务器不在同一组、且负载值最小的一个或多个存储服务器来存储所述数据的副本。5.根据权利要求4所述的数据存储方法，其特征在于，所述同一环境指场地相同、场...

【专利技术属性】
技术研发人员：马军，王少华，
申请(专利权)人：北京思特奇信息技术股份有限公司，
类型：发明
国别省市：