一种异地异构的多融合存储方法技术

一种异地异构的多融合存储方法，该存储方法存储集群监控节点的进程，维持着存储架构的数据结构，客户端获取该数据结构后通过计算寻址获取具体的存储节点进行通信和读写操作，而寻址规则通过一种可控的、可扩展的、分布式的数据放置算法来实现。该规则可配置，从地理位置层次进行配置可实现异地存储，保证存储集群的高可用性；从设备类型角度进行配置可实现异构存储，根据数据使用场景选择，对使用频率较高的数据选取性能更好的存储设备来提高读写性能，使用频率低的数据则选取性能稍差的设备来降低使用成本。本发明专利技术可同时支持对象存储、块存储以及文件系统存储等多种存储使用方式，从而形成了一种异地异构的多融合存储方法。

【技术实现步骤摘要】
一种异地异构的多融合存储方法
本专利技术属于分布式大数据的融合存储领域，具体涉及一种异地异构的多融合存储方法。
技术介绍
数据时代悄然来临，数据的重要性不言而喻，而在火灾、水灾、地震等自然灾害面前，数据存储在一个地方是非常危险的，而实现数据的异地备份又是一个很复杂的工程。数据的类型多种多样，有的数据使用频繁，有的数据则使用频率很低可能只是用来做副本，这些数据统一使用性能很高但价格也高的存储介质则成本相应的也会很高，如果统一使用价格比较低的存储介质则不能保证数据的读写性能，而性能和成本问题又是存储方案中考虑的重要因素。
技术实现思路
本专利技术针对现有技术中的不足，提供一种异地异构的多融合存储方法。为实现上述目的，本专利技术采用以下技术方案：一种异地异构的多融合存储方法，其特征在于，包括以下步骤：1）设置配置策略，所述配置策略根据实际应用来进行设置，配置策略反映了存储系统层级的物理拓扑结构，配置策略中有设备和组织形式两种构成要素；2）配置布局规则，所述布局规则设置从放置策略组挑选设备的执行过程；3）创建存储池，所述存储池设有若干个放置策略组，各存储池都设置有布局规则，同一存储池的放置策略组都遵循该存储池的布局规则，客户端使用存储时要选择一个存储池，就要遵循所设置的布局规则，布局规则设定为异地异构的规则，客户端即可实现异地异构的存储方式；4）使用存储池，根据不同数据类型对性能的不同要求，使用所创建的存储池。为优化上述技术方案，采取的具体措施还包括：所述设备是对象存储设备，所述组织形式包括应用场景中的主机、机箱、机架、机架行、电源分配单元、性能优化数据中心、房间、数据中心、区域和根节点；配置策略从根节点出发，由根节点指定下层的组织形式，子组织形式同样可以指定更下层的组织形式，最终的叶子节点就是设备，其中的设备都有自己的权重值，各层的组织形式的权重值都是最终归属于该组织形式的设备的权重值之和；配置策略还要设置一个随机选择算法。所述随机选择算法采用伪随机排列算法，适用于每个组织形式或设备具有相同权重且数量固定。所述随机选择算法采用列表类型算法，所保存的组织形式或设备采用了链表类型的数据结构进行保存且可以具有任意的权重。所述随机选择算法采用树结构算法，此类型的组织形式和设备构成树形结构，设备组成决策树的叶子节点，根节点和中间节点是虚节点，其权重等于左右字数的权重之和。所述随机选择算法采用抽签算法，该组织形式中的设备选中概率是相同的。所述布局规则包括三种类型的动作：第一种动作类型是选取动作，选取的动作作用的对象是配置策略中根节点类型的组织形式；第二种动作类型是选择动作，选择动作可以设置选择的数量和下层组织形式的类型，选择动作有不同的选择方式，其输入都是上一步的输出，选择方式有直接选择和递归选择两种方式，直接选择方式选择的是按照所设置的选择数量选择出所设置的下层组织形式，递归选择方式选择的是按照所设置的选择数量先选择出所设置的下层组织形式然后递归到页节点即设备；第三种动作类型是输出结果动作，把前面所有步骤最终输出的对象存储设备返回给调用此布局规则的程序。存储到存储池的数据首先切分为若干个固定大小的数据块，每个数据块都有自己的标志号，使用每个数据块的标志号做哈希算法，然后对放置策略组的数量求余，从而随机选取一个放置策略组达到负载均衡的效果。每个放置策略组对应若干个对象存储设备，数据块最终会存储到所计算出的放置策略组对应的对象存储设备中，一个数据块对应一个放置策略组，一个存储中的多个放置策略组对应多个对象存储设备。本专利技术的有益效果是：规避了专门的异地备份，在一个存储系统中通过简单的配置就实现了数据的异地存储，保证了数据的高可用性；在一个存储系统中可以指定不同的存储介质，使用频率高的数据使用性能更好的存储介质，使用频率低的数据则使用性能稍差但价格更低的存储介质，实现了一种异构的存储解决方法，这样在性能和成本上达到了最佳的效果。附图说明图1是本专利技术配置策略的结构图。图2是本专利技术寻址过程的原理图。具体实施方式现在结合附图对本专利技术作进一步详细的说明。本专利技术提出的异地异构的多融合存储方法，该方法中存储集群监控节点的进程维持着存储架构的数据结构，客户端获取该数据结构后通过计算寻址获取具体的存储节点进行通信和读写操作，而寻址规则通过一种可控的、可扩展的、分布式的数据放置算法来实现。该规则可配置，从地理位置层次进行配置可实现异地存储，保证存储集群的高可用性；从设备类型角度进行配置可实现异构存储，根据数据使用场景选择，对使用频率较高的数据选取性能更好的存储设备来提高读写性能，使用频率低的数据则选取性能稍差的设备来降低使用成本。首先，一种异地异构的多融合存储方法要先设置配置策略，配置策略根据实际应用场景来进行设置，配置策略反映了存储系统层级的物理拓扑结构，配置策略中有设备和组织形式这两种构成要素，设备就是对象存储设备，组织形式则是应用场景中的主机、机箱、机架、机架行、电源分配单元、性能优化数据中心、房间、数据中心、区域和根节点。配置策略从根节点出发，由根节点指定下层的组织形式，子组织形式同样可以指定更下层的组织形式，最终的叶子节点就是设备。其中的设备都有自己的权重值，各层的组织形式的权重值都是最终归属于该组织形式的设备的权重值之和。配置策略还要设置一个随机选择的算法，设置的随机选择算法要使用的哈希函数，所以还要设置哈希算法的类型。配置策略设置的随机选择算法基于不同的数据结构，采用不同的伪随机选择函数，其中有四种随机选择算法：第一种是伪随机排列算法，该算法适用于每个组织形式或设备具有相同权重，并且组织形式或设备很少添加和删除，数量比较固定的情况；第二种是列表类型算法，所保存的组织形式或设备采用了链表类型的数据结构进行保存，其所包含的组织形式或设备可以具有任意的权重。具体的查找方法如下：首先从链表的表头开始查找，先得到表头的权重Wh(Weighthead)，剩余链表所有的权重之和为Wrs(Weightremainsum)，接着根据所设置的哈希函数hash(x,r,i)函数，得到一个[0~1]的值v，假如这个值v在[0~Wh/Wrs]之中，则选择表头的组织形式或设备，并返回表头组织形式或设备的id值，如果v不在[0~Wh/Wrs]范围内则继续遍历剩余的链表，继续递归选择；第三种是树结构算法，此类型的组织形式和设备构成树形结构，设备组成决策树的叶子节点，根节点和中间节点是虚节点，其权重等于左右字数的权重之和。具体的查找方法如下：首先从该树节点的根节点（虚节点）开始遍历，然后得到其左子树的权重W1，得到节点的权重Wn,然后根据哈希函数hash(x,r,i)得到一个[0~1]的值v：如果v在[0~W1/Wn]之间，那么左子树中继续选择组织形式或设备，否则在右子树中继续选择组织形式或设备，继续遍历子树，直到到达叶子节点，叶子节点设备为最终选出的一个结果；第四种是抽签算法，该组织形式中的设备选中概率是相同的，实现如下：首先函数f(Wi)为和设备权重Wi相关的函数，决定了每个设备而被选中的概率，然后给每个设备计算出一个长度，其计算公式为：length=f(Wi)*hash(x,r,i)length值最大的设备就是被选中的设备。其次，一种异地异构的多融合存储方法本文档来自技高网...

【技术保护点】
一种异地异构的多融合存储方法，其特征在于，包括以下步骤：1）设置配置策略，所述配置策略根据实际应用来进行设置，配置策略反映了存储系统层级的物理拓扑结构，配置策略中有设备和组织形式两种构成要素；2）配置布局规则，所述布局规则设置从放置策略组挑选设备的执行过程；3）创建存储池，所述存储池设有若干个放置策略组，各存储池都设置有布局规则，同一存储池的放置策略组都遵循该存储池的布局规则，客户端使用存储时要选择一个存储池，就要遵循所设置的布局规则，布局规则设定为异地异构的规则，客户端即可实现异地异构的存储方式；4）使用存储池，根据不同数据类型对性能的不同要求，使用所创建的存储池。

【技术特征摘要】
1.一种异地异构的多融合存储方法，其特征在于，包括以下步骤：1）设置配置策略，所述配置策略根据实际应用来进行设置，配置策略反映了存储系统层级的物理拓扑结构，配置策略中有设备和组织形式两种构成要素；2）配置布局规则，所述布局规则设置从放置策略组挑选设备的执行过程；3）创建存储池，所述存储池设有若干个放置策略组，各存储池都设置有布局规则，同一存储池的放置策略组都遵循该存储池的布局规则，客户端使用存储时要选择一个存储池，就要遵循所设置的布局规则，布局规则设定为异地异构的规则，客户端即可实现异地异构的存储方式；4）使用存储池，根据不同数据类型对性能的不同要求，使用所创建的存储池。2.如权利要求1所述的一种异地异构的多融合存储方法，其特征在于：所述设备是对象存储设备，所述组织形式包括应用场景中的主机、机箱、机架、机架行、电源分配单元、性能优化数据中心、房间、数据中心、区域和根节点；配置策略从根节点出发，由根节点指定下层的组织形式，子组织形式同样可以指定更下层的组织形式，最终的叶子节点就是设备，其中的设备都有自己的权重值，各层的组织形式的权重值都是最终归属于该组织形式的设备的权重值之和；配置策略还要设置一个随机选择算法。3.如权利要求2所述的一种异地异构的多融合存储方法，其特征在于：所述随机选择算法采用伪随机排列算法，适用于每个组织形式或设备具有相同权重且数量固定。4.如权利要求2所述的一种异地异构的多融合存储方法，其特征在于：所述随机选择算法采用列表类型算法，所保存的组织形式或设备采用了链表类型的数据结构进行保存且可以具有任意的权重。5.如权利要求2所述的一种异地异构的多融...

【专利技术属性】
技术研发人员：刘鹏，张真，杜何飞，章亮，吴修文，王小聪，
申请(专利权)人：南京云创大数据科技股份有限公司，
类型：发明
国别省市：江苏,32