基于面向对象文件系统的数据副本映射方法及装置制造方法及图纸

本发明专利技术公开了一种基于面向对象文件系统的数据副本映射方法及装置，能够支持数据副本技术，达到快速映射的目的，方法简单有效。本发明专利技术实施例提供的基于面向对象文件系统的数据副本映射方法，包括：将面向对象文件系统中对象唯一的对象标识映射到第一数据空间；对各存储节点配置唯一的存储节点标识并进行分组，将存储节点标识映射到第二数据空间；确定所述对象的数据副本在各分组的目的存储节点，所述目的存储节点在第二数据空间中的映射值与所述对象在第一数据空间中的映射值差值最小。本发明专利技术实施例提供的基于面向对象文件系统的数据副本映射装置包括：对象映射模块、数据副本映射控制模块、存储节点分组映射模块。

【技术实现步骤摘要】

本专利技术涉及数据存储
，尤其涉及一种基于面向对象文件系统的数据副本映射技术。
技术介绍
随着网络技术的不断进步，网络数据量日益膨胀，海量数据存储已成为网络发展迫切需要解决的问题之一。网络存储系统提供网络信息系统的信息存取服务和信息共享服务，其超大数据容量、超高数据传输速率和超高系统可用性已成为网络存储的典型特征，而面向对象文件系统已成为网络存储系统的发展趋势。面向对象存储是指数据的存储以对象为单位，一个对象实际上是文件数据和一组属性的组合，该组属性可以定义基于文件的独立磁盘冗余阵列(Redundant Array of Independent Disks，RAID)参数、数据分布和服务质量等。文件数据与属性的组合使得面向对象存储能够基于单个文件决定其数据分布以及服务质量，有效地提高可扩展性与易管理性。面向对象文件系统正是基于这种存储机制实现的集群文件系统。面向对象文件系统由四种实体组成，分别是计算节点(Computer Node，CN)、元数据服务器(Metadata Server，MS)、对象存储设备(Object Storage Device，OSD)及网络设备。计算节点提供了用户访问面向对象文件系统的接口；元数据服务器管理系统中的文件、目录以及每个文件的分布视图；对象存储设备用来提供对象数据的管理和存储；网络设备负责将计算节点、元数据服务器和对象存储设备进行互联。近年来一些数据存储方案倾向于采用大量存储容量较小且相对廉价的存储节点来构建大规模存储系统，因此在实际PB级存储系统中存储节点的个数普遍成千上万。随着存储节点数量的增加，存储系统中的数据丢失率将会大大-->增加。假设单个存储节点的平均失效时间为10年，则具有上万存储节点的大规模存储系统的平均失效时间仅为10小时左右。在这种情况下，必须采取切实可行的高可靠性数据存储保障技术。由于存储节点资源价格的日益降低，大规模存储系统中的存储节点资源显得相对丰富，数据副本技术就成为保障数据存储可靠性的流行技术，这就要求数据映射方法必须有效支持数据副本技术；并且随着存储系统规模的增大，存储节点增加和失效也会变得较为频繁，失效包括存储节点退出、损坏等情况，使得存储系统的可靠性维护变得越来越困难。
技术实现思路
本专利技术提供一种基于面向对象文件系统的数据副本映射方法及装置，能够支持数据副本技术，达到快速映射的目的，方法简单有效。本专利技术实施例提供的基于面向对象文件系统的数据副本映射方法，包括：将面向对象文件系统中对象唯一的对象标识映射到第一数据空间；对各存储节点配置唯一的存储节点标识并进行分组，将存储节点标识映射到第二数据空间；确定所述对象的数据副本在各分组的目的存储节点，所述目的存储节点在第二数据空间中的映射值与所述对象在第一数据空间中的映射值差值最小。本专利技术实施例提供的基于面向对象文件系统的数据副本映射装置，包括：对象映射模块：用于将面向对象文件系统中对象唯一的对象标识映射到第一数据空间；存储节点分组映射模块：用于对各存储节点配置唯一的存储节点标识并进行分组，将存储节点标识映射到第二数据空间；数据副本映射控制模块：用于确定所述对象的数据副本在各分组的目的存储节点，所述目的存储节点在第二数据空间中的映射值与所述对象在第一数据空间中的映射值差值最小。本专利技术实施例提供的基于面向对象文件系统的数据副本映射方法及装置-->将一个具有唯一对象标识的对象映射到多个存储节点上，使得该对象具有多个数据副本，在其中一个存储节点失效的时候，可以从其它存储节点上获得该对象的数据，从而有效的解决了大规模存储系统的可靠性问题，方法简单，映射快速。附图说明图1为本专利技术实施例中数据定位方法示意图；图2为本专利技术实施例中引入最小分散距离减小随机误差示意图；图3为本专利技术实施例中基于面向对象文件系统的数据副本映射方法流程图；图4为本专利技术实施例中基于面向对象文件系统的数据副本映射装置框图；图5为本专利技术实施例中系统包含对象个数对映射结果的影响对比示意图；图6为本专利技术实施例中系统包含存储节点个数对映射结果的影响对比示意图；图7为本专利技术实施例中增删存储节点时迁移数据量与理论下限偏差对比示意图；图8为本专利技术实施例中参数取值对映射结果的影响对比示意图。具体实施方式本专利技术实施例在大规模存储系统中，基于面向对象文件系统的数据存储及副本对象存储提供了一种数据副本映射方法及装置，能够达到快速映射的目的，方法简单有效，同时在存储节点失效或者增加的时候，能够动态平衡各个存储节点的数据量，达到数据存储平衡的目的，便于维护存储系统的可靠性。该方法的时间开销和空间开销较小，能够进行动态调整。在面向对象文件系统中，需要将对象标识(Object Identifier)映射到存储节点上，每个对象的对象标识都是一个二进制数，在存储系统中是唯一的，存-->储节点的规模决定整个存储系统的规模，本专利技术实施例中存储节点即为OSD。将一个具有唯一对象标识的对象映射到多个OSD上，使得该对象具有多个数据副本，在其中一个OSD失效的时候，可以从其它OSD上获得该对象的数据，从而有效的解决了大规模存储系统的可靠性问题，对于给定对象的唯一对象标识，可以根据系统所维护的映射信息，计算出该对象的k个数据副本所在的k个存储节点，因此本专利技术实施例包括对象与数据副本的映射方法；从映射结果来看，各存储节点所分配到的数据量与其服务能力成正比，从而达到数据分布平衡的目的，当有存储节点失效或加入存储系统时，存储节点视图将发生改变，与此同时原来均衡的数据布局也将被打破，于是必须进行数据迁移以保障数据副本映射方法持续有效和数据布局始终均衡，因此本专利技术实施例还包括数据迁移方法以适应动态变化的存储节点视图。本专利技术实施例首先提供了基于面向对象文件系统的数据副本映射实现机制，包括以下几个方面：a1、定义对象集合，该集合中每个元素用唯一的对象标识来表示，对象即存储元素；a2、定义存储节点集合，为每个存储节点定义唯一的存储节点标识，该集合中每个元素用唯一的存储节点标识来表示；a3、定义分组关系集合，该集合中每个元素表示一种确定的存储节点分组方式；a4、将存储节点标识均匀映射到第一数据空间上，例如空间大小为64比特数据空间，可以称为大圆空间；a5、定义对象的对象标识哈希均匀映射算法，将对象标识均匀映射到第二数据存储空间上，例如空间大小为48比特数据空间，可以称为小圆空间；a6、小圆空间和大圆空间采用同心圆的方式进行对应，则针对小圆空间值可以得到对应的大圆空间值；a7、针对某一个对象的对象标识，可以得到该标识对应的小圆空间值，然-->后映射到大圆空间上；a8、根据映射的大圆空间值，在大圆空间上按照顺时针方向查找不同组的k个存储节点，其中k是对象在存储系统中的副本数；a9、k个存储节点即为该对象所存储的目标存储节点；a10、当存储节点失效或者增加时，同样按照顺时针策略进行对象数据的迁移。在大规模存储环境下，针对需要频繁变化的存储节点视图提供面向对象文件系统的数据副本映射方法，并且在依然维持存储节点之间数据平衡的前提下，数据迁移量最小。本专利技术提出的对象映射方法，基于一致性哈希算法，只需维护少量信息即可计算出对象的映射信息，是一种无中心的数据映射方法。本专利技术实施例支持数据副本，能够本文档来自技高网...

【技术保护点】
一种基于面向对象文件系统的数据副本映射方法，其特征在于，包括：　将面向对象文件系统中对象唯一的对象标识映射到第一数据空间；　对各存储节点配置唯一的存储节点标识并进行分组，将存储节点标识映射到第二数据空间；　确定所述对象的数 据副本在各分组的目的存储节点，所述目的存储节点在第二数据空间中的映射值与所述对象在第一数据空间中的映射值差值最小。

【技术特征摘要】
1、一种基于面向对象文件系统的数据副本映射方法，其特征在于，包括：将面向对象文件系统中对象唯一的对象标识映射到第一数据空间；对各存储节点配置唯一的存储节点标识并进行分组，将存储节点标识映射到第二数据空间；确定所述对象的数据副本在各分组的目的存储节点，所述目的存储节点在第二数据空间中的映射值与所述对象在第一数据空间中的映射值差值最小。2、如权利要求1所述的方法，其特征在于，所述第一数据空间和第二数据空间中映射值按升序排列，并首尾相接组成圆周空间。3、如权利要求2所述的方法，其特征在于，所述目的存储节点在第二数据空间中的映射值与所述对象在第一数据空间中的映射值在所述圆周空间上按顺时针方向距离最近。4、如权利要求1所述的方法，其特征在于，所述将存储节点标识映射到第二数据空间，包括：确定存储节点的权重；根据所述权重将所述存储节点标识映射到第二数据空间。5、如权利要求4所述的方法，其特征在于，还包括：当增加存储节点时，确定该新增存储节点的权重，根据所述权重确定所述新增存储节点映射到第二数据空间的映射值；根据对象的对象标识确定对应目的存储节点在第二数据空间内的映射值范围；当判断出所述新增存储节点在第二数据空间的映射值位于所述映射值范围时，将所述对象的最后一个数据副本迁移至所述新增存储节点。6、如权利要求5所述的方法，其特征在于，还包括：当存储节点失效时，确定该失效存储节点所存储的数据副本对应的对象；确定所述对象的其它任一目的存储节点为数据复制源节点，在所述失效存储节点所在分组中重新确定所述对象的目的存储...

【专利技术属性】
技术研发人员：李必刚，鄢述荣，王锴，谭斌，
申请(专利权)人：深圳市亚贝电气技术有限公司，
类型：发明
国别省市：94[中国|深圳]