一种元数据管理方法及装置、分布式文件系统制造方法及图纸

本发明专利技术提供了一种元数据管理方法及装置、分布式文件系统，该方法包括：在元数据备份时，采用差分算法计算当前元数据与已备份元数据的差分数据；在元数据恢复时，利用差分数据及已备份元数据恢复当前元数据。通过本发明专利技术的实施，利用快速差分算法和差分还原算法快速进行元数据备份和恢复，原来的备份磁盘空间使用由GB降低到MB的量级，实现了元数据的快速备份及恢复，可以使分布式文件系统海量元数据备份时长由原来的几小时缩短为几分钟。

Metadata management method and device, distributed file system

The present invention provides apparatus and a metadata management method of distributed file system, the method includes metadata backup, using differential algorithm to calculate the current metadata and metadata backup differential data; in the metadata recovery when using the differential data backup and restore the current metadata metadata has been. The embodiment of the invention, the use of fast differential algorithm and differential reduction algorithm for fast metadata backup and restore the original backup disk space used by the GB to reduce the magnitude of the MB, to achieve a rapid backup and recovery of the metadata, distributed file system metadata backup from the original massive long hours shortened to a few minutes.

【技术实现步骤摘要】
一种元数据管理方法及装置、分布式文件系统
本专利技术涉及分布式文件存储领域，尤其涉及一种元数据管理方法及装置、分布式文件系统。
技术介绍
目前包括彩铃、MS、WAP网关等产品中都用到了网络存储设备，为了达到大容量、高吞吐量和高可靠性的要求，随着对这些产品可靠性等要求的提高，往往价格也是呈现指数级上升，这些设备在整个系统的中的成本往往都超过了50％，在廉价的通用硬件平台上构建分布式文件系统已经是各种存储类业务发展的必然趋势。分布式文件系统是一个通用存储软件平台，运行在通用硬件之上，为需要存储服务的产品提供存储平台支撑，提供存储、查询检索和管理产品所产生的海量数据服务，如多媒体内容存储、业务数据存储等。单域支持10PB(10亿文件数)存储能力，系统整体可达EB级(千亿文件数)海量存储能力，系统整体性能随存储规模同步线性增长。海量的文件产生上百G的元数据，系统升级和备份过程都需要上百G的磁盘空间来备份，而且需要1-2h时间的备份；随着系统容量不断增加，系统元数据也不断增加，备份和还原系统元数据成为系统升级或日常备份时的瓶颈，大量占用系统cpu和磁盘使用。因此，如何提供一种可快速进行元数据备份及恢复的元数据管理方法，是本领域技术人员亟待解决的技术问题。
技术实现思路
本专利技术提供了一种元数据管理方法及装置、分布式文件系统，以实现对元数据的快速备份及恢复。本专利技术提供了一种元数据管理方法，其包括：在元数据备份时，采用差分算法计算当前元数据与已备份元数据的差分数据；在元数据恢复时，利用差分数据及已备份元数据恢复当前元数据。进一步的，已备份元数据包括最近一次全量备份的元数据。进一步的，差分数据包括已备份元数据的标识、差异数据偏移量及差异数据。进一步的，利用差分数据及已备份元数据恢复当前元数据包括：确定差分数据对应的已备份元数据，根据差异数据偏移量确定已备份元数据内的待替换数据，将待替换数据替换为差异数据，生成当前元数据。进一步的，差分数据还包括已备份元数据内的原始差异数据。进一步的，还包括：采用多线程并行进行元数据备份及元数据恢复。进一步的，在元数据备份后，还包括：根据差分数据的大小确定下一次数据备份时的备份方式，备份方式包括：全量备份和差分备份。本专利技术提供了一种元数据管理装置，其包括：备份模块，用于在元数据备份时，采用差分算法计算当前元数据与已备份元数据的差分数据；恢复模块，用于在元数据恢复时，利用差分数据及已备份元数据恢复当前元数据。进一步的，已备份元数据包括最近一次全量备份的元数据。进一步的，差分数据包括已备份元数据的标识、差异数据偏移量及差异数据。进一步的，恢复模块用于确定差分数据对应的已备份元数据，根据差异数据偏移量确定已备份元数据内的待替换数据，将待替换数据替换为差异数据，生成当前元数据。进一步的，差分数据还包括已备份元数据内的原始差异数据。进一步的，备份模块还用于采用多线程并行进行元数据备份，恢复模块还用于采用多线程并行进行元数据恢复。进一步的，在元数据备份后，备份模块还用于根据差分数据的大小确定下一次数据备份时的备份方式，备份方式包括：全量备份和差分备份。本专利技术提供了一种分布式文件系统，其包括本专利技术提供的元数据管理装置。本专利技术的有益效果：本专利技术提供了一种新的元数据管理方法，通过快速差分算法和差分还原算法快速进行元数据备份和恢复，原来的备份磁盘空间使用由GB降低到MB的量级，实现了元数据的快速备份及恢复，可以使分布式文件系统海量元数据备份时长由原来的几小时缩短为几分钟。附图说明图1为本专利技术第一实施例提供的元数据管理装置的结构示意图；图2为本专利技术第二实施例提供的元数据管理方法的流程图；图3为本专利技术第三实施例提供的元数据管理方法的流程图；图4为本专利技术第三实施例中元数据的对比示意图。具体实施方式现通过具体实施方式结合附图的方式对本专利技术做出进一步的诠释说明。第一实施例：图1为本专利技术第一实施例提供的元数据管理装置的结构示意图，由图1可知，在本实施例中，本专利技术提供的元数据管理装置1包括：备份模块11，用于在元数据备份时，采用差分算法计算当前元数据与已备份元数据的差分数据；恢复模块12，用于在元数据恢复时，利用差分数据及已备份元数据恢复当前元数据。在一些实施例中，上述实施例中的已备份元数据包括最近一次全量备份的元数据。在实际使用中，元数据的变化是渐变的，差分算法以最近一次的元数据作为计算基础，可以大大减少差分数据的数据量，当然，本领域技术人员可以根据需要设置特定时间点进行全量备份的元数据作为差分计算的基础。在一些实施例中，上述实施例中的差分数据包括已备份元数据的标识、差异数据偏移量及差异数据。这样在恢复时，就可以快速的确定差异数据的位置，进行差分逆计算得到当前元数据。在一些实施例中，上述实施例中的恢复模块12用于确定差分数据对应的已备份元数据，根据差异数据偏移量确定已备份元数据内的待替换数据，将待替换数据替换为差异数据，生成当前元数据。在一些实施例中，上述实施例中的差分数据还包括已备份元数据内的原始差异数据。这个在进行恢复时，就可以进行对比，当待替换数据与原始差异数据相同时，说明没有错误，可以直接进行恢复，若不相同，则说明差分数据/已备份元数据存在错误，需要根据实际情况判断是否需要恢复，以及如何恢复。在一些实施例中，上述实施例中的备份模块11还用于采用多线程并行进行元数据备份，恢复模块12还用于采用多线程并行进行元数据恢复。多线程并行方式可以进一步加强元数据的备份及恢复速度。在一些实施例中，在元数据备份后，上述实施例中的备份模块11还用于根据差分数据的大小确定下一次数据备份时的备份方式，备份方式包括：全量备份和差分备份。具体的，可以设置一个阈值，当某一次进行差分备份时的差分数据大于阈值，就说明当前元数据与已备份元数据的差异较大，这往往代表了用户对分布式文件系统的存储数据进行了较大的修改，如更换硬件设备等，仅进行差分备份容易造成差异数据的漏计算，因此设置下一次备份时，采用全量备份的方式进行原数据的全量备份，作为后续差分备份的基础。对应的，本专利技术提供了一种分布式文件系统，其包括本专利技术提供的元数据管理装置1。第二实施例：图2为本专利技术第二实施例提供的元数据管理方法的流程图，由图2可知，在本实施例中，本专利技术提供的元数据管理方法包括以下步骤：S201：在元数据备份时，采用差分算法计算当前元数据与已备份元数据的差分数据；S202：在元数据恢复时，利用差分数据及已备份元数据恢复当前元数据。在一些实施例中，上述实施例中的已备份元数据包括最近一次全量备份的元数据。在一些实施例中，上述实施例中的差分数据包括已备份元数据的标识、差异数据偏移量及差异数据。在一些实施例中，上述实施例中的利用差分数据及已备份元数据恢复当前元数据包括：确定差分数据对应的已备份元数据，根据差异数据偏移量确定已备份元数据内的待替换数据，将待替换数据替换为差异数据，生成当前元数据。在一些实施例中，上述实施例中的差分数据还包括已备份元数据内的原始差异数据。在一些实施例中，上述实施例中的方法还包括：采用多线程并行进行元数据备份及元数据恢复。在一些实施例中，上述实施例中的方法在元数据备份后，还包括：根据差分数据的大小确定下一次数据备份时的备份方式，备份方式包括：全量备份和本文档来自技高网...

【技术保护点】
一种元数据管理方法，其特征在于，包括：在元数据备份时，采用差分算法计算当前元数据与已备份元数据的差分数据；在元数据恢复时，利用所述差分数据及所述已备份元数据恢复所述当前元数据。

【技术特征摘要】
1.一种元数据管理方法，其特征在于，包括：在元数据备份时，采用差分算法计算当前元数据与已备份元数据的差分数据；在元数据恢复时，利用所述差分数据及所述已备份元数据恢复所述当前元数据。2.如权利要求1所述的元数据管理方法，其特征在于，所述已备份元数据包括最近一次全量备份的元数据。3.如权利要求1所述的元数据管理方法，其特征在于，所述差分数据包括所述已备份元数据的标识、差异数据偏移量及差异数据。4.如权利要求3所述的元数据管理方法，其特征在于，所述利用所述差分数据及所述已备份元数据恢复所述当前元数据包括：确定所述差分数据对应的已备份元数据，根据差异数据偏移量确定所述已备份元数据内的待替换数据，将所述待替换数据替换为所述差异数据，生成所述当前元数据。5.如权利要求3所述的元数据管理方法，其特征在于，所述差分数据还包括所述已备份元数据内的原始差异数据。6.如权利要求1所述的元数据管理方法，其特征在于，还包括：采用多线程并行进行元数据备份及元数据恢复。7.如权利要求1至6任一项所述的元数据管理方法，其特征在于，在元数据备份后，还包括：根据所述差分数据的大小确定下一次数据备份时的备份方式，所述备份方式包括：全量备份和差分备份。8.一种元数据管理装置，其特征在于，包括：备份模块，用于在元数据备份时...

【专利技术属性】
技术研发人员：郑跃杰，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东,44