一种索引方法技术

本发明专利技术提供了一种索引方法。涉及计算机应用技术领域；解决了数据索引可靠性较差的问题。该方法包括：为备份数据构建三级索引结构，所述三级索引结构包括一级索引、二级索引和三级索引，所述一级索引包含对应的二级索引地址，所述二级索引包含对应的三级索引地址，所述三级索引包含对应的备份数据地址；控制服务器保存所述一级索引；至少一个备份介质服务器保存所述二级索引和所述三级索引；在后端存储系统中备份所述备份数据及所述备份数据的三级索引结构。本发明专利技术提供的技术方案适用于数据存储系统，实现了高可靠性的数据索引。

【技术实现步骤摘要】

本专利技术涉及计算机应用
，尤其涉及一种基于分布式的索引方法。
技术介绍
数据的快速增长及数据的高可用性、安全性的要求刺激了数据备份技术的发展。 根据调查数据显示，企业的信息系统可能遭遇的各类灾难中，发生自然灾难的机率仅为 3%，而有超过95%的数据丢失是发生在本地站点，其中，47%是硬件级别的故障，例如主板、RAID控制器、网卡、内置/外置存储等设施出现问题，还有高达53%的灾难成因是“软” 错误，例如数据误删除、黑客/病毒攻击、系统崩溃、打补丁造成不稳定等等。随着信息系统逐步上升为企业生产运行的中枢，保障信息系统的安全、稳定早已成为保证企业生产持续运行的关键。为了保证企业数据安全，企业采用传统的磁带备份、基于磁盘的备份、Cluster/HA等数据保护机制对于上述的‘软’、‘硬’灾难都只能提供有限的保护，为企业的信息系统建立起有效的备份与容灾体系。从目前企业的应用来看对数据的备份技术依然是企业应对数据保护的最主要技术和方法。索引技术是对备份数据进行管理的关键技术，有效的索引技术能够保证备份数据的可靠性和备份效率。传统的索引技术一般通过在本地建立对备份数据的索引，通过记录数据的相关信息，在数据恢复时通过索引找到需要恢复的数据，从而时间数据保护，但这种索引一般记录在某一台备份介质服务器上，一旦备份介质服务器出现故障，就会造成索引丢失，从而导致备份的数据变成无效数据，数据索引可靠性较差。
技术实现思路
本专利技术提供了，解决了数据索引可靠性较差的问题。，包括为备份数据构建三级索引结构，所述三级索引结构包括一级索引、二级索引和三级索引，所述一级索引包含对应的二级索引地址，所述二级索引包含对应的三级索引地址， 所述三级索引包含对应的备份数据地址；控制服务器保存所述一级索引；至少一个备份介质服务器保存所述二级索引和所述三级索引；在后端存储系统中备份所述备份数据及所述备份数据的三级索引结构。优选的，所述一级索引包含对应的二级索引地址，具体为所述一级索引包含一次备份任务对应的二级索引所在备份介质服务器的地址和所述二级索引在该备份介质服务器中的索引地址。优选的，所述二级索引包含对应的三级索引地址，具体为所述二级索引包含至少一个文件列表，每个文件列表包含一本次备份任务所备份文件的文件HASH和该文件对应的三级索引在所述备份介质服务器中的索引地址。优选的，所述一级索引还包括本次备份任务的任务ID、源IP、源路径、备份路径、开始时间和结束时间。优选的，所述三级索引还包括备份文件的大小、属性和与所述文件内容相关的关键字。优选的，所述一级索弓丨、二级索引、三级索引和三级索引结构以tar包的方式保存。优选的，上述索引方法还包括在所述控制服务器和/或所述至少一个备份介质服务器故障时，根据所述后端存储系统中对三级索引结构的备份，还原所述控制服务器上的一级索引和/或所述至少一个备份介质服务器上的二级索引和三级索引。优选的，所述至少一个备份介质服务器保存所述二级索引和所述三级索引具体为两个或两个以上的备份介质服务器保存所述二级索引和所述三级索引。优选的，上述索引方法还包括在需要进行数据恢复时，从所述两个或两个以上的备份介质服务器上同步查询需要进行恢复数据的备份数据索引。本专利技术提供了，为备份数据构建三级索引结构，所述三级索引结构包括一级索引、二级索引和三级索引，所述一级索引包含对应的二级索引地址，所述二级索引包含对应的三级索引地址，所述三级索引包含对应的备份数据地址，控制服务器保存所述一级索引，至少一个备份介质服务器保存所述二级索引和所述三级索引，在后端存储系统中备份所述备份数据及所述备份数据的三级索引结构，实现了对索引的分级存储，在索引丢失时能够根据备份的三级索引结构对丢失的索引进行恢复，解决了数据索引可靠性较差的问题。附图说明图1为本专利技术实施例的应用环境示意图；图2为本专利技术的实施例二提供的的流程图；图3为三级索引结构建立的流程图；图4为三级索引结构的示意图。具体实施方式 索引技术是对备份数据进行管理的关键技术，有效的索引技术能够保证备份数据的可靠性和备份效率。传统的索引技术一般通过在本地建立对备份数据的索引，通过记录数据的相关信息，在数据恢复时通过索引找到需要恢复的数据，从而时间数据保护，但这种索引一般记录在某一台备份介质服务器上，一旦备份介质服务器出现故障，就会造成索引丢失，从而导致备份的数据变成无效数据。另外，在备份任务比较多时，并发访问对索引的访问效率提出了更高的要求。因此，需要提供一种方法，在备份的索引设计过程中，提供一种更可靠的索引技术，实现更为可靠的容错，即使备份介质服务器出现故障，只要备份数据没有丢失就能有效、快速的恢复备份任务，从而恢复数据。为了解决上述问题，本专利技术的实施例提供了。下文中将结合附图对本专利技术的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。首先，结合附图对本专利技术的实施例一进行说明。本专利技术实施例提供了一种基于分布式的索引，在备份的索引设计过程中，提供一种更可靠的分布式索引技术，实现更为可靠的容错，即使备份介质服务器出现故障，只要备份数据没有丢失就能有效、快速的恢复备份任务，从而恢复数据。在一个分布式索引架构中包括一级索引、二级索引、三级索引和备份数据四个部分，其中一级索引记录备份任务的信息，二级索引记录每次备份文件的信息，三级索引。其中，一级索引主要记录每次备份任务的执行信息，主要包括任务ID、源IP、目的 IP、源路径、备份路径、二级索引地址、开始时间和结束时间，每执行一次备份任务都会记录一个新的二级索引地址。二级索引主要记录每次备份任务这次备份任务哪些文件备份了的文件索引信息， 每个索引ID，记录了这次任务备份文件的HASH以及此文件的内容索引地址。三级索引主要记录单个文件的内容关键信息，方便应用检索备份文件信息，主要包括内容索引ID、数据地址和内容。其中数据地址记录备份数据最终保存在磁盘的地址，记录的内容可能有多个关键词。备份数据包括两部分一部分为索引信息，一部分为数据，其索引信息保护一级索弓丨、二级索弓丨、三级索引的信息。当系统出现索引信息丢失可以通过备份数据可以有效的恢复一级索引、二级索弓丨、三级索引的信息。本专利技术实施例提供的索引方法，在保证数据可靠性传输的前提下，可以实现高效的网络传输。从网络数据传输和元数据重建两个方面减少远程复制的网络传输开销，从而大幅减少远程复制过程中网络传输的数据，实现传输的精简高效。下面结合附图，对本专利技术的实施例二进行说明。本专利技术实施例的应用环境如图1所示，一般的备份系统分为备份代理、控制服务器、备份介质服务器和后端存储四部分组成。本专利技术实施例提供了一种分布式的三级索引结构，该三级索引结构包括一级索引、二级索引和三级索引。其中一级索引保存在控制服务器上，二级索引和三级索引保存在备份介质服务器上，最后将备份数据和备份三级索引结构统一保存在后端存储系统中进行备份。使用本专利技术实施例提供的索引方法对备份数据进行索引的流程如图2所示，包括步骤201、为备份数据构建三级索引结构；整个三级索引结构建立的过程如图3所示，在控制服务器建立一次备份任务时， 通过一级索引保存这次任务的任务ID、源IP、目的IP、源路径、备份路本文档来自技高网...

【技术保护点】
１．一种索引方法，其特征在于，包括：为备份数据构建三级索引结构，所述三级索引结构包括一级索引、二级索引和三级索引，所述一级索引包含对应的二级索引地址，所述二级索引包含对应的三级索引地址，所述三级索引包含对应的备份数据地址；控制服务器保存所述一级索引；至少一个备份介质服务器保存所述二级索引和所述三级索引；在后端存储系统中备份所述备份数据及所述备份数据的三级索引结构。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘正伟，王旭，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：11