一种用于备份系统的海量数据高速缓存器的构造方法技术方案

本发明专利技术提出了一种用于备份系统的海量数据高速缓存器的构造方法，可用于本地数据带宽大于备份线路数据带宽的备份系统中，尤其是基于Ｉｎｔｅｒｎｅｔ的数据备份系统。该方法通过在本地服务器部署海量数据高速缓存器来存储服务器的变化数据，解决了本地数据带宽大于备份线路带宽的突出矛盾，减低了备份系统对备份线路带宽以及稳定性的要求，极大地降低了备份系统的建设成本和使用成本，具有广阔的应用前景。

【技术实现步骤摘要】

本专利技术提出了，属于数据备份领域。
技术介绍
传统的备份系统在备份海量数据时，通常面临着本地数据带宽大于备份线路数据带宽的 突出矛盾。为了缓解这一矛盾，传统的备份系统使用了光纤通道技术(Fiber Channel)及存 储局域网(Storage Area Network)等远程存储技术来提高备份线路的带宽。这些技术都高度 依赖于价格十分昂贵的高速专线，使得备份系统的建设成本十分惊人，而且，这种方法对于 备份线路带宽的提高十分有限，往往无法赶上本地数据带宽的增长幅度。因此，传统方法不 能从根本上解决上述矛盾。中国专利公开号为CN1445672的申请案可以实现异构网络的数据镜像，但当本地服务 器产生海量数据变化时，将会导致严重的性能问题。针对上述的缺陷，本专利技术提出了， 可用于本地数据带宽大于备份线路数据带宽的备份系统中，尤其是基于Internet的数据备份 系统。该方法通过在本地服务器部署海量数据高速缓存器来存储服务器的变化数据，解决了 本地数据带宽大于备份线路带宽的突出矛盾。该方法突破了传统备份系统依赖高速专线的技术难题，降低了备份系统对备份线路带宽 以及稳定性的要求，极大地减低了备份系统的建设成本和使用成本，尤其是使得部署基于 Internet的数据备份系统成为可能，具有广阔的应用前景。
技术实现思路
在详细阐述本专利技术之前，先做如下定义-定义1:备份对象r，用来表示本地服务器上需要备份的对象。定义2:海量数据高速缓存器S，用来存储备份对象产生的变化数据，包含以下两个 部分1) 海量数据高速缓存器描述符，包括五个部分海量数据高速缓存器容量加ze、备份记录大小ra&、备份记录数",、当前读指针rpw、当前写指针VV/ CW;2) 备份记录，包括四个部分备份对象名to"W、备份数据在备份对象上的 位置O力SW、备份数据甴to、验证摘要值A。定义3:定义验证摘要值的计算公式，/2 = //(tow" + 0j^W + fltoa)，其中A表示验证摘 要值，+表示字符串的连接运算，表示发生数据变化的备份对象的名 称，p诉W表示备份数据在备份对象上的位置，^to表示备份数据的具体内 容，^为散列函数，可以是MA5、 S/"-7等。定义4:海量数据高速缓存器读指针的计算公式，= 0pay +1)%(々& /mh)，其中 /p^'表示读操作后的海量数据高速缓存器当前的读指针的位置，表示读 操作前的海量数据高速缓存器的读指针的位置。定义5:海量数据高速缓存器写指针的计算公式，w/Kw'-(，M + l，Oze/wize)，其 中M^w'表示写操作后的海量数据高速缓存器当前的写指针的位置，wp似表示 写操作前的海量数据高速缓存器的写指针的位置。本专利技术提出了一种用于数据备份系统的海量数据高速缓存器的构造方法，该方法通过在 本地服务器上建立海量数据高速缓存器S，对服务器的变化数据进行缓存，解决了本地数据 带宽大于备份线路带宽的突出矛盾。海量数据高速缓存器S的组织格式包括海量数据高速缓存器描述符和备份记录两个部 分。在对海量数据高速缓存器S进行初始化时，首先需要在本地服务器的磁盘上建立一个固 定大小的容器文件，然后在其头部填入海量数据高速缓存器描述符的内容，包括海量数据高 速缓存器容量、备份记录大小、备份记录数、当前读指针、当前写指针等内容。当备份对象r发生数据变化时，首先通过定义3的公式计算出变化数据(需备份的数 据)的摘要值，然后将备份对象名，备份数据，备份数据在备份对象上的位置以及计算出的 摘要值封装成备份记录i ，再根据海量数据高速缓存器写指针将i 写入到海量缓存器 S中，并更新海量数据高速缓存器写指针(使其指向下一个写入位置)和备份记录数 "Wm。当需要读取备份记录i 时，首先根据海量数据高速缓存器读指针r/7M来读取i ，然后 将i 发送到远程，待发送完成后，更新海量数据高速缓存器读指针(使其指向下一个读位置)和备份记录数TOOT。具体地，本专利技术提出的用于数据备份系统的海量数据高速缓存器的构造方法包括以下步骤1) 对海量数据高速缓存器进行初始化的步骤；2) 对海量数据高速缓存器进行写入的步骤；3) 对海量数据高速缓存器进行读取的步骤。四附图说明图1是海量数据高速缓存器的组织格式。 图2是对海量数据高速缓存器进行初始化的步骤。 图3是对海量数据高速缓存器进行写入的步骤。 图4是对海量数据高速缓存器进行读取的步骤。五具体实施例方式以下结合附图详细说明本专利技术的具体方法。6图1是海量数据高速缓存器的组织格式。海量数据高速缓存器组织格式如下-1) 海量数据高速缓存器容量/w'M整数，表示海量数据高速缓存器S的大小。2) 备份记录大小"/ze整数，表示存储在海量数据高速缓存器S中的备份记录的大小。3) 备份记录数wwm整数，表示海量数据高速缓存器S中目前已经存储的备份记录数。4) 当前读指针^7oy整数，表示海量数据高速缓存器S中当前可以读取备份记录的位置。5) 当前写指针w/ws整数，表示海量数据高速缓存器S中当前可以写入备份记录的位置。6) 备份记录i 为4元组数据结构，格式如下① 备份对象名torgW字符串，表示备份记录中保存的数据所属的备份对象的名称。② 备份数据在备份对象上的位置oi^W整数，表示备份对象的变化数据在备份对象上的位置。③ 备份数据dflto二进制串，表示备份对象产生的变化数据的具体内容。 验证摘要值/ 整数，表示根据定义3计算出的摘要值。通过在本地服务器上部署海量数据高速缓存器，备份系统能够存储高速存储本地的变化 数据。S越大，可以存储的变化数据越多，那么备份系统容忍通信线路的带宽限制、速度变 化、传输故障等不利因素的能力越强。图2是对海量数据高速缓存器进行初始化的步骤。在对海量数据高速缓存器进行初始化时，首先在本地服务器上创建一个固定长度的容器 文件，然后往其头部填入海量数据高速缓存器描述符的内容。其具体步骤如下-1) 创建容器文件在本地服务器上新建一个容器文件F，用于实现海量数据高速缓存 器；2) 初始化海量数据高速缓存器描述符初始化海量数据高速缓存器描述符/，并将/的 内容写入文件F的头部，具体步骤如下① 设置海量数据高速缓存器容量海量数据高速缓存器容量/^e为容器文件F的 大小减去海量数据高速缓存器描述符/的大小；② 设置备份记录大小备份记录大小为备份记录各元组长度之和；③ 设置备份记录数设置海量数据高速缓存器的备份记录数m^为0;④ 设置当前读指针设置海量数据高速缓存器的当前读指针W^为0;⑤ 设置当前写指针设置海量数据高速缓存器的当前写指针M^M为0;⑥ 保存海量数据高速缓存器描述符初始值将海量数据高速缓存器描述符/的初 始值写入到容器文件F的头部。图3是对海量数据高速缓存器进行写入的步骤。当备份对象r发生数据变化时，首先生成相应的备份记录/ ，然后根据海量数据高速缓存器的当前写指针w;xw将备份记录i 写入到海量数据高速缓存器S中，具体步骤如下1) 验证摘要值计算利用发生数据变化的备份对象名torge/，备份数据在备份对象上 的位置o力Se"备份数据ifato，根据定义3计算验证摘要值/z ;2) 备份记录封装将备份对象名torgW，备份数据c/"to，备份数本文档来自技高网...

【技术保护点】
一种用于备份系统的海量数据高速缓存器的构造方法，其特征在于定义一种海量数据高速缓存器的结构，该结构包括以下两个部分：　１）海量数据高速缓存器描述符，包括五个部分：海量数据高速缓存器容量、备份记录大小、备份记录数、当前读指针、当前写指针 ；　２）备份记录，包括四个部分：备份对象名、备份数据在备份对象上的位置、备份数据、验证摘要值；　其构造方法包括以下步骤：对海量数据高速缓存器进行初始化的步骤；对海量数据高速缓存器进行写入的步骤；对海量数据高速缓存器进行读取的步骤 ；其中：　对海量数据高速缓存器进行初始化的步骤，包括以下步骤：　１）创建容器文件的步骤；　２）初始化海量数据高速缓存器描述符的步骤，包括：　①设置海量数据高速缓存器容量的步骤；　②设置备份记录大小的步骤；　 　③设置备份记录数的步骤；　④设置当前读指针的步骤；　⑤设置当前写指针的步骤；　⑥保存海量数据高速缓存器描述符初始值的步骤；　对海量数据高速缓存器进行写入的步骤，包括：　１）验证摘要值计算的步骤；　２）备 份记录封装的步骤；　３）写入海量数据高速缓存器的步骤，包括：　①检测是否有空闲空间的步骤；　②获取当前写指针的步骤；　③计算写入偏移量的步骤；　④写入数据的步骤；　４）更新海量数据高速缓存器描述符的步骤， 包括：　①计算新的当前写指针位置的步骤；　②计算新的备份记录数的步骤；　③更新当前写指针和备份记录数的步骤；　对海量数据高速缓存器进行读取的步骤，包括：　１）读取备份记录的步骤，包括：　①判断海量缓存器是 否为空的步骤；　②获取当前读指针的步骤；　③计算读取偏移量的步骤；　④读取备份记录的步骤；　２）备份记录错误检测的步骤，包括：　①计算验证摘要值的步骤；　②判断备份记录是否正确的步骤；　３）网络发送 的步骤；　４）更新海量数据高速缓存器描述符的步骤，包括：　①计算新的当前读指针位置的步骤；　②计算新的备份记录数的步骤；　③更新当前读指针和备份记录数的步骤。...

【技术特征摘要】

【专利技术属性】
技术研发人员：李涛，
申请(专利权)人：四川大学，
类型：发明
国别省市：90[中国|成都]