一种基于云存储环境的连续数据保护的缓存方法技术

本发明专利技术公开了一种基于云存储环境的连续数据保护的缓存代理端的设计方案，包括：缓存代理端将根据客户端的操作请求进行相关处理。如果是用户的登录请求，缓存代理端则会判断用户是否存在，如果用户不存在，则为该用户创建元数据记录文件、数据记录文件、时间记录文件和数据映射表，然后进行同步，创建被保护磁盘分区的初始镜像文件；如果存在，继续等待客户端的操作请求。如果是备份请求，缓存代理端则会构造对应的元数据并记录到对应的元数据日志链中，同时将数据写入数据记录文件。如果是恢复请求，缓存代理端则会完成对元数据的检索。本发明专利技术能够解决当前主流的备份技术恢复粒度大和传统的连续数据保护技术扩容和数据迁移成本较高的问题。

【技术实现步骤摘要】

本专利技术属于云存储应用领域，更具体地，涉及。
技术介绍
随着互联网数据量的爆炸式增长，如何高效、可靠、稳定的存储这些数据愈发成为业界关注的焦点，因此如何为用户提供有效的数据保护方法也成为数据保护领域的研宄热点。当前在数据保护领域中使用方式是按一定时间间隔(比如一天)对需要备份的磁盘数据进行一次全量的数据备份。然而，这种数据备份方式存在着一个很明显的缺点，即无法恢复到时间周期中的任意一个时间点。这样导致的后果在于，随着数据量的增大，尤其是数据量增长速度的加快，单位时间内增加的数据量也将随之变大，对于金融，银行的等恢复粒度要求较高的行业来说可能造成一定的关键性数据的丢失；另外，虽然现在的连续数据保护技术能够为用户提供恢复到任意时间点的功能，但是现在的的连续数据保护技术存在着扩容、数据迀移的成本较高及数据恢复效率低等问题；而且，由于广域网传输带宽限制的问题，使得该连续数据保护技术没有得到广泛的利用。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了。其目的在于，结合云存储和连续数据保护技术两大技术的优势，解决现有云备份技术中存在的恢复时间粒度大、扩容和数据迀移成本高、数据恢复效率低的技术问题。为实现上述目的，按照本专利技术的一个方面，提供了，包括以下步骤:(I)接收来自客户端的数据保护请求，并判断该数据保护请求是登陆请求，同步请求，恢复请求，备份请求，还是退出请求，如果是登陆请求则进入步骤(2)，如果是同步请求则进入步骤(3)，如果是备份请求则进入步骤(4)，如果是恢复请求则进入步骤(5)，如果是退出请求则进入步骤(9);(2)获取该客户端的IP地址，并根据该登录请求获取被保护磁盘分区，根据IP地址和被保护磁盘分区判断该客户端是否存在于用户列表文件中，如果存在，则向客户端返回该账号已存在的提示，然后返回步骤(I)，如果不存在，分配一个唯一的账号给该客户端，将客户端的IP地址、磁盘分区号、分配的账号记录在用户列表文件中，并根据该账号创建记录该客户端信息的元数据记录文件、元数据映射表和数据文件位置表。并向客户端反馈需要同步的提示，然后返回步骤(I);(3)根据该同步请求对应的同步数据生成对应的磁盘分区镜像文件，并发送生成完成的信息给客户端，然后返回步骤(I);(4)接收备份请求对应的数据和元数据，将数据进行本地存储，获取数据在本地存储的位置信息、以及该扇区号最近一次备份过程中所存储的元数据在元数据记录文件中的位置，将元数据、数据在本地存储的位置信息、以及该扇区号上一次备份过程中所存储的元数据在元数据记录文件中的位置存放在元数据记录文件中，并使用存放的位置更新元数据映射表中该扇区号最近一次备份过程中所存储的元数据存放在元数据记录文件中的位置；(5)根据恢复请求获取恢复数据的恢复时间点，根据恢复数据的恢复时间点检索所有扇区号的元数据、所有扇区号的数据在本地存储的位置信息、以及所有扇区号上一次备份过程中所存储的元数据，以形成恢复视图；(6)读取磁盘分区镜像文件，并将该磁盘分区镜像文件写入恢复请求对应的恢复文件中；(7)顺序读取恢复视图中的记录，并根据数据大小、数据在本地存储的位置信息获取数据，并将该数据覆盖到恢复文件中以形成新的恢复文件；(8)利用open-1scsi协议读取新的恢复文件中的数据，并将读取的数据发回给客户端，并发送成功标识，然后返回步骤(I);(9)释放TCP连接，回收系统资源，同时将客户端占用的线程放入空闲线程池。优选地，步骤(I)中，通过读取数据保护请求的数据包头部的字段，如果该字段为0，则表示该请求是登录请求，如果为I则表示该请求是恢复请求，如果为2则表示该请求是备份请求，如果为3则表示该请求是同步请求，如果为4则表示该请求是退出请求。优选地，元数据包括时间戳、数据大小以及数据在磁盘中的扇区号。优选地，数据在本地存储的位置信息包括所存储的文件名以及文件偏移，扇区号最近一次备份过程中所存储的元数据在元数据记录文件中的位置从元数据映射表中获取。优选地，步骤(4)中将数据进行本地存储的过程包括以下子步骤:(4-1-1)打开记录当前备份数据文件信息的文件，里面记录了当前备份数据文件编号、当前备份数据文件总大小、剩余空间大小，如果记录当前备份数据文件信息的文件为空文件，则进入步骤(4-1-2)，否则进入步骤(4-1-3);(4-1-2)设置备份数据文件名起始标识，然后创建备份数据文件，在数据文件位置表中记录该备份数据文件在本地，并更新记录当前备份数据文件信息的文件，设置当前备份数据文件编号，当前备份数据文件总大小和剩余空间大小都设置为文件规定的大小，转步骤(4-1-4)；(4-1-3)读取文件中的信息，得到当前文件编号，转步骤(4-1-4);(4-1-4)判断当前备份数据文件没有超过了规定的大小，如果没有超过，则将数据写入到当前备份数据文件，并更新记录当前备份数据文件信息的文件，设置当前备份数据文件剩余空间大小；如果超过规定值，则生成新的备份数据文件，新的备份数据文件名在前一个备份数据文件名前提上加1，并将数据写入新的备份数据文件，然后更新记录当前备份数据文件信息的文件，设置当前备份数据文件编号、当前备份数据文件总大小、剩余空间大小等，最后返回数据写入当前备份数据文件的文件名及文件偏移。优选地，步骤(4)中将元数据进行组织存储的过程具体包括以下子步骤:(4-2-1)根据元数据中的扇区号找到对应的元数据映射表中的位置。该扇区号对应的元数据映射表表项中记录着该扇区最近一次备份过程中所存储的元数据在元数据记录文件的位置以及该扇区备份过程中所存储的元数据日志链表的长度，并转入步骤(4-2-2)；(4-2-2)获取该扇区号对应的元数据映射表表项的信息，并将该扇区号最近一次备份过程中所存储的元数据在元数据记录文件的位置写入新生成的元数据的最近一次备份过程元数据记录位置字段，并将元数据映射表中该扇区备份过程中所存储的元数据日志链表长度加1，将元数据、数据在本地存储的位置信息、以及该扇区号上一次备份过程中所存储的元数据在元数据记录文件中的位置写入元数据记录文件中，并将返回的存储位置更新元数据映射表中该扇区最近一次备份过程中所存储的元数据在元数据记录文件中的位置。优选地，步骤(5)包括以下子步骤:(5-1)遍历元数据映射表中的每一个元数据映射表项，元数据映射表项代表指定扇区最近一次备份过程中生成的元数据在元数据记录文件中的位置，并对元数据映射表项代表的扇区的元数据日志链进行回溯，找出小于恢复时间的最大时刻的元数据，并转入步骤(5-2)；(5-2)提取元数据中的磁盘扇区号，数据长度和数据的存储位置信息形成磁盘的恢复视图。优选地，步骤(7)中获取数据的过程具体包括以下子步骤:(7-1)根据数据文件位置表查找存储文件是否在本地，是则进入步骤(7-2)，否则进入步骤(7-3);(7-2)从云存储端下载相应文件。进入步骤(7-3);(7-3)解析数据在本地存储的位置信息和数据大小，读取数据。按照本专利技术的另一方面，提供了一种基于云存储环境的连续数据保护的缓存系统，包括以下步骤:第一模块，用于接收来自客户端的数据保护请求，并判断该数据保护请求是登陆请求，同步请求，恢复请求，备份请求，还是退出请求，如果是登陆本文档来自技高网...

【技术保护点】
一种基于云存储环境的连续数据保护的缓存方法，其特征在于，包括以下步骤：(1)接收来自客户端的数据保护请求，并判断该数据保护请求是登陆请求，同步请求，恢复请求，备份请求，还是退出请求，如果是登陆请求则进入步骤(2)，如果是同步请求则进入步骤(3)，如果是备份请求则进入步骤(4)，如果是恢复请求则进入步骤(5)，如果是退出请求则进入步骤(9)；(2)获取该客户端的IP地址，并根据该登录请求获取被保护磁盘分区，根据IP地址和被保护磁盘分区判断该客户端是否存在于用户列表文件中，如果存在，则向客户端返回该账号已存在的提示，然后返回步骤(1)，如果不存在，分配一个唯一的账号给该客户端，将客户端的IP地址、磁盘分区号、分配的账号记录在用户列表文件中，并根据该账号创建记录该客户端信息的元数据记录文件、元数据映射表和数据文件位置表。并向客户端反馈需要同步的提示，然后返回步骤(1)；(3)根据该同步请求对应的同步数据生成对应的磁盘分区镜像文件，并发送生成完成的信息给客户端，然后返回步骤(1)；(4)接收备份请求对应的数据和元数据，将数据进行本地存储，获取数据在本地存储的位置信息、以及该扇区号最近一次备份过程中所存储的元数据在元数据记录文件中的位置，将元数据、数据在本地存储的位置信息、以及该扇区号上一次备份过程中所存储的元数据在元数据记录文件中的位置存放在元数据记录文件中，并使用存放的位置更新元数据映射表中该扇区号最近一次备份过程中所存储的元数据存放在元数据记录文件中的位置；(5)根据恢复请求获取恢复数据的恢复时间点，根据恢复数据的恢复时间点检索所有扇区号的元数据、所有扇区号的数据在本地存储的位置信息、以及所有扇区号上一次备份过程中所存储的元数据，以形成恢复视图；(6)读取磁盘分区镜像文件，并将该磁盘分区镜像文件写入恢复请求对应的恢复文件中；(7)顺序读取恢复视图中的记录，并根据数据大小、数据在本地存储的位置信息获取数据，并将该数据覆盖到恢复文件中以形成新的恢复文件；(8)利用open‑iscsi协议读取新的恢复文件中的数据，并将读取的数据发回给客户端，并发送成功标识，然后返回步骤(1)；(9)释放TCP连接，回收系统资源，同时将客户端占用的线程放入空闲线程池。...

【技术特征摘要】

【专利技术属性】
技术研发人员：周可，李春花，刘辉，钟奕，李宏伟，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42