一种卷级别连续数据保护的数据智能捕获方法及系统技术方案

本发明专利技术提出了一种卷级别连续数据保护的数据智能捕获方法及系统，可以有效地解决传统CDP技术中的问题，包括：卷级驱动模块，用于系统卷级数据的智能捕获复制模块，用于将捕获的变化数据传输到备份端并应用。根据不同的数据变化日志文件信息，将使用不同的方式将变化的对应的数据传输到备份端，并进行变化数据的应用。数据捕获方式切换模块，应用层模块，通过监控被保护服务器的磁盘IO状况，网络状况以及缓存空间大小等信息，对驱动模块的数据捕获方式进行灵活地切换，以解决缓存空间溢出问题，在缓存空间使用和可恢复点之间做一个好的平衡，以便能够让保护方案正常工作。以便能够让保护方案正常工作。

【技术实现步骤摘要】
一种卷级别连续数据保护的数据智能捕获方法及系统


[0001]本专利技术属于计算机数据容灾和备份，虚拟化和云计算领域，具体涉及一种基于整机保护的智能数据捕获方法。

技术介绍

[0002]在传统的连续数据保护（CDP）方案中，需要实时捕获系统中数据的每一次变化，并且将每一次变化的数据即时地传输到备份端，这种方式在很多场景下都是合适的，尤其是系统数据量变化不是很频繁的情况下。
[0003]在CDP保护方案中，一般需要进行两个很关键的步骤，第一个步骤是数据的同步，即将源端的被保护数据完整地同步到备份端；第二个步骤就是同步数据完成以后，将实时变化的数据复制到备份端，而在同步期间，这些变化的数据即使能够及时地传输到备份端，也不能立即应用，因为同步还没有完成，只能将这些变化的数据缓存起来，要么缓存在被保护的服务器端，要么缓存在备份端。
[0004]但是在一些特殊的场景尤其是服务器端产生的变化数据很频繁以及原始数据量很大的情况下，这种弊端就显示出来了，比如一台生产服务器原始的数据量很大，并且数据变化的频率也很大，往往会导致整个保护不能进行。
[0005]比如光同步数据这一个步骤就需要几十小时或者几天时间，而在同步数据的这段时间，往往改变的数据量又达到了上百G或者上T，这会导致无论是生产服务器端还是备份端都很难找到这么大的缓存空间来存储这些变化的数据，从而导致保护方案的失败。

技术实现思路

[0006]因此，针对传统CDP保护方案的这些问题，本专利技术提出了一种卷级连续数据保护的数据智能捕获方法及系统，可以有效地解决传统CDP技术中的问题，包括：卷级驱动模块，用于系统卷级数据的智能捕获，主要有两种捕获数据变化的方式，一种是传统的数据捕获方式，将每一次的数据变化都记入到日志文件中，本专利技术称之为传统方式；另一种捕获方式是仅仅记录数据变化的元数据信息，比如卷的信息，起始位置和长度，而不记录具体数据内容，本专利技术称之为元数据方式。两种方式产生的数据信息记录文件，在本专利技术中都称之为数据变化日志文件，本专利技术的卷级驱动模块，可以在传统数据捕获方式和元数据方式之间自由切换。
[0007]同步模块，用于将被保护端的数据同步到备份端。
[0008]复制模块，用于将捕获的变化数据传输到备份端并应用。
[0009]根据不同的数据变化日志文件信息，将使用不同的方式将变化的对应的数据传输到备份端，并进行变化数据的应用。
[0010]数据捕获方式切换模块，应用层模块，通过监控被保护服务器的磁盘IO状况，网络状况以及缓存空间大小等信息，对驱动模块的数据捕获方式进行灵活地切换，以解决缓存空间溢出问题，在缓存空间使用和可恢复点之间做一个好的平衡，以便能够让保护方案正
常工作。
具体实施方式
[0011]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本专利技术的其它优点与功效。本专利技术亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本专利技术的精神下进行各种修饰与变更。
[0012]本专利技术一种卷级别连续数据保护的数据智能捕获方法及系统，包括：卷级驱动模块，用于系统卷级数据的智能捕获，主要有两种捕获数据变化的方式，一种是传统的数据捕获方式，将每一次的数据变化都记入到日志文件中，本专利技术称之为传统方式；另一种捕获方式是仅仅记录数据变化的元数据信息，比如卷的信息，起始位置和长度，而不记录具体数据内容，本专利技术称之为元数据方式。两种方式产生的数据信息记录文件，在本专利技术中都称之为数据变化日志文件，本专利技术的卷级驱动模块，可以在传统数据捕获方式和元数据方式之间自由切换。
[0013]传统模式的数据捕获方式，保留了每一次数据变化内容，因此会占用的缓存空间大，但是因为保留了每次变化的数据，故可以恢复的时间点会更多。元数据捕获方式，仅仅保留了每次变化的位置信息，即数据变化的起始位置和大小，而不存储具体的数据信息，因此，这种方式下的数据变化日志，占用的空间非常小，只会占用传统捕获模式空间的几百分之一甚至几千分之一，但是在使用元数据模式的时候，可恢复的时间点就会少了很多。
[0014]同步模块，用于将被保护端的数据同步到备份端。
[0015]复制模块，用于将捕获的变化数据传输到备份端并应用。
[0016]根据不同的数据变化日志文件信息，将使用不同的方式将变化的对应的数据传输到备份端，并进行变化数据的应用。
[0017]数据捕获方式切换模块，应用层模块，通过监控被保护服务器的磁盘IO状况，网络状况以及缓存空间大小等信息，对驱动模块的数据捕获方式进行灵活地切换，以解决缓存空间溢出问题，在缓存空间使用和可恢复点之间做一个好的平衡，以便能够让保护方案正常工作。
[0018]为了能够更好地描述本专利技术，下面通过具体步骤来进行说明。
[0019]步骤S1，通知卷级驱动，开始以元数据捕获方式捕获数据，并开始同步数据到备份端。
[0020]步骤S2，卷级驱动开始捕获数据后，实时捕获数据变化的元数据（卷的起始位置和长度），并实时地将这些信息写入到数据变化日志文件中，并按照预设的周期（比如两秒）生成新的数据日志文件。
[0021]步骤S3，同步数据开始后，应用层从驱动获取数据文件信息，此时由于还在同步数据阶段，并不将数据日志对应的数据发送到备份端，而是从卷级驱动获取数据日志文件，并按照产生的先后顺序进行解析，并不停地进行合并操作，下面具体描述一下合并过程。
[0022]比如应用层先后获取到了三个数据变化日志文件：1.log，2.log，和3.log。假设1.log的变化数据信息为：卷1的0
‑
8192，1024
‑
4096，0
‑
1024，2.log的数据变化信息为：卷1的4096
‑
8192,1024
‑
8192，3.log的的数据变化信息为：卷1的0
‑
1024,4096
‑
8192，则总共的
变化数据大小为28672。由于这些变化的数据并不需要马上进行发送和应用，而在发送的时候则对这些信息进行合并，即重复的数据变化，只会记录一次，因此合并后的数据变化信息为：卷1的0
‑
8192。
[0023]步骤S4，如果同步数据完成，则应用层通知卷级驱动，切换到传统数据捕获模式，并生成一个书签，即在同步数据完成到书签之间的数据捕获方式都是传统捕获模式。
[0024]步骤S5，开始发生合并后的数据变化日志，根据日志中记录的对应的卷信息，从卷中读取对应的数据发送到备份端，并应用数据。
[0025]步骤S6，如果元数据数据变化日志发送完毕，开始发送传统数据日志，对于传统捕获模式生成的数据变化日志，直接发送到备份端并应用。
[0026]步骤S7，备份端接收到书签信息后，在备份端生成快照。
[0027]步骤S8，应用层检测被保护系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卷级别连续数据保护的数据智能捕获方法及系统，主要包括步骤：步骤S1，通知卷级驱动，开始以元数据捕获方式捕获数据，并开始同步数据到备份端；步骤S2，卷级驱动开始捕获数据；步骤S3，同步数据开始后，应用层从驱动获取数据文件信息并不停地进行合并操作；步骤S4，如果同步数据完成，切换到传统数据捕获模式，并生成一个书签步骤S5，开始发生合并后的数据变...

【专利技术属性】
技术研发人员：张海洋，商国贤，牛晓飞，
申请(专利权)人：云坞科技北京有限公司，
类型：发明
国别省市：