用于云迁移的文件系统数据备份方法、系统及介质技术方案

本发明专利技术公开了用于云迁移的文件系统数据备份方法、系统和介质，涉及数据备份技术领域。为了解决快照时文件系统还有数据在读写，导致快照不能满足一致性要求的问题；用于云迁移的文件系统数据备份方法，所述方法包括：S1：阻塞文件系统io；S2：将文件系统缓存数据写入磁盘；S3：创建一致性快照，解除文件系统io阻塞；S4：读取文件系统快照，解析文件系统元数据，过滤journal区域后生成数据位图；S5：根据数据位图备份文件系统有效数据；通过阻塞文件系统io，在执行设备操作时若不能获得资源则挂起进程，直到满足可操作的条件后再进行操作，有效保证了后续在对文件系统创建一致性快照时，文件系统并没有数据正在写入，节约时间开销。节约时间开销。节约时间开销。

【技术实现步骤摘要】
用于云迁移的文件系统数据备份方法、系统及介质


[0001]本专利技术涉及数据备份
，特别涉及用于云迁移的文件系统数据备份方法、系统及介质。

技术介绍

[0002]文件系统备份是为了防止系统故障或者操作失误导致数据丢失，从而将全部或部分数据从生产系统复制到其它的存储介质的过程。关于文件备份，已有相关专利；比如公开号为CN109561120B的中国专利公开了一种小文件备份方法、系统和管理服务器，所述方法包括：管理服务器接收客户端针对待备份文件发送的备份请求，并根据备份请求选择用于备份待备份文件的网关服务器和多个存储服务器，以及将选择好的第一网关服务器通知给客户端，并将选择好的多个存储服务器通知给第一网关服务器；第一网关服务器在接收到客户端发送的待备份文件后，将待备份文件发送给所述管理服务器通知的每个存储服务器，每个存储服务器在接收到待备份文件后，保存待备份文件。该专利技术通过网关服务器进行文件备份，可提高小文件的备份效率。
[0003]上述专利提供了文件系统备份方法提高备份效率，但仍存在相应的以下几点缺陷：
[0004](1)现有技术中，通过先给文件系统做非一致性快照，然后将快照全部同步到备份服务器进行备份，首先是备份了很多无效数据，随着数据的海量增加，这种全备份方案耗时长，对原系统的影响大；其次快照时文件系统还有数据在读写，导致快照不能满足一致性要求；
[0005](2)现有技术中，仍依赖文件系统自身的工具，局限性大，不适用于所有文件系统，且依赖底层块设备存储，导致无法感知文件系统语义，造成文件系统一致性的缺失。

技术实现思路

[0006]本专利技术的目的在于提供用于云迁移的文件系统数据备份方法、系统及介质，通过创建一致性快照，并且在此基础上分析文件系统元数据从而生成文件系统的有效数据位图，备份服务根据数据位图将有效的数据备份至目标端，节约时间开销，高效备份文件系统数据，在目标环境生成一致的文件系统，以解决上述
技术介绍
中提出的问题。
[0007]本专利技术的第一个目的在于开发一种用于云迁移的文件系统数据备份方法。
[0008]本专利技术的第二个目的在于开发一种用于云迁移的文件系统数据备份系统。
[0009]本专利技术的第三个目的在于开发一种计算机介质。
[0010]为实现上述第一专利技术目的，本专利技术提供如下技术方案：
[0011]用于云迁移的文件系统数据备份方法，所述方法包括以下步骤：
[0012]S1：阻塞文件系统io；
[0013]S2：将文件系统缓存数据写入磁盘；
[0014]S3：创建一致性快照，解除文件系统io阻塞；
[0015]S4：读取文件系统快照，解析文件系统元数据，过滤journal区域后生成数据位图；
[0016]S5：根据数据位图备份文件系统有效数据。
[0017]进一步的，针对S1中，阻塞文件系统io，还包括：
[0018]当进程调用一个阻塞的系统文件时，该系统文件的运行进程被置于睡眠状态，同时，调度其它进程运行；
[0019]确定等待队列并进行队列标签，将置于睡眠状态的进程放入所述等待队列对应的队列链表中，当唤醒进程时，从等待队列对应的队列链表中取出进程进入唤醒队列；
[0020]资源不可用时，io请求一直阻塞，直到获取反馈结果。
[0021]进一步的，针对S2中，将文件系统缓存数据写入磁盘，具体为：
[0022]确定系统缓冲区，根据所述系统缓冲区确定文件系统缓存数据的初始数据缓存特征；
[0023]在磁盘中调取数据资源样本，基于所述数据资源样本对代写如的文件系统缓存数据进行标准数据格式转换，获取文件系统标准数据，生成目标数据写入文件；
[0024]根据所述系统缓冲区的与磁盘之间的历史交互记录获取数据缓存特征的数据传输特征参数，基于数据缓存特征的数据传输特征参数确定磁盘逻辑区；
[0025]在定位到要访问的扇区开始位置后，通过写入函数实施相应的读写访问，将所述目标数据写入文件写入磁盘。
[0026]进一步的，将所述目标数据写入文件写入磁盘后，还包括：
[0027]所述磁盘接收所述目标数据写入文件，并对所述目标数据写入文件中的多个文件系统缓存数据进行读取，确定所述多个文件系统缓存数据中是否存在遗漏；
[0028]当所述多个文件系统缓存数据中存在遗漏时，对遗漏数据的相邻数据进行读取，并根据预设相似度算法对存在遗漏的数据进行补充，并基于补充结果，生成完整目标数据写入文件，并建立补充列表。
[0029]进一步的，针对S3中，创建一致性快照，其过程包括：
[0030]S301：登录RAM控制台，创建一致性快照相关的RAM角色，创建应用一致性快照相关权限策略，为目标实例设置RAM角色；
[0031]其中，所述权限策略的相关权限包括查询快照相关信息、创建快照、设置标签和查询云盘信息；
[0032]S302：确定所述磁盘中的目标数据写入文件列表，在所述列表中确定目标文件，创建实例快照，同时，设置快照一致性参数并启用快照极速可用功能；
[0033]S303：创建并应用一致性快照后，检查创建的快照是否为文件系统一致性快照；若出现错误代码，则根据错误码信息排查问题后重复S301
‑
S302。
[0034]进一步的，针对S4中，读取文件系统快照，解析文件系统元数据，具体为：
[0035]对获取到的快照进行读取，确定所述快照中各个快照信息的数据类型，根据所述各个快照信息的数据类型在快照信息数据库中匹配对应的快照信息样本；
[0036]基于所述快照信息样本及数据类型确定目标数据，基于优先级建立目标数据列表，依次对所述目标数据对应的快照信息进行赋值，确定所述目标数据列表中相同的快照信息；
[0037]基于所述快照信息获取对应的目标数据写入文件列表，确定与所述目标数据写入
文件储存的地址关联的文件系统元数据。
[0038]进一步的，针对S4中，过滤journal区域后生成数据位图，具体为：
[0039]读取文件系统元数据，确定所述文件系统元数据的数据类型，根据所述数据类型确定日志数据和操作数据，获取journal区域，并将journal区域内的数据作为边缘数据；
[0040]在所述文件系统元数据中摘除边缘数据作为目标子数据，并基于所述目标子数据的数据长度构建数据位图模型；
[0041]将所述数据位图模型中的数据位图划分为多个连续的区域，获取所述目标子数据中所携带的数组，通过二进制算法判断该数据位于所述数据位图模型的区间。
[0042]进一步的，还包括以下步骤：S6：云迁移软件在源端的每一个虚拟机上部署agent，agent按照步骤S1
‑
S5在源端创建一致性快照后生成数据位图，并且根据数据位图将有效的文件系统数据同步到云端，云端根据这些同步过来的数据就能还原成和源端一样的服务器。
[0043]基于相同的发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用于云迁移的文件系统数据备份方法，其特征在于：所述方法包括以下步骤：S1：阻塞文件系统io；S2：将文件系统缓存数据写入磁盘；S3：创建一致性快照，解除文件系统io阻塞；S4：读取文件系统快照，解析文件系统元数据，过滤journal区域后生成数据位图；S5：根据数据位图备份文件系统有效数据。2.如权利要求1所述的用于云迁移的文件系统数据备份方法，其特征在于：针对S1中，阻塞文件系统io，还包括：当进程调用一个阻塞的系统文件时，该系统文件的运行进程被置于睡眠状态，同时，调度其它进程运行；确定等待队列并进行队列标签，将置于睡眠状态的进程放入所述等待队列对应的队列链表中，当唤醒进程时，从等待队列对应的队列链表中取出进程进入唤醒队列；资源不可用时，io请求一直阻塞，直到获取反馈结果。3.如权利要求2所述的用于云迁移的文件系统数据备份方法，其特征在于：针对S2中，将文件系统缓存数据写入磁盘，具体为：确定系统缓冲区，根据所述系统缓冲区确定文件系统缓存数据的初始数据缓存特征；在磁盘中调取数据资源样本，基于所述数据资源样本对代写如的文件系统缓存数据进行标准数据格式转换，获取文件系统标准数据，生成目标数据写入文件；根据所述系统缓冲区的与磁盘之间的历史交互记录获取数据缓存特征的数据传输特征参数，基于数据缓存特征的数据传输特征参数确定磁盘逻辑区；在定位到要访问的扇区开始位置后，通过写入函数实施相应的读写访问，将所述目标数据写入文件写入磁盘。4.如权利要求3所述的用于云迁移的文件系统数据备份方法，其特征在于：将所述目标数据写入文件写入磁盘后，还包括：所述磁盘接收所述目标数据写入文件，并对所述目标数据写入文件中的多个文件系统缓存数据进行读取，确定所述多个文件系统缓存数据中是否存在遗漏；当所述多个文件系统缓存数据中存在遗漏时，对遗漏数据的相邻数据进行读取，并根据预设相似度算法对存在遗漏的数据进行补充，并基于补充结果，生成完整目标数据写入文件，并建立补充列表。5.如权利要求4所述的用于云迁移的文件系统数据备份方法，其特征在于：针对S3中，创建一致性快照，其过程包括：S301：登录RAM控制台，创建一致性快照相关的RAM角色，创建应用一致性快照相关权限策略，为目标实例设置RAM角色；其中，所述权限策略的相关权限包括查询快照相关信息、创建快照、设置标签和查询云盘信息；S302：确定所述磁盘中的目标数据写入文件列表，在所述列表中确定目标文件，创建实例快照，同时，设置快照一致性参数并启用快照极速可用功能；S303：创建并应用一致性快照后，检查创建...

【专利技术属性】
技术研发人员：周宇，
申请(专利权)人：无锡拓速网络科技有限公司，
类型：发明
国别省市：