一种文件数据迁移方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种文件数据迁移方法、装置、设备及存储介质。通过获取待迁移任务，扫描待迁移任务中的各文件项得到存量扫描信息，将存量扫描信息写入到扫描列表中；获取在扫描开始之后对待迁移任务执行的目标文件项操作，根据目标文件项操作确定增量扫描信息，将增量扫描信息写入到扫描列表中；将扫描列表中的各扫描信息分别对应的待迁移文件项迁移到目标文件存储系统，扫描信息包括：存量扫描信息和增量扫描信息，能够实时获取和记录文件数据在扫描过程中的增量变化并同步到扫描列表中，无需反复多次扫描，即可保证文件数据迁移的一致性，降低了迁移复杂度，提高迁移效率。提高迁移效率。提高迁移效率。

【技术实现步骤摘要】
一种文件数据迁移方法、装置、设备及存储介质


[0001]本专利技术涉及数据迁移
，尤其涉及一种文件数据迁移方法、装置、设备及存储介质。

技术介绍

[0002]随着大数据时代的到来，企业的非结构化数据急剧增长，为了便于更好地管理数据，增强数据的可维护性，常常需要将原文件存储系统中的海量文件需要迁移到非结构化数据管理系统中进行统一管理。
[0003]由于在数据迁移的过程中，需要保证业务系统所需的存储服务不能中断，现有技术一般由NAS网关系统一边承接业务IO，一边进行文件数据的在线迁移。主要过程为：对原存储系统进行数据扫描，再根据扫描结果进行文件数据迁移，并同时记录增量日志。待历史数据迁移结束后，再根据日志按顺序执行进行增量文件数据迁移。
[0004]由于历史数据可能是海量的，而扫描一般采用深度或者广度遍历的方式，逐步记录原存储系统中数据的全路径，因此扫描可能需要持续一段时间。若在扫描完全结束前，对已扫描的历史文件数据有重命名或移动等操作，根据扫描结果进行迁移时有可能在原存储将找不到扫描项。一旦遇到这种情况，就需要对原存储系统进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文件数据迁移方法，其特征在于，应用于原文件存储系统，所述方法包括：获取待迁移任务，扫描所述待迁移任务中的各文件项得到存量扫描信息，将所述存量扫描信息写入到扫描列表中；获取在扫描开始之后对所述待迁移任务执行的目标文件项操作，根据所述目标文件项操作确定增量扫描信息，将所述增量扫描信息写入到扫描列表中；将所述扫描列表中的各扫描信息分别对应的待迁移文件项迁移到目标文件存储系统，所述扫描信息包括：所述存量扫描信息和所述增量扫描信息。2.根据权利要求1所述的方法，其特征在于，所述扫描所述待迁移任务中的各文件项得到存量扫描信息包括：将所述待迁移任务的各级目录的索引号分别写入存量待扫描队列，通过扫描线程读取所述存量待扫描队列中的各当前级目录；针对各所述当前级目录，扫描所述当前级目录得到所述当前级目录所包含的当前存量文件项的属性信息；若所述当前级目录是一级目录，则根据所述一级目录所包含的一级存量文件项的属性信息确定所述一级目录的存量扫描信息；若所述当前级目录不是一级目录，则判断所述当前级目录的路径是否存在于所述目标文件存储系统中，根据判断结果和所述当前存量文件项的属性信息确定所述当前级目录的存量扫描信息。3.根据权利要求2所述的方法，其特征在于，所述根据判断结果和所述当前存量文件项的属性信息确定所述当前级目录的存量扫描信息，包括：若判断结果为所述当前级目录的路径存在于所述目标文件存储系统中，则根据满足第一预设条件的当前存量文件项的属性信息确定所述当前级目录的存量扫描信息；若判断结果为所述当前级目录的路径不存在于所述目标文件存储系统中，则根据所述当前级目录所包含的当前存量文件项的属性信息确定所述当前级目录的存量扫描信息。4.根据权利要求3所述的方法，其特征在于，若所述当前存量文件项的类型为目录，则所述第一预设条件包括：所述目标文件存储系统中所述当前存量文件项的路径的对应的第一目标目录的名称与所述当前存量文件项的名称不同；若所述当前存量文件项的类型为文件，则所述第一预设条件包括：所述目标文件存储系统中所述当前存量文件项的路径对应的目标文件的名称与所述当前存量文件项的名称不同，或者所述当前存量文件项的更新时间晚于目标文件的更新时间。5.根据权利要求2所述的方法，其特征在于，所述将所述待迁移任务的各级目录的索引号分别写入存量待扫描队列，通过扫描线程读取所述存量待扫描队列中的各当前级目录，包括：将所述待迁移任务的一级目录的索引号写入所述存量待扫描队列，通过扫描线程读取所述存量待扫描队列中写入的目录的索引号；确定所述扫描线程读取的存量待扫描队列中的目录的各下一级存量文件项；对于各所述下一级存量文件项，若所述下一级存量文件项的类型为目录，则将所述下一级存量文件项的索引号写入所述存量待扫描队列；通过所述扫描线程读取所述存量待扫描队列中写入的目录的索引号；
返回执行各所述下一级存量文件项的确定操作，直到完成对所述待迁移任务所包含的各级存量文件项的遍历。6.根据权利要求1所述的方法，其特征在于，所述目标文件项操作包括：文件项创建操作和文件项重命名操作，所述文件项重命名操作包括：目录重命名操作和文件重命名操作，所述根据所述目标文件项操作确定增量扫描信息，包括：若所述目标文件项操作为目录重命名操作且所述目录重命名操作对应的目标目录不存在于所述扫描列表中，则将重命名的目录确定为增量目录，将所述增量目录的索引号写入增量待扫描列表；对于所述增量待扫描列表中的各所述增量目录分别进行扫描得到所述增量目录的增量扫描信息；若所述目标文件项操作为文件重命名操作，且所述文件重命名操作对应的目标文件不存在于所述扫描列表中，则根据目标文件的属性信息确定增量扫描信息；若所述目标文件项操作为文件项创建操作，则根据创建的文件项的属性信息确定增量扫描信息。7.根据权利要求6所述的方法，其特征在于，所述对于所述增量待扫描列表中的各所述增量目录分别进行扫描得到所述增量目录的增量扫描信息，包括：将各所述增量目录的索引号分别写入增量待扫描队列，通过扫描线程读取所述增量待扫描队列中写入的各增量目录；对于各所述增量目录，扫描所述增量目录得到所述增量目录所包含的各当前增量文件项的属性信息；对于各所述当前增量文件项，根据各所述当前增量文件项的属性信息确定各所述增量目录的增量扫描...

【专利技术属性】
技术研发人员：钟丽波，鲁莎莎，
申请(专利权)人：上海爱数信息技术股份有限公司，
类型：发明
国别省市：