一种数据迁移方法、装置和系统制造方法及图纸

本发明专利技术实施例公开了一种数据迁移方法、装置和系统，元数据端统计各文件的访问热度；依据各文件的访问热度以及存储位置，建立待迁移文件列表；当待迁移文件列表的数据量满足预设条件时，则向目标客户端发送文件迁移指令。目标客户端在接收到元数据端发送的文件迁移指令后，依据待迁移文件列表中包含的文件标识信息，批量读取目标文件；并将聚合后的目标文件写入指定的存储介质。通过对待迁移的文件进行汇总，以便于目标客户端将多个待迁移文件进行整合后写入指定的存储介质，减少了文件迁移的读写次数，提升了文件迁移的效率，从而减少迁移过程对系统资源的消耗，提升了分布式系统读写响应速度和性能。

A Data Migration Method, Device and System

The embodiment of the present invention discloses a data migration method, device and system, in which the metadata end counts the access heat of each file, establishes a list of files to be migrated according to the access heat and storage location of each file, and sends a file migration instruction to the target client when the data amount of the list of files to be migrated meets the preset conditions. After receiving the file migration instructions sent by the metadata end, the target client reads the target file in batches according to the file identification information contained in the list of files to be migrated, and writes the aggregated target file into the specified storage medium. By summarizing the files to be migrated, it is easy for the target client to integrate multiple files to write to the designated storage medium, reduce the number of read and write files migration, improve the efficiency of file migration, thus reducing the consumption of system resources in the migration process, and improve the response speed and performance of distributed system.

【技术实现步骤摘要】
一种数据迁移方法、装置和系统
本专利技术涉及数据存储
，特别是涉及一种数据迁移方法、装置和系统。
技术介绍
在分布式文件系统中，存储介质可以划分为慢存储介质和快存储介质。对于频繁访问的文件，若将其存储在慢存储介质中，则会影响文件的读取性能。在一段时间内，文件被访问的次数越多，文件的热度就越高。传统方式中，会根据元数据端统计的文件热度信息，把达到一定热度的文件，由慢存储介质迁移到快存储介质上。文件迁移的过程会占用系统资源，若需要迁移的文件数量较多且以小文件为主时，将这些文件一个一个的从慢存储介质读数据写入到快速存储介质，频繁的迁移会占用较多的系统资源，对分布式系统的读写性能产生影响，降低分布式文件系统的响应能力。可见，如何提升文件迁移效率，以降低文件迁移对系统资源的消耗，是本领域技术人员亟待解决的问题。
技术实现思路
本专利技术实施例的目的是提供一种数据迁移方法、装置和系统，可以提升文件迁移效率，以降低文件迁移对系统资源的消耗。为解决上述技术问题，本专利技术实施例提供一种数据迁移方法，包括：统计各文件的访问热度；依据各文件的访问热度以及存储位置，建立待迁移文件列表；判断所述待迁移文件列表的数据量是否满足预设条件；若是，则向目标客户端发送文件迁移指令，以便于所述目标客户端根据所述文件迁移指令，将所述待迁移文件列表中指向的目标文件批量迁移至指定位置。可选的，所述依据各文件的访问热度以及存储位置，建立待迁移文件列表包括：收集访问热度大于或等于预设上限值的第一初始文件；收集访问热度小于或等于预设下限值的第二初始文件；从所述第一初始文件中选取出存储位置归属于第一存储介质的第一文件，并将所述第一文件的文件标识信息加入第一待迁移文件列表中；从所述第二初始文件中选取出存储位置归属于第二存储介质的第二文件，并将所述第二文件的文件标识信息加入第二待迁移文件列表中，以完成待迁移文件列表的建立；其中，所述第一存储介质的数据读取速率低于所述第二存储介质的数据读取速率。可选的，在所述向目标客户端发送文件迁移指令之前还包括：将所述待迁移文件列表存储到日志文件中。可选的，还包括：当接收到所述目标客户端反馈的迁移完成的提示信息后，将所述待迁移文件列表从所述日志文件中删除。可选的，在所述待迁移文件列表的数据量满足预设条件之后，在所述向目标客户端发送文件迁移指令之前还包括：关闭向所述待迁移文件列表中写入文件标识信息的任务；相应的，在接收到所述目标客户端反馈的迁移完成的提示信息之后还包括：开启向所述待迁移文件列表中写入文件标识信息的任务。本专利技术实施例还提供了一种数据迁移装置，包括统计单元、建立单元、判断单元和发送单元；所述统计单元，用于统计各文件的访问热度；所述建立单元，用于依据各文件的访问热度以及存储位置，建立待迁移文件列表；所述判断单元，用于判断所述待迁移文件列表的数据量是否满足预设条件；若是，则触发所述发送单元；所述发送单元，用于向目标客户端发送文件迁移指令，以便于所述目标客户端根据所述文件迁移指令，将所述待迁移文件列表中指向的目标文件批量迁移至指定位置。可选的，所述建立单元包括收集子单元和选取子单元；所述收集子单元，用于收集访问热度大于或等于预设上限值的第一初始文件；收集访问热度小于或等于预设下限值的第二初始文件；所述选取子单元，用于从所述第一初始文件中选取出存储位置归属于第一存储介质的第一文件，并将所述第一文件的文件标识信息加入第一待迁移文件列表中；从所述第二初始文件中选取出存储位置归属于第二存储介质的第二文件，并将所述第二文件的文件标识信息加入第二待迁移文件列表中，以完成待迁移文件列表的建立；其中，所述第一存储介质的数据读取速率低于所述第二存储介质的数据读取速率。可选的，还包括存储单元；所述存储单元，用于在所述向目标客户端发送文件迁移指令之前，将所述待迁移文件列表存储到日志文件中。可选的，还包括删除单元；所述删除单元，用于当接收到所述目标客户端反馈的迁移完成的提示信息后，将所述待迁移文件列表从所述日志文件中删除。可选的，还包括关闭单元和开启单元；所述关闭单元，用于在所述待迁移文件列表的数据量满足预设条件之后，在所述向目标客户端发送文件迁移指令之前，关闭向所述待迁移文件列表中写入文件标识信息的任务；相应的，所述开启单元，用于在接收到所述目标客户端反馈的迁移完成的提示信息之后，开启向所述待迁移文件列表中写入文件标识信息的任务。本专利技术实施例还提供了一种数据迁移方法，包括：接收元数据端发送的文件迁移指令；其中，所述文件迁移指令中携带有待迁移文件列表；依据所述待迁移文件列表中包含的文件标识信息，批量读取目标文件；将各所述目标文件进行聚合，并将聚合后的目标文件写入指定的存储介质。可选的，还包括：当完成所述待迁移文件列表中所有文件的迁移后，向所述元数据端发送迁移完成的提示信息。本专利技术实施例还提供了一种数据迁移装置，包括接收单元、读取单元和整合单元；所述接收单元，用于接收元数据端发送的文件迁移指令；其中，所述文件迁移指令中携带有待迁移文件列表；所述读取单元，用于依据所述待迁移文件列表中包含的文件标识信息，批量读取目标文件；所述整合单元，用于将各所述目标文件进行聚合，并将聚合后的目标文件写入指定的存储介质。可选的，还包括发送单元；所述发送单元，用于当完成所述待迁移文件列表中所有文件的迁移后，向所述元数据端发送迁移完成的提示信息。本专利技术实施例还提供了一种数据迁移系统，包括元数据端和目标客户端；所述元数据端，用于统计各文件的访问热度；依据各文件的访问热度以及存储位置，建立待迁移文件列表；判断所述待迁移文件列表的数据量是否满足预设条件；若是，则向目标客户端发送文件迁移指令，以便于所述目标客户端根据所述文件迁移指令，将所述待迁移文件列表中指向的目标文件批量迁移至指定位置所述目标客户端，用于接收元数据端发送的文件迁移指令；其中，所述文件迁移指令中携带有待迁移文件列表；依据所述待迁移文件列表中包含的文件标识信息，批量读取目标文件；将各所述目标文件进行聚合，并将聚合后的目标文件写入指定的存储介质。由上述技术方案可以看出，元数据端统计各文件的访问热度；依据各文件的访问热度以及存储位置，建立待迁移文件列表；当待迁移文件列表的数据量满足预设条件时，则向目标客户端发送文件迁移指令；其中，文件迁移指令中携带有待迁移文件列表。目标客户端在接收到元数据端发送的文件迁移指令后，依据待迁移文件列表中包含的文件标识信息，批量读取目标文件；并将聚合后的目标文件写入指定的存储介质，在该技术方案中，通过建立待迁移文件列表，可以将待迁移的文件进行汇总，以便于目标客户端可以将多个待迁移文件进行整合后写入指定的存储介质，减少了文件迁移的读写次数，执行一次迁移操作便可以将多个文件同时迁移到指定的存储介质，提升了文件迁移的效率，从而减少迁移过程对系统资源的消耗，提升了分布式系统读写响应速度和性能。附图说明为了更清楚地说明本专利技术实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种数据迁移方法的信令图；图2为本专利技术实施例提供的本文档来自技高网...

【技术保护点】
1.一种数据迁移方法，其特征在于，包括：统计各文件的访问热度；依据各文件的访问热度以及存储位置，建立待迁移文件列表；判断所述待迁移文件列表的数据量是否满足预设条件；若是，则向目标客户端发送文件迁移指令，以便于所述目标客户端根据所述文件迁移指令，将所述待迁移文件列表中指向的目标文件批量迁移至指定位置。

【技术特征摘要】
1.一种数据迁移方法，其特征在于，包括：统计各文件的访问热度；依据各文件的访问热度以及存储位置，建立待迁移文件列表；判断所述待迁移文件列表的数据量是否满足预设条件；若是，则向目标客户端发送文件迁移指令，以便于所述目标客户端根据所述文件迁移指令，将所述待迁移文件列表中指向的目标文件批量迁移至指定位置。2.根据权利要求1所述的方法，其特征在于，所述依据各文件的访问热度以及存储位置，建立待迁移文件列表包括：收集访问热度大于或等于预设上限值的第一初始文件；收集访问热度小于或等于预设下限值的第二初始文件；从所述第一初始文件中选取出存储位置归属于第一存储介质的第一文件，并将所述第一文件的文件标识信息加入第一待迁移文件列表中；从所述第二初始文件中选取出存储位置归属于第二存储介质的第二文件，并将所述第二文件的文件标识信息加入第二待迁移文件列表中，以完成待迁移文件列表的建立；其中，所述第一存储介质的数据读取速率低于所述第二存储介质的数据读取速率。3.根据权利要求1所述的方法，其特征在于，在所述向目标客户端发送文件迁移指令之前还包括：将所述待迁移文件列表存储到日志文件中。4.根据权利要求3所述的方法，其特征在于，还包括：当接收到所述目标客户端反馈的迁移完成的提示信息后，将所述待迁移文件列表从所述日志文件中删除。5.根据权利要求4所述的方法，其特征在于，在所述待迁移文件列表的数据量满足预设条件之后，在所述向目标客户端发送文件迁移指令之前还包括：关闭向所述待迁移文件列表中写入文件标识信息的任务；相应的，在接收到所述目标客户端反馈的迁移完成的提示信息之后还包括：开启向所述待迁移文件列表中写入文件标识信息的任务。6.一种数据迁移装置，其特征在于，包括统计单元、建立单元、判断单元和发送单元；所述统计单元，用于统计各文件的访问热度；所述建立单元，用于依据各文件...

【专利技术属性】
技术研发人员：苏志恒，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：山东,37