一种数据迁移方法和装置制造方法及图纸
Data migration method and device
A data transfer method and apparatus disclosed, including data migration method: from metadata to find the data unit transfer conditions, obtain the data unit key key, slice key value key value where the source node identification, storage and storage pool identity, wherein each key corresponds to a the value of value; from the objective to storage pool storage pool identified representatives, for the purpose of selecting a storage node to store the key value instruction; the source storage node using the key to obtain the key value from the source storage node, the key value was sent to the purpose of the storage node. This scheme reduces the data transfer to the resource occupation.
【技术实现步骤摘要】
一种数据迁移方法和装置
本专利技术涉及计算存储领域，特别涉及一种数据迁移方法和装置。
技术介绍
分布式存储系统可以提供分级存储功能：将存储空间划分为不同的存储级别，根据文件的优先级把文件存放在不同的存储级别上，满足用户对文件处理速度、传输带宽和存储容量的多样需求，以达到合理利用存储空间、提升存储系统访问性能、降低总体部署成本的目的。现有技术中，把文件写入存储系统的一种典型做法是；先把文件写入高性能存储介质；扫描符合条件的文件(比如创建超过一段时间，或者少于一定访问量的文件)，把符合条件的文件重新读取出来，迁移到低成本的存储介质中。把符合条件的文件读出，以及再写入新的存储介质的这一个过程需要耗费存储系统的资源。例如采用数据打散+EC计算冗余的方式进行数据存储的存储系统中。其分级存储的具体做法是：首先要把一个文件的全部分片从高性能存储器中读到主机中，然后进行EC校验，在校验成功后，再由主机把文件再次拆分成分片，把拆分获得的文件分片写入低性能的存储器。参见附图1，先把位于第一存储池的文件分片读出，主机把读到的分片进行校验并生成文件，然后重新把我文件打散成分片，写入第二存...
【技术保护点】
一种数据迁移方法，该方法包括：从元数据中查找满足迁移条件的数据单元，获得所述数据单元的分片的键key、键‑值key‑value所在的源存储节点标识、以及目的存储池标识，其中，每个键对应一个值value；从所述目的存储池标识代表的目的存储池中，选择用于存储所述key‑value的目的存储节点；指令所述源存储节点使用所述key从所述源存储节点获得所述key‑value，把获得的所述key‑value发送给所述目的存储节点。
【技术特征摘要】
1.一种数据迁移方法，该方法包括：从元数据中查找满足迁移条件的数据单元，获得所述数据单元的分片的键key、键-值key-value所在的源存储节点标识、以及目的存储池标识，其中，每个键对应一个值value；从所述目的存储池标识代表的目的存储池中，选择用于存储所述key-value的目的存储节点；指令所述源存储节点使用所述key从所述源存储节点获得所述key-value，把获得的所述key-value发送给所述目的存储节点。2.根据权利要求1所述的数据迁移方法，其中，迁移条件包括条件中的至少一个：数据单元的创建时间、数据单元的大小、数据单元名称、数据单元所在存储池。3.根据权利要求1所述的数据迁移方法，其中：所述源存储节点所在的存储池和所述目的存储池提供的存储性能不同。4.根据权利要求1所述的数据迁移方法，其中：源存储节点在需要读取和所述key-value相邻的数据时，执行把所述key-value发送给所述目的存储节点的操作。5.根据权利要求1所述的数据迁移方法，其中，所述数据单元是下面其中一种：文件、对象、块或者文件的一部分。6.一种数据迁移装置，该装置包括...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。