一种低延迟的分布式元数据服务迁移方法和系统技术方案

本发明专利技术涉及一种低延迟的分布式元数据服务迁移方法和系统，包括：获取分布式元数据服务迁出端，获取分布式元数据服务迁入端，将迁出端的状态设置为“元数据迁移”，并将迁入端的状态设置为“元数据接收”，迁出端导出被迁移子卷至迁入端；迁出端修改被迁移子卷的状态为“状态迁移”，迁出端将被迁移子卷中文件的状态复制到迁入端；迁入端在本地元数据服务器映射表更新被迁移子卷对应的表项为“本地”，迁出端在本地元数据服务器映射表更新被迁移子卷对应的表项为“非本地”，迁出端本地卸载被迁移子卷。由此本发明专利技术在进行分布式元数据服务迁移过程分阶段后，可以在不同阶段响应不同类型的分布式元数据服务请求。

A Low Delay Distributed Metadata Service Migration Method and System

The present invention relates to a low-latency migration method and system for distributed metadata services, which includes: acquiring the migration end of distributed metadata services, acquiring the migration end of distributed metadata services, setting the status of the migration end to \metadata migration\, setting the status of the migration end to \metadata reception\, exporting the migration end to be rolled into the migration end, and modifying the migration end. The status of the migrated subvolume is \state migration\, and the migrating end copies the status of the files in the migrated subvolume to the migrating end; the migrating end updates the table entries corresponding to the migrated subvolume in the local metadata server mapping table as \local\; the migrating end updates the table entries corresponding to the migrated subvolume in the local metadata server mapping table as \non-local\; and the migrating end unloads the migrated subvolume locally. \u3002 The invention can respond to different types of distributed metadata service requests at different stages after the migration process of distributed metadata service is divided into stages.

【技术实现步骤摘要】
一种低延迟的分布式元数据服务迁移方法和系统
本专利技术涉及计算机存储领域，特别涉及一种低延迟的分布式元数据服务迁移方法和系统。
技术介绍
分布式元数据服务迁移机制的本质是元数据集合管理权限的切换以及迁移过程中的元数据一致性的保证。当发生元数据服务迁移时，分布式元数据服务提供方(迁出端)需要等到自身的元数据与状态数据完全迁移到分布式元数据服务的迁入端之后，才能够对分布式元数据服务请求方提供分布式元数据服务，该方法存在GraceTime延迟问题。GraceTime是迁入端等待所有客户端完成状态恢复的最小时间。在该迁移方法中，迁入端必须要等待所有客户端完成状态恢复之后才能提供正常元数据服务。其原因在于，如果某个客户端没有完成一些锁状态的恢复，而这个时候其他客户端对锁状态对应的元数据进行访问的话将可能导致不一致的共享访问。pNFS是NFSv4的高性能增强，它在保持了NFSv4操作系统和硬件平台独立的同时又提供了对并行文件系统的直接存储访问。在pNFS中GraceTime设置为90s，这是在很多应用环境中是无法容忍的。Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统。对于各个典型系统的元数据迁移方法，在迁移透明性方面，Ceph透明性良好，而StorageTank(存储池)透明性差，应用需中断。在迁移延迟方面，我们仅考虑迁移透明的系统。子卷粒度版本蓝鲸集群文件系统系统存在GraceTime，延迟巨大，而Ceph相对较快，但是也存在一些不足导致延迟过高。Ceph采用了两阶段提交协议来保证迁移过程的一致性，需要在迁入端大量记录日志，相当耗时。基于分布式元数据服务迁移的本质，参考以上各种典型系统的迁移原理，结合研究平台细粒度版本的蓝鲸集群文件系统原型系统的结构特点，本专利技术拟实现一个适用于细粒度版本的蓝鲸集群文件系统平台系统结构的，基于元数据服务迁移框架的，低延迟的分布式元数据服务迁移机制。
技术实现思路
为了解决上述技术问题，本专利技术在原有的蓝鲸集群文件系统(BWFS)细粒度版本的分布式元数据服务迁移机制基础上，提出了结合分布式元数据服务迁移各阶段的迁移子卷的状态，对分布式元数据操作进行分类处理的方法，解决了分布式元数据服务迁移延迟过高的问题，提供了一种低延迟的分布式元数据服务迁移机制。具体地说，本专利技术公开了一种低延迟的分布式元数据服务迁移方法，其中包括：步骤1、获取分布式元数据服务迁出端，作为迁出端，获取分布式元数据服务迁入端，作为迁入端，将该迁出端的状态设置为“元数据迁移”，并将该迁入端的状态设置为“元数据接收”，该迁出端导出被迁移子卷至该迁入端；步骤2、该迁出端修改该被迁移子卷的状态为“状态迁移”，该迁出端将该被迁移子卷中文件的状态复制到该迁入端；步骤3、该迁入端在本地元数据服务器映射表更新该被迁移子卷对应的表项为“本地”，该迁出端在本地元数据服务器映射表更新该被迁移子卷对应的表项为“非本地”，该迁出端本地卸载该被迁移子卷。该低延迟的分布式元数据服务迁移方法，其中该步骤1还包括：将该迁出端的状态设置为“元数据迁移”后，进行该被迁移子卷的元数据的下刷，该迁入端挂载该被迁移子卷，该迁入端修改该被迁移子卷的分布式日志的状态为NORMAL，该迁出端导出被迁移子卷至该迁入端后，该迁入端修改该被迁移子卷的状态为“本地”；该步骤2还包括：该迁出端将该被迁移子卷中文件的状态通过远程过程调用复制到该迁入端；该步骤3还包括：该迁出端修改该被迁移子卷的状态为“不在本地”，该迁出端释放该被迁移子卷中文件的状态。该低延迟的分布式元数据服务迁移方法，其中当该步骤1正在执行且收到分布式元数据写请求时，返回给服务请求方第一错误码和该迁入端的IP，该服务请求方创建远程服务调用客户端，然后等待数据迁移结束；当该步骤2正在执行且收到该服务请求方重试的写请求后，返回给该服务请求方第二错误码，该服务请求方得知元数据迁移完毕，根据该迁入端的IP，将该写请求发送到该迁入端。该低延迟的分布式元数据服务迁移方法，其中当该步骤2正在执行且收到分布式元数据写请求时，返回给该服务请求方第二错误码和该迁入端的IP，该服务请求方根据该迁入端的IP，将该写请求发送到该迁入端。该低延迟的分布式元数据服务迁移方法，其中当该步骤3正在执行且收到分布式元数据写请求时，返回给服务请求方第三错误码和迁入端的IP，该服务请求方根据该迁入端的IP创建该迁入端的rpcclient，以将该写请求重定向发送到该迁入端。该低延迟的分布式元数据服务迁移方法，其中当该步骤1正在执行且收到分布式元数据读请求时，响应该读请求并返回该迁入端的IP，服务请求方收到该迁入端的IP后，更新本地元数据服务器映射表中该迁移子卷所在的IP。该低延迟的分布式元数据服务迁移方法，其中当该步骤2正在执行且收到分布式元数据读请求时，返回给服务请求方第二错误码和该迁入端的IP，服务请求方根据该迁入端的IP创建迁入端的rpcclient，以将该读请求重定向发送到该迁入端。该低延迟的分布式元数据服务迁移方法，其中当该步骤3正在执行且收到分布式元数据读请求时，返回给服务请求方第三错误码和该迁入端的IP。服务请求方根据该迁入端的IP创建该迁入端的rpcclient，以将该读请求重定向发送到该迁入端。本专利技术还公开了一种低延迟的分布式元数据服务迁移系统，其中包括：元数据迁移模块，用于获取分布式元数据服务迁出端，作为迁出端，获取分布式元数据服务迁入端，作为迁入端，将该迁出端的状态设置为“元数据迁移”，并将该迁入端的状态设置为“元数据接收”，该迁出端导出被迁移子卷至该迁入端；状态迁移模块，用于使该迁出端修改该被迁移子卷的状态为“状态迁移”，该迁出端将该被迁移子卷中文件的状态复制到该迁入端；卸载模块，用于使该迁入端在本地mds_table更新该被迁移子卷对应的表项为“本地”，该迁出端在本地mds_table更新该被迁移子卷对应的表项为“非本地”，该迁出端本地卸载该被迁移子卷。该低延迟的分布式元数据服务迁移系统，其中该元数据迁移模块还包括：将该迁出端的状态设置为“元数据迁移”后，进行该被迁移子卷的元数据的下刷，该迁入端挂载该被迁移子卷，该迁入端修改该被迁移子卷的分布式日志的状态为NORMAL，该迁出端导出被迁移子卷至该迁入端后，该迁入端修改该被迁移子卷的状态为“本地”；该状态迁移模块还包括：该迁出端将该被迁移子卷中文件的状态通过远程过程调用复制到该迁入端；该卸载模块还包括：该迁出端修改该被迁移子卷的状态为“不在本地”，该迁出端释放该被迁移子卷中文件的状态；其中，当该元数据迁移模块正在运行且收到分布式元数据写请求时，返回给服务请求方第一错误码和该迁入端的IP，该服务请求方创建远程服务调用客户端，然后等待数据迁移结束；当该状态迁移模块正在运行且收到该服务请求方重试的写请求后，返回给该服务请求方第二错误码，该服务请求方得知元数据迁移完毕，根据该迁入端的IP，将该写请求发送到该迁入端；当该状态迁移模块正在运行且收到分布式元数据写请求时，返回给该服务请求方第二错误码和该迁入端的IP，该服务请求方根据该迁入端的IP，将该写请求发送到该迁入端；当该卸载模块正在运行且收到分布式元数据写请求时，返回给服务请求方第三错误码和迁入端的IP，该服务请求方根据本文档来自技高网...

【技术保护点】
1.一种低延迟的分布式元数据服务迁移方法，其特征在于，包括：步骤1、获取分布式元数据服务迁出端，作为迁出端，获取分布式元数据服务迁入端，作为迁入端，将该迁出端的状态设置为“元数据迁移”，并将该迁入端的状态设置为“元数据接收”，该迁出端导出被迁移子卷至该迁入端；步骤2、该迁出端修改该被迁移子卷的状态为“状态迁移”，该迁出端将该被迁移子卷中文件的状态复制到该迁入端；步骤3、该迁入端在本地元数据服务器映射表更新该被迁移子卷对应的表项为“本地”，该迁出端在本地元数据服务器映射表更新该被迁移子卷对应的表项为“非本地”，该迁出端本地卸载该被迁移子卷。

【技术特征摘要】
1.一种低延迟的分布式元数据服务迁移方法，其特征在于，包括：步骤1、获取分布式元数据服务迁出端，作为迁出端，获取分布式元数据服务迁入端，作为迁入端，将该迁出端的状态设置为“元数据迁移”，并将该迁入端的状态设置为“元数据接收”，该迁出端导出被迁移子卷至该迁入端；步骤2、该迁出端修改该被迁移子卷的状态为“状态迁移”，该迁出端将该被迁移子卷中文件的状态复制到该迁入端；步骤3、该迁入端在本地元数据服务器映射表更新该被迁移子卷对应的表项为“本地”，该迁出端在本地元数据服务器映射表更新该被迁移子卷对应的表项为“非本地”，该迁出端本地卸载该被迁移子卷。2.如权利要求1所述的低延迟的分布式元数据服务迁移方法，其特征在于，该步骤1还包括：将该迁出端的状态设置为“元数据迁移”后，进行该被迁移子卷的元数据的下刷，该迁入端挂载该被迁移子卷，该迁入端修改该被迁移子卷的分布式日志的状态为NORMAL，该迁出端导出被迁移子卷至该迁入端后，该迁入端修改该被迁移子卷的状态为“本地”；该步骤2还包括：该迁出端将该被迁移子卷中文件的状态通过远程过程调用复制到该迁入端；该步骤3还包括：该迁出端修改该被迁移子卷的状态为“不在本地”，该迁出端释放该被迁移子卷中文件的状态。3.如权利要求2所述的低延迟的分布式元数据服务迁移方法，其特征在于，当该步骤1正在执行且收到分布式元数据写请求时，返回给服务请求方第一错误码和该迁入端的IP，该服务请求方创建远程服务调用客户端，然后等待数据迁移结束；当该步骤2正在执行且收到该服务请求方重试的写请求后，返回给该服务请求方第二错误码，该服务请求方得知元数据迁移完毕，根据该迁入端的IP，将该写请求发送到该迁入端。4.如权利要求2所述的低延迟的分布式元数据服务迁移方法，其特征在于，当该步骤2正在执行且收到分布式元数据写请求时，返回给该服务请求方第二错误码和该迁入端的IP，该服务请求方根据该迁入端的IP，将该写请求发送到该迁入端。5.如权利要求2所述的低延迟的分布式元数据服务迁移方法，其特征在于，当该步骤3正在执行且收到分布式元数据写请求时，返回给服务请求方第三错误码和迁入端的IP，该服务请求方根据该迁入端的IP创建该迁入端的rpcclient，以将该写请求重定向发送到该迁入端。6.如权利要求2所述的低延迟的分布式元数据服务迁移方法，其特征在于，当该步骤1正在执行且收到分布式元数据读请求时，响应该读请求并返回该迁入端的IP，服务请求方收到该迁入端的IP后，更新本地元数据服务器映射表中该迁移子卷所在的IP。7.如权利要求2所述的低延迟的分布式元数据服务迁移方法，其特征在于，当该步骤2正在执行且收到分布式元数据读请求时，返回给服务请求方第二错误码和该迁入端的IP，服务请求方根据该迁入端的IP创建迁入端的rpcclient，以将该读请求重定向发送到该迁入端。8.如权利要求2所述的低延迟的分布式元数据服务迁移方法，其特征在于，当该步骤3正在执行且收到分布...

【专利技术属性】
技术研发人员：马建辉，孙丹琦，刘健，张强，王一宇，卢森，邵冰清，许鲁，
申请(专利权)人：中国科学院计算技术研究所，天津中科蓝鲸信息技术有限公司，
类型：发明
国别省市：北京,11