一种存储数据迁移的方法及其装置制造方法及图纸

技术编号:25598081 阅读:31 留言:0更新日期:2020-09-11 23:56
本发明专利技术公开了一种存储数据迁移的方法及其装置,方法步骤包括:数据客户端写入数据,ceph分布式存储系统将数据分成若干个小数据块,并存储在各个存储设备上;当需要对小数据块进行迁移时,对小数据块进行锁定,使其只能进行读取而不能写入;锁定计时器模块对各个小数据块的锁定时间进行计算,并按锁定时间从大到小对小数据块进行排序,然后锁定计时器优先把锁定时长较长的小数据块进行迁移;对已经成功迁移到新存储设备上的小数据块进行解除锁定,使其能够进行读取和写入。本发明专利技术增加锁定计时器,用于对每个需要迁移的小数据块进行锁定时长的统计,优先把锁定时长较长的小数据块进行迁移,增加小数据块的迁移效率,并降低对使用者写操作的影响。

【技术实现步骤摘要】
一种存储数据迁移的方法及其装置
本专利技术涉及数据的存储迁移
,特别涉及一种存储数据迁移的方法及其装置。
技术介绍
目前ceph像其他分布式存储一样,一般都是把一块需要存储的数据平均切分成大小相同的若干个小数据块,然后把这些小数据块根据一定的算法分散地保存在不同的存储单元之上。在ceph里面把这些小数据块以pg命名。然而,当有存储单元发生故障或者是新增了一些存储单元时,需要对现有的pg进行重新分布,使其符合ceph的分布算法(当有一个存储单元故障了,其中里面的pg将会消失,需要重新均衡;当有一个新的存储单元增加了,里面是空的,可以存放pg,所以这种情况也是需要重新均衡)。当ceph对pg进行重新均衡的时候,为了防止数据更新导致不同步,所以会把需要迁移的pg进行写保护,只能读不能写。当ceph集群需要做较大调整的时候,需要迁移的pg数量很多,因此经常会把写操作挂起,而这些pg因被锁而无法及时进行写操作,严重影响数据的写操作效率,这是目前所存在的问题。现有技术中,当数据进行迁移是没有特别的优先排队方法,只是简单本文档来自技高网...

【技术保护点】
1.一种存储数据迁移的方法,其特征在于,包括以下步骤:/nS1、当需要对小数据块进行迁移时,即对某一存储设备上的所有小数据块迁移至其他存储设备,需要对小数据块进行锁定,使其只能进行读取而不能写入;/nS2、锁定计时器模块对各个小数据块的锁定时间进行计算,并按锁定时间从大到小对小数据块进行排序,然后锁定计时器优先把锁定时长较长的小数据块进行迁移。/n

【技术特征摘要】
1.一种存储数据迁移的方法,其特征在于,包括以下步骤:
S1、当需要对小数据块进行迁移时,即对某一存储设备上的所有小数据块迁移至其他存储设备,需要对小数据块进行锁定,使其只能进行读取而不能写入;
S2、锁定计时器模块对各个小数据块的锁定时间进行计算,并按锁定时间从大到小对小数据块进行排序,然后锁定计时器优先把锁定时长较长的小数据块进行迁移。


2.根据权利要求1所述的一种存储数据迁移的方法,其特征在于,所述步骤S1前还包括步骤S0、数据客户端写入数据至ceph分布式存储系统,ceph分布式存储系统将数据分成若干个小数据块,并将小数据块分散存储在各个存储设备上。


3.根据权利要求1或2所述的一种存储数据迁移的方法,其特征在于,所述步骤S2后还包括步骤S3、对已经成功迁移到新存储设备上的小数据块进行解除锁定,使其能够进行读取和写入。
<...

【专利技术属性】
技术研发人员:麦剑史伟闵宇
申请(专利权)人:广东睿江云计算股份有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1