一种数据一致性校验方法、装置、电子设备及介质制造方法及图纸

技术编号:43242140 阅读:17 留言:0更新日期:2024-11-05 17:26
本公开提供一种数据一致性校验方法、装置、电子设备及介质,涉及云计算技术领域,通过在当前时间满足第一条件时,针对集群中的多个存储池中的每个存储池,获取多个归置组pg完成前序一致性校验的时间戳,并按照时间戳对多个pg进行排序,得到第一顺序;按照第一顺序,从多个pg中依次确定时间戳满足第二条件的第一pg,并将第一pg依次加入第一队列中;当第一队列不为空,且当前时间满足第一条件,按照第一pg加入第一队列的顺序依次执行第一pg的数据一致性校验。本方法以存储池为单位,按照pg上次完成校验的时间戳顺序执行对pg的数据一致性校验,实现集群中多个存储池并发、可控、有序执行,优化数据一致性校验对数据集群正常业务的影响,提高校验速度。

【技术实现步骤摘要】

本公开涉及云计算,尤其涉及一种数据一致性校验方法、装置、电子设备及介质


技术介绍

1、ceph集群中对归置组(placement group,pg)进行校验,即检测pg分布到各osd上的数据是否一致。包含两种算法:第一种为scrub,即检测数据的元信息,例如时间戳和文件大小等信息,速度快且基本不消耗磁盘;第二种为deep scrub,会额外检测数据的内容是否一致,速度慢且消耗大量磁盘读取,会造成很大的io流量,影响正常业务。ceph集群对pg执行deep scrub具有随机性,这就导致集群内执行deep scrub的并发数是不可控的,例如一段时间内集群deep scrub的pg个数很少,一段时间内集群deep scrub的pg个数很多;同时在规定的时间范围内常存在未执行deep scrub的pg,未执行deep scrub的pg将不受时间窗口和其他一些限制参数的限制,强制执行deep scrub操作,对于存在大量pg的ceph集群,pg的deep scrub不受控将给正常业务带来更大的影响。


技术实现思路</b>

本文档来自技高网...

【技术保护点】

1.一种数据一致性校验方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一条件为:所述当前时间在执行所述数据一致性校验的开始时间与结束时间之间;

3.根据权利要求2所述的方法,其特征在于,所述按照所述第一pg加入所述第一队列的顺序依次执行所述第一pg的数据一致性校验包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求3所述的方法,其特征在于,所述方法还包括:

6.根据权利要求3所述的方法,其特征在于,所述第三条件包括:所述第一pg的状态为活跃状态;所述第一pg不处于...

【技术特征摘要】

1.一种数据一致性校验方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一条件为:所述当前时间在执行所述数据一致性校验的开始时间与结束时间之间;

3.根据权利要求2所述的方法,其特征在于,所述按照所述第一pg加入所述第一队列的顺序依次执行所述第一pg的数据一致性校验包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求3所述的方法,其特征在于,所述方法还包括:

6.根据权利要求3所述的方法,其特征在于,所述第三条件包括:所述第一pg的状态为...

【专利技术属性】
技术研发人员:黄元春杨红刚
申请(专利权)人:中移苏州软件技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1