一种数据刷新方法、装置和计算机可读存储介质制造方法及图纸

技术编号:20221408 阅读:53 留言:0更新日期:2019-01-28 20:02
本发明专利技术实施例公开了一种数据刷新方法、装置和计算机可读存储介质,检测到有超级块生成时,则建立与该超级块相对应的刷新进程;判断目标超级块是否满足刷新要求;其中,目标超级块为所有超级块中的任意一个超级块。当目标超级块满足刷新要求,则可以利用与该目标超级块相对应的目标刷新进程,对目标超级块执行下刷操作。和现有技术中只依据操作系统中自带的刷新机制对所有超级块进行下刷操作相比,在该技术方案中,对于每个超级块都会建立与其相对应的刷新进程,可以结合每个超级块的实际情况执行有针对性的下刷操作,改善了当前设备向后端下刷数据的频率,减少在高带宽场景下,后端下刷操作带来的带宽波动,提升了数据下刷操作的性能。

【技术实现步骤摘要】
一种数据刷新方法、装置和计算机可读存储介质
本专利技术涉及分布式存储
,特别是涉及一种数据刷新方法、装置和计算机可读存储介质。
技术介绍
分布式存储在高性能领域一般使用自己独立设计的内核客户端,一般内核客户端性能是比较高的,内核客户端在设计时为了稳定性一般采用linux内核自带的刷新机制。刷新机制指的是对客户端写入的数据执行落盘操作,即将这些数据存储至相应的磁盘中。一台机器上往往运行有各种应用,操作系统自带的刷新机制可以按照周期时间或者数据量等条件对机器上的各应用进行下刷操作。以数据量为例,操作系统自带的刷新机制是对所有应用中的总数据量进行检测,当总数据量达到预设值时,则对各应用所对应的数据进行下刷操作。在实际操作中,不同的应用所对应的数据量不尽相同,可能会出现某个或某些应用的数据量已经超过其对应的数据上限值,但是所有应用对应的总数据量仍未达到预设值的情况,此时操作系统未达到执行下刷操作的条件,不会对各应用的数据执行下刷操作,从而导致已经达到数据上限值的应用无法接收新写入的数据。并且不同应用所对应的数据量不同,操作系统执行下刷操作时,往往会产生较大的带宽波动,甚至发生数据丢包的本文档来自技高网...

【技术保护点】
1.一种数据刷新的方法,其特征在于,包括:检测到有超级块生成时,则建立与所述超级块相对应的刷新进程;判断目标超级块是否满足刷新要求;若是,则利用目标刷新进程对所述目标超级块执行下刷操作;其中,所述目标超级块为所有所述超级块中的任意一个超级块;所述目标刷新进程为与所述目标超级块相对应的刷新进程。

【技术特征摘要】
1.一种数据刷新的方法,其特征在于,包括:检测到有超级块生成时,则建立与所述超级块相对应的刷新进程;判断目标超级块是否满足刷新要求;若是,则利用目标刷新进程对所述目标超级块执行下刷操作;其中,所述目标超级块为所有所述超级块中的任意一个超级块;所述目标刷新进程为与所述目标超级块相对应的刷新进程。2.根据权利要求1所述的方法,其特征在于,所述判断目标超级块是否满足刷新要求包括:判断所述目标超级块的数据量是否大于或等于预设上限值;或判断所述目标超级块的空间占用率是否大于或等于预设阈值;或判断所述目标超级块的下刷时间间隔是否大于或等于预设时间值。3.根据权利要求1或2所述的方法,其特征在于,在所述利用目标刷新进程对所述目标超级块执行下刷操作之前还包括:判断所述目标超级块是否正在执行系统自带的下刷操作;若否,则执行所述利用目标刷新进程对所述目标超级块执行下刷操作的步骤;若是,则等待所述下刷操作完成后,再执行所述判断目标超级块是否满足刷新要求的步骤。4.根据权利要求1所述的方法,其特征在于,还包括:记录对各所述超级块执行下刷操作时带宽的波动值;依据所述波动值,对所述刷新要求中包含的参数值进行调整;其中所述参数值包括预设上限值、预设阈值或预设时间值。5.一种数据刷新的装置,其特征在于,包括建立单元、判断单元和执行单元;所述建立单元,用于检测到有超级块生成时,则建立与所述超级块相对应的刷新进程;所述判断单元,用于判断目标超级块是否满足刷新要求;若是,则触发所...

【专利技术属性】
技术研发人员:李杰张在贵
申请(专利权)人:郑州云海信息技术有限公司
类型:发明
国别省市:河南,41

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1