一种分布式存储系统控制方法、装置及可读存储介质制造方法及图纸

技术编号:33862813 阅读:28 留言:0更新日期:2022-06-18 10:53
本申请公开一种分布式存储系统控制方法、装置及可读存储介质,涉及信息技术领域。本申请所提供的分布式存储系统控制方法,通过在配置完成后,将节点中的主副本的副本数据以及从副本的副本数据均写入日志中,同时通过日志完成数据存储指令的传输以及存储数据的写入,在主副本的存储数据写入完成后,反馈确认字符给客户端,客户端接收到确认字符后,进行从副本存储数据的写入,与以往采取同步主副本及从副本的方法相比,本申请中通过日志进行的数据写入,因此,该过程对客户端与主副本进程,从副本进程间的存储数据写入过程是异步操作,无需同现有方式等待主副本及从副本的写入完成后的响应,从而大幅度降低了数据写入的时间成本。从而大幅度降低了数据写入的时间成本。从而大幅度降低了数据写入的时间成本。

【技术实现步骤摘要】
一种分布式存储系统控制方法、装置及可读存储介质


[0001]本申请涉及信息
,特别是涉及一种分布式存储系统控制方法、装置及可读存储介质。

技术介绍

[0002]近年来,随着云计算、数字化转型,产生的数据量呈指数级增长,因此,对海量数据存储有新的技术要求,因此分布式存储系统的应用越来越广,为了保证数据的安全性,防止数据丢失,现有的分布式存储系统的数据写入通常采取主从副本复制方法,通过同步主从副本中的数据内容,从而达到对数据进行存储。
[0003]现有的分布式存储系统控制方法,数据对象经过转储文件分析工具(Crash)在程序编译时加入地址(MAP)文件,并且通过定位行号从而计算出要传入规则组(Placement Grouops,PG)后,先对主副本进行写入,然后经过主副本将数据复制到从副本,从副本数据复制完成后通知主副本,当所有的从副本复制写入完成并通知主副本完成写入后,主副本才响应客户端,本次写入完成,因此,在副本同步复制达到一致性的过程,客户端的请求是处于等待阻塞状态的,会增加数据一致性同步过程的时延成本。r/>[0004]鉴本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式存储系统控制方法,其特征在于,包括:对分布式存储系统中的目标节点进行初始配置,其中,所述目标节点为所述分布式存储系统中的一个节点;在所述目标节点接收到数据存储请求后,将所述目标节点的主副本的副本数据以及从副本的副本数据写入日志中,并将所述数据存储请求记录在所述日志中;根据所述数据存储请求,将存储数据写入所述日志中,通过所述日志将所述存储数据写入所述主副本中并进行落盘;当所述存储数据落盘成功后,控制所述主副本反馈确认字符给客户端;在所述客户端接收到所述确认字符后,将所述存储数据写入到所述从副本中并进行落盘。2.根据权利要求1所述的分布式存储系统控制方法,其特征在于,在所述根据所述数据存储请求,将存储数据写入所述日志中,通过所述日志将所述存储数据写入主副本中并进行落盘之前,还包括:将所述存储数据写入备份日志中,其中,所述备份日志为通过单独分区挂载,保存在固态存储硬盘中的日志;当将所述存储数据写入到所述从副本中并进行落盘过程中出现故障时,从所述备份日志中提取所述存储数据复制到替补主副本中;将所述替补主副本中的所述存储数据复制到所述从副本中;当所述存储数据写入到所述从副本中并进行落盘过程中未出现故障时,则进入所述将所述存储数据写入到所述从副本中并进行落盘的步骤。3.根据权利要求1所述的分布式存储系统控制方法,其特征在于,在所述对分布式存储系统中的目标节点进行初始配置之前,还包括:检测不同节点的节点资源,所述节点资源包括所述节点的内存使用率与CPU使用率,副本进程磁盘的unit比例;根据所述节点资源,生成各所述节点的权重值,其中,所述节点资源中的所述内存使用率、所述CPU使用率和所述副本进程磁盘的unit比例均与所述权重值负相关;根据各所述节点的所述权重值,确定各所述节点中的请求响应顺序,其中,所述权重值与所述请求响应顺序正相关;选取所述权重值最高的节点为所述目标节点。4.根据权利要求1所述的分布式存储系统控制方法,其特征在于,还包括:每隔预设时间,根据所述存储数据的落盘情况删除部分或全部所述日志。5.根...

【专利技术属性】
技术研发人员:臧林劼
申请(专利权)人:苏州浪潮智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1