分布式存储系统中存储节点的数据更新方法技术方案

技术编号:36934336 阅读:29 留言:0更新日期:2023-03-22 18:56
本发明专利技术公开了分布式存储系统中存储节点的数据更新方法,该方法采用数据更新系统,该系统包括数据更新模块、弱中心节点、分布式节点,所述弱中心节点与数据更新模块相连接,所述数据更新模块与分布式节点相连接,所述数据更新模块包括互相传输端、最终备份端、直接备份端,所述互相传输端将相邻的分布式节点彼此连接,与弱中心节点最近的分布式节点通过最终备份端相连接;所述数据更新模块用于更新新产生的数据,所述弱中心节点用于集中对新产生出来的数据进行集中压缩存储,所述分布式节点用于以去中心化的方式存储数据,所述互相传输端用于使数据收发端口在其服务器运行,本发明专利技术,具有使用成本低的特点。具有使用成本低的特点。具有使用成本低的特点。

【技术实现步骤摘要】
分布式存储系统中存储节点的数据更新方法


[0001]本专利技术涉及数字信息传输
,具体为分布式存储系统中存储节点的数据更新方法。

技术介绍

[0002]分布式存储是一种数据存储技术,通过网络使用企业中的每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散的存储在企业的各个角落。在分布式存储系统中,往往将一台服务器或者服务器上运行的一个进程称为一个节点,节点与节点之间通过网络互联,以此完成数据的更新。然而,服务节点和网络之间通信可能会出现各种异常。引发通信异常的原因可能是消息丢失、消息乱序或者网络包数据错误。
[0003]由于异常的存在,分布式存储系统设计时往往将数据冗余存储多份,每一份称为一个副本。这样,当一个节点出现故障时,可以从其他副本上读取数据。但现有的冗余方法是统一备份,这种方法需要占用大量服务器内存,使用成本高。因此,设计使用成本低的分布式存储系统中存储节点的数据更新方法是很有必要的。

技术实现思路

[0004]本专利技术的目的在于提供分布式存储系统中存储节点的数据更新方法,以解决本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.分布式存储系统中存储节点的数据更新方法,其特征在于:该方法采用数据更新系统,该系统包括数据更新模块、弱中心节点、分布式节点,所述弱中心节点与数据更新模块相连接,所述数据更新模块与分布式节点相连接,所述数据更新模块包括互相传输端、最终备份端、直接备份端,所述互相传输端将相邻的分布式节点彼此连接,与弱中心节点最近的分布式节点通过最终备份端相连接;所述数据更新模块用于更新新产生的数据,所述弱中心节点用于集中对新产生出来的数据进行集中压缩存储,所述分布式节点用于以去中心化的方式存储数据,所述互相传输端用于使数据收发端口在其服务器运行,所述最终备份端用于为数据的更新提供存储方式的具体信息,所述直接备份端用于以直接备份的方式进行数据更新。2.根据权利要求1所述的分布式存储系统中存储节点的数据更新方法,其特征在于:所述数据更新模块包括数据量统计模块、直接备份判定模块、分布式备份判定模块、分布式备份开启模块、数据压缩模块、数据筛选模块,所述分布式备份开启模块和数据压缩模块分别与分布式备份判定模块电连接,所述数据压缩模块与数据筛选模块电连接;所述数据量统计模块用于计算待分配节点储存量端数据占用空间,所述直接备份判定模块用于控制直接备份并传输新产生的数据,所述分布式备份判定模块用于控制互相传输端上的数据收发端口进行新产生的数据进行传输,所述分布式备份开启模块用于对数据收发端口的工作进行开启,所述数据压缩模块用于对分布式节点内的刚产生出来的数据进行压缩减小占用空间,所述数据筛选模块用于根据每个直接备份端的存储占用空间对数据存储方式进行分配。3.根据权利要求2所述的分布式存储系统中存储节点的数据更新方法,其特征在于:包括以下具体步骤:S0、建立各个分布式节点,在分布式节点与弱中心节点的之间建立数据更新模块的互相传输端、最终备份端、直接备份端;S1、利用直接备份判定模块启动直接备份端,利用数据压缩模块将新产生出来的数据发送至直接备份端上,并且利用数据量统计模块对直接备份储存的数据占用空间进行实时统计,此时分布式备份判定模块处于未开启状态;S2、当判定出节点储存量出现超过允许占用空间现象时,启动分布式备份判定模块,对直接备份端储存的数据进行区分,并将多余的数据利用数据压缩模块放入数据收发端口进行二次分配;S3、当所有直接备份端的判定出节点储存量均超过允许占用空间现象时,启动分布式备份判定模块,在数据收发端口堆栈溢出数据后,使得数据收发端口发送数据到最终备份端处进行最终备份更新;S4、将超过允许占用空间的数据运送给其他未进行超过允许占用空间的直接备份端,按照各自的允许占用空间进行数据存储工作的分配,使多个直接备份端进行协同存储,将数据存储方式信息运送给弱中心节点,数据更新时,首先在弱中心节点定位修改的数据地址位于哪几个分布式节点,然后进行更新。4.根据权利要求3所述的分...

【专利技术属性】
技术研发人员:杜舰宇周毅林莽
申请(专利权)人:北京派网软件有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1