一种退服节点的数据备份方法及装置制造方法及图纸

本发明专利技术实施例公开了一种退服节点的数据备份方法及装置。一种退服节点的数据备份方法，应用于待退服从属节点，该方法包括：向主节点发送退服消息；接收主节点发送的通知消息；根据通知消息，对存储于本地的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点，其中，通知消息中携带有备份目标节点的标识，备份目标节点为：主节点为待退服从属节点中需要制作副本的数据块分配的非待退服从属节点。应用上述技术方案，由于本发明专利技术中的待退服从属节点能够对本地的、需要制作副本的数据块进行合并，并将合并得到的数据一次性发送给备份目标节点，因此减少了网路连接次数，降低了网络开销。

【技术实现步骤摘要】
【专利摘要】本专利技术实施例公开了一种退服节点的数据备份方法及装置。一种退服节点的数据备份方法，应用于待退服从属节点，该方法包括：向主节点发送退服消息；接收主节点发送的通知消息；根据通知消息，对存储于本地的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点，其中，通知消息中携带有备份目标节点的标识，备份目标节点为：主节点为待退服从属节点中需要制作副本的数据块分配的非待退服从属节点。应用上述技术方案，由于本专利技术中的待退服从属节点能够对本地的、需要制作副本的数据块进行合并，并将合并得到的数据一次性发送给备份目标节点，因此减少了网路连接次数，降低了网络开销。【专利说明】一种退服节点的数据备份方法及装置
本专利技术涉及分布式存储
，特别涉及一种退服节点的数据备份方法及装 置。
技术介绍
随着互联网行业信息化程度的不断提高，全球数据日益膨胀。面对当前PB数量级 的海量数据存储需求，传统的基于存储服务器存放所有数据的存储系统，在容量和性能的 扩展上存在瓶颈。分布式存储系统以其扩展性强、性价比高、容错性好等优势得到了业界的 广泛认同。 分布式存储系统对故障或老旧从属节点进行退服时，需要利用复制的方式，对待 退服从属节点上的数据制作副本，并将制作的副本发送到该系统的非待退服从属节点上， 以满足系统对数据冗余度的要求。如Hadoop HDFS/MooseFS默认每个数据块需要有3个 副本，当退服datanode时，首先需要对该datanode中的数据制作3个副本，之后将制作的 副本发送到3个非待退服的datanode上；其中，分布式存储系统中的数据通常是以数据块 block为单位进行存储的。 现有技术中，分布式存储系统中待退服从属节点是以单个数据块为复制单位，逐 个对本地中的数据块制作副本，并将制作的副本逐个发送到非待退服从属节点上。 然而，当本地中存储有大量数据块时，待退服从属节点需要对每个数据块制作副 本，并将制作的大量副本逐个发送到非待退服从属节点上。每进行一次数据块的发送都需 要建立网络连接，发送多个数据块就需要建立多次网络连接，网络开销较大。
技术实现思路
为了解决上述问题，本专利技术实施例公开了一种退服节点的数据备份方法及装置， 具体技术方案如下： -种退服节点的数据备份方法，应用于分布式存储系统中的待退服从属节点，所 述分布式存储系统包括：一个主节点和若干从属节点，所述从属节点中包括至少一个待退 服从属节点，和至少一个非待退服从属节点，所述方法包括： 向所述主节点发送退服消息； 接收所述主节点发送的通知消息，其中，所述通知消息中携带有备份目标节点的 标识，所述备份目标节点为：所述主节点为待退服从属节点中需要制作副本的数据块分配 的非待退服从属节点； 根据所述通知消息，对存储于本地的、对应于同一备份目标节点的数据块进行合 并，并将合并得到的数据发送给对应于该数据的备份目标节点。 可选的，所述通知消息还携带有压缩参数； 所述根据所述通知消息，对存储于本地的、对应于同一备份目标节点的数据块进 行合并，并将合并得到的数据发送给对应于该数据的备份目标节点，包括： 根据所述通知消息，对存储于本地的、对应于同一备份目标节点的数据块进行整 合，对每组整合结果进一步压缩后，将压缩得到的数据发送给对应于该数据的备份目标节 点。 可选的，所述方法还包括： 向所述主节点发送反馈信息，所述反馈信息表示所述合并得到的数据是否成功发 送给对应该数据的备份目标节点。 一种退服节点的数据备份方法，应用于分布式存储系统中的主节点，所述分布式 存储系统包括：一个主节点和若干从属节点，所述从属节点中包括至少一个待退服从属节 点，和至少一个非待退服从属节点，所述方法包括： 接收待退服从属节点发送的退服消息； 根据接收到的退服消息，确定所述待退服从属节点中需要制作副本的数据块； 根据所确定的结果，为需要制作副本的每个数据块分配备份目标节点，其中，所述 备份目标节点为：系统中的非待退服从属节点； 根据所述分配结果，生成携带有备份目标节点标识的通知消息；其中，所述通知消 息用于控制所述待退服从属节点，对存储于该待退服从属节点的、对应于同一备份目标节 点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点； 将所生成的通知消息发送给所述待退服从属节点。 可选的，所述通知消息还携带有压缩参数； 所述通知消息用于控制所述待退服从属节点，对存储于该待退服从属节点的、对 应于同一备份目标节点的数据块进行整合，对每组整合结果进一步压缩后，将压缩得到的 数据发送给对应于该数据的备份目标节点。 -种退服节点的数据备份装置，应用于分布式存储系统中的待退服从属节点，所 述分布式存储系统包括：一个主节点和若干从属节点，所述从属节点中包括至少一个待退 服从属节点，和至少一个非待退服从属节点，所述装置包括： 第一消息发送模块，用于向所述主节点发送退服消息； 第一消息接收模块，用于接收所述主节点发送的通知消息，其中，所述通知消息中 携带有备份目标节点的标识，所述备份目标节点为：所述主节点为待退服从属节点中需要 制作副本的数据块分配的非待退服从属节点； 数据发送模块，用于根据所述第一消息接收模块接收到的通知消息，对存储于本 地的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该 数据的备份目标节点。 可选的，所述通知消息还携带有压缩参数； 所述数据发送模块，具体用于： 根据所述通知消息，对存储于本地的、对应于同一备份目标节点的数据块进行整 合，对每组整合结果进一步压缩后，将压缩得到的数据发送给对应于该数据的备份目标节 点。 可选的，所述装置还包括： 反馈信息发送模块，用于向所述主节点发送反馈信息，所述反馈信息表示所述数 据发送模块是否将合并得到的数据成功发送给对应该数据的备份目标节点。 -种退服节点的数据备份装置，应用于分布式存储系统中的主节点，所述分布式 存储系统包括：一个主节点和若干从属节点，所述从属节点中包括至少一个待退服从属节 点，和至少一个非待退服从属节点，所述装置包括： 第二消息接收模块，用于接收待退服从属节点发送的退服消息； 信息确定模块，根据所述第二消息接收模块接收到的退服消息，确定所述待退服 从属节点中需要制作副本的数据块； 节点分配模块，用于根据所述信息确定模块确定的结果，为需要制作副本的每个 数据块分配备份目标节点，其中，所述备份目标节点为：系统中的非待退服从属节点； 消息生成模块，用于根据所述节点分配模块的分配结果，生成携带有备份目标节 点标识的通知消息；其中，所述通知消息用于控制所述待退服从属节点，对存储于该待退服 从属节点的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对 应于该数据的备份目标节点； 第二消息发送模块，用于将所述消息生成模块生成的通知消息发送给所述待退服 从属节点。 可选的，所述通知消息还携带有压缩参数； 所述通知消息用于控制所述待退服从属节点本文档来自技高网...

【技术保护点】
一种退服节点的数据备份方法，应用于分布式存储系统中的待退服从属节点，所述分布式存储系统包括：一个主节点和若干从属节点，所述从属节点中包括至少一个待退服从属节点，和至少一个非待退服从属节点，其特征在于，所述方法包括：向所述主节点发送退服消息；接收所述主节点发送的通知消息，其中，所述通知消息中携带有备份目标节点的标识，所述备份目标节点为：所述主节点为待退服从属节点中需要制作副本的数据块分配的非待退服从属节点；根据所述通知消息，对存储于本地的、对应于同一备份目标节点的数据块进行合并，并将合并得到的数据发送给对应于该数据的备份目标节点。

【技术特征摘要】

【专利技术属性】
技术研发人员：郭磊涛，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11