本申请提供了一种分布式存储方法及装置，包括：在接收到目标数据的情况下，将目标数据存储在主节点本地，并将目标数据发送至一类从节点，以使一类从节点对目标数据进行冗余备份；确定二类从节点对应的第一数据偏移量；其中，第一数据偏移量用于指示目标数据在二类从节点中存储条目的变化量；向二类从节点发送第一数据偏移量，以使得二类从节点存储第一数据偏移量。可以在基于一致性协议构建的分布式存储集群中包含一个二类从节点，并使二类从节点仅对数据偏移量进行存储，在确保满足一致性协议节点数量要求的情况下，降低了数据同步存储所需的带宽和存储资源消耗量，解决了使用一致性协议构建的分布式存储集群占用带宽和存储资源过高的问题。资源过高的问题。资源过高的问题。
【技术实现步骤摘要】
一种分布式存储方法及装置
[0001]本申请实施例涉及计算机
，尤其涉及一种分布式存储方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
技术介绍
[0002]随着计算机技术的不断发展，为了在提升数据安全，人们越来越多的采用分布式存储集群对数据进行备份存储，同时，为了保证分布式存储集群中各个节点数据的一致性，通常会采用一致性协议构建分布式存储集群。
[0003]相关技术中，基于一致性协议建立分布式存储集群至少需要大于等于三个的奇数个节点同时备份数据副本，因此，对于某些对数据冗余量要求不高，但需要备份的数据量较大的业务来说，备份过多数据副本的方案性价比较低。例如在双副本备份方案中，通常只能采用同步写入两个副本和串行写入两个副本内容的方式实现双副本备份，无法使用一致性协议，难以保证两个存储节点中备份数据的一致性。
技术实现思路
[0004]本申请实施例提供一种分布式存储方法、装置、电子设备、计算机可读存储介质及计算机程序产品，以解决相关技术中采用一致性协议建立的分布式存储集群对带宽和存储资源占用量较高的问题。
[0005]第一方面，本申请实施例提供了一种分布式存储方法，应用于分布式存储集群中的主节点，所述分布式存储集群基于一致性协议构建，所述分布式存储集群还包括一类从节点和二类从节点，该方法包括：
[0006]在接收到目标数据的情况下，将所述目标数据存储在主节点本地，并将所述目标数据发送至所述一类从节点，以使所述一类从节点对所述目标数据进行冗余备份；
[0007]确定所述二类从节点对应的第一数据偏移量；其中，所述第一数据偏移量用于指示目标数据在所述二类从节点中存储条目的变化量；
[0008]向所述二类从节点发送所述第一数据偏移量，以使得所述二类从节点存储所述第一数据偏移量。
[0009]在一种可选的实施方式中，所述向所述二类从节点发送所述第一数据偏移量，包括：
[0010]根据所述目标数据和所述第一数据偏移量生成第一数据包；
[0011]清空所述第一数据包中的所述目标数据，得到第二数据包；
[0012]将所述第二数据包发送至所述二类从节点，以使得所述二类从节点存储所述第一数据偏移量。
[0013]在一种可选的实施方式中，所述向所述二类从节点发送所述第一数据偏移量，包括：
[0014]确定所述目标数据的数据类型，所述数据类型包括配置变更数据和非配置变更数
据；其中，所述配置变更数据用于调整所述分布式存储集群的设置；
[0015]在所述目标数据的数据类型为所述非配置变更数据的情况下，向所述二类从节点发送所述第一数据偏移量；
[0016]在所述目标数据的数据类型为所述配置变更数据的情况下，向所述二类从节点发送所述第一数据偏移量、所述目标数据、以及所述第一数据偏移量和所述目标数据的映射关系。
[0017]在一种可选的实施方式中，所述分布式存储方法还包括：
[0018]在接收到由所述二类从节点发送的初始数据偏移量的情况下，生成包含集群元数据的初始化信息；其中，所述初始数据偏移量为所述二类从节点在建立时最初预设的数据偏移量，所述集群元数据包括所述主节点的当前数据偏移量和所述分布式存储集群的节点信息，所述节点信息包括所述分布式存储集群的节点数量和各个节点的节点类型中至少一项；
[0019]将所述初始化信息发送至所述二类从节点，以使得所述二类从节点根据所述初始化信息进行初始化。
[0020]在一种可选的实施方式中，所述将所述目标数据存储在主节点本地，并将所述目标数据发送至所述一类从节点，包括：
[0021]确定所述主节点对应的第二数据偏移量和所述一类从节点对应的第三数据偏移量；其中，所述第二数据偏移量用于指示目标数据在所述主节点中存储条目的变化量，所述第三数据偏移量用于指示目标数据在所述一类从节点中存储条目的变化量；
[0022]将所述第二数据偏移量、所述目标数据、以及所述第二数据偏移量和所述目标数据的映射关系存储在主节点本地；
[0023]向所述一类从节点发送所述第三数据偏移量、所述目标数据、以及所述第三数据偏移量与所述目标数据的映射关系。
[0024]在一种可选的实施方式中，所述确定所述主节点对应的第二数据偏移量和所述一类从节点对应的第三数据偏移量，包括：
[0025]对所述主节点对应的当前数据偏移量进行预设数量的递增处理，得到所述第二数据偏移量；
[0026]对所述一类从节点对应的当前数据偏移量进行预设数量的递增处理，得到所述第三数据偏移量；
[0027]所述确定所述二类从节点对应的第一数据偏移量，包括：
[0028]对所述二类从节点对应的当前数据偏移量进行预设数量的递增处理，得到所述第一数据偏移量。
[0029]第二方面，本申请实施例还提供了一种分布式存储方法，应用于分布式存储集群中的二类从节点，所述分布式存储集群基于一致性协议构建，所述分布式存储集群还包括主节点和一类从节点，该方法包括：
[0030]接收由所述主节点生成并发送的第一数据偏移量，其中，所述主节点用于向所述一类从节点发送目标数据，并向所述二类从节点发送第一数据偏移量；其中，所述第一数据偏移量用于指示目标数据在所述二类从节点中存储条目的变化量；
[0031]对所述第一数据偏移量进行存储。
[0032]在一种可选的实施方式中，所述分布式存储方法还包括：
[0033]在第一次接收到由所述主节点发送的偏移量获取指令的情况下，向所述主节点发送初始数据偏移量；其中，所述初始数据偏移量为所述二类从节点在建立时最初预设的数据偏移量；
[0034]接收所述主节点根据所述初始数据偏移量反馈的包含集群元数据的初始化信息，并基于所述初始化信息进行初始化；其中，所述集群元数据包括所述主节点的当前数据偏移量和所述分布式存储集群的节点信息，所述节点信息包括所述分布式存储集群的节点数量和各个节点的节点类型中至少一项。
[0035]在一种可选的实施方式中，所述分布式存储方法还包括：
[0036]监听由所述主节点广播的心跳消息；
[0037]在未监听到所述心跳消息的时间超过第一预设时长的情况下，向所述一类从节点发送赞成消息；其中，所述赞成消息用于票选所述一类从节点成为新的主节点。
[0038]在一种可选的实施方式中，所述向所述一类从节点发送赞成消息，包括：
[0039]获取所述一类从节点的当前数据偏移量和所述二类从节点的当前数据偏移量；其中，所述当前数据偏移量用于表征对应节点中已存储的数据条目；
[0040]在所述一类从节点的当前数据偏移量大于或等于所述二类从节点的当前数据偏移量，且未监听到所述心跳消息的时间超过第一预设时长的情况下，向所述一类从节点发送赞成消息；
[0041]在所述一类从节点的当前数据偏移量小于所述二类从节点的当前数据偏移量，且未监听到所述心跳消息的时间超过第二预设时长的情况下本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种分布式存储方法，其特征在于，应用于分布式存储集群中的主节点，所述分布式存储集群基于一致性协议构建，所述分布式存储集群还包括一类从节点和二类从节点，所述分布式存储方法包括：在接收到目标数据的情况下，将所述目标数据存储在主节点本地，并将所述目标数据发送至所述一类从节点，以使所述一类从节点对所述目标数据进行冗余备份；确定所述二类从节点对应的第一数据偏移量；其中，所述第一数据偏移量用于指示目标数据在所述二类从节点中存储条目的变化量；向所述二类从节点发送所述第一数据偏移量，以使得所述二类从节点存储所述第一数据偏移量。2.根据权利要求1所述的分布式存储方法，其特征在于，所述向所述二类从节点发送所述第一数据偏移量，包括：根据所述目标数据和所述第一数据偏移量生成第一数据包；清空所述第一数据包中的所述目标数据，得到第二数据包；将所述第二数据包发送至所述二类从节点，以使得所述二类从节点存储所述第一数据偏移量。3.一种分布式存储方法，其特征在于，应用于分布式存储集群中的二类从节点，所述分布式存储集群基于一致性协议构建，所述分布式存储集群还包括主节点和一类从节点，所述分布式存储方法包括：接收由所述主节点生成并发送的第一数据偏移量，其中，所述主节点用于向所述一类从节点发送目标数据，并向所述二类从节点发送第一数据偏移量；其中，所述第一数据偏移量用于指示目标数据在所述二类从节点中存储条目的变化量；对所述第一数据偏移量进行存储。4.一种分布式存储集群构建方法，其特征在于，应用于分布式存储集群构建设备，所述分布式存储方法包括：基于一致性协议构建由主节点、一类从节点和二类从节点构成的目标分布式存储集群，或者，获取基于一致性协议构建的初始分布式存储集群，所述初始分布式存储集群包括一个第一一类从节点、至少一个第二一类从节点和一个主节点，将所述第一一类从节点替换为二类从节点，得到由所述主节点、所述第二一类从节点和所述二类从节点构成的目标分布式存储集群；其中，所述主节点，用于在接收到目标数据的情况下，将所述目标数据存储在主节点本地，并将所述目标数据发送至所述一类从节点，以使所述一类从节点对所述目标数据进行冗余备份；确定所述二类从节点对应的第一数据偏移量；其中，所述第一数据偏移量用于指示目标数据在所述二类从节点中存储条目的变化量；向所述二类从节点发送所述第一数据偏移量，以使得所述二类从节点存储所述第一数据偏移量。5.一种分布式存储装置，其特征在于，应用于分布式存储集群中的主节点，所述分布式存储集群基于一致性协议构建，...
【专利技术属性】
技术研发人员：杨胜智，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。