一种服务器集群的数据同步方法及系统技术方案

本发明专利技术公开了一种服务器集群的数据同步方法及系统，其方法包括步骤：控制平面根据数据编码方法构造编码矩阵并将编码矩阵发送至任务发起节点和各协同节点；任务发起节点根据数据编码方法对所需同步数据编码得到编码数据；任务发起节点将编码数据发送至各协同节点；各协同节点根据数据解码方法进行数据解码得到节点内缺少的数据。本发明专利技术解决了如何提高光互联数据中心的服务器集群的数据同步效率的技术问题。的技术问题。的技术问题。

【技术实现步骤摘要】
一种服务器集群的数据同步方法及系统


[0001]本专利技术属于数据传输
，特别是涉及一种服务器集群的数据同步方法及系统。

技术介绍

[0002]由于云存储和云计算的发展，计算任务越来越大。任务通常需要分散在不同服务器中的大型数据集上进行处理。因此需要多个节点进行协作，并且应用MapReduce类型框架。在此类任务中，同步节点中的分布式数据很重要。
[0003]由于数据被分散存储在不同的节点中，通常使用备份来防止数据丢失的风险并提高数据同步的效率，因此每个节点已经拥有了部分数据。不同节点中的数据不同，传统方法是将所有数据广播到所有节点，并且每个节点都会选择它缺少的数据。例如公开号为CN105515707A的专利《一种无源光网络中光网络单元信息的同步方法及系统》提出当光网络单元的状态更改时，光线路终端在光网络单元信息库中更新所述光网络单元的信息；所述光线路终端向网络管理服务器发送状态更改提示；所述网络管理服务器根据所述状态更改提示，对本地数据库中存储的所述光网络单元的信息进行同步。公开号为CN112445799A的专利《一种单源多节点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种服务器集群的数据编码方法，其特征在于，包括：控制平面根据所需同步的数据量和各协同节点内缺少的同步数据量构造多列线性独立的矩阵作为编码矩阵；任务发起节点将编码矩阵的每一行元素与相应的同步数据相乘后再逻辑求和得到编码数据。2.根据权利要求1所述的服务器集群的数据编码方法，其特征在于，所述各协同节点内缺少的同步数据量是控制平面通过对比各协同节点上报的节点内数据与所需同步数据得到的各协同节点内缺少的同步数据的数据量或各协同节点内缺少的同步数据的最大数据量或各协同节点内缺少的同步数据的平均数据量的任一项或多项组合。3.根据权利要求2所述的服务器集群的数据编码方法，其特征在于，所述根据所需同步的数据量和各协同节点内缺少的同步数据量构造多列线性独立的矩阵作为编码矩阵，包括步骤：所需同步的数据量记为N，各协同节点内缺少的同步数据量记为M；构造一个或多个具有任意M列线性独立关系的N列矩阵；选取行数最少的一个N列矩阵作为编码矩阵。4.根据权利要求3所述的服务器集群的数据编码方法，其特征在于，所述具有任意M列线性独立关系的N列矩阵是根据差错控制编码中的奇偶校验矩阵计算得到，矩阵中元素是在二阶galois域GF(2)或高阶galois域GF(n)中的任一项。5.根据权利要求3所述的服务器集群的数据编码方法，其特征在于，所述任务发起节点将编码矩阵的每一行元素与相应的同步数据相乘后再逻辑求和得到编码数据，包括步骤：编码矩阵的行数记为s，矩阵元素表示为a
ij
，1≤i≤s，1≤j≤N；任务发起节点将所需同步数据(D1，
…
，D
N
)与编码矩阵的每一行元素相乘后再逻辑求和，即得到s个编码数据(C1，
…
，C
s
)。6.一种服务器集群的...

【专利技术属性】
技术研发人员：卢旸，曹永福，章超，严军荣，
申请(专利权)人：三维通信股份有限公司，
类型：发明
国别省市：