【技术实现步骤摘要】
数据同步方法、存储系统、设备及存储介质
[0001]本申请涉及存储领域，尤其涉及一种数据同步方法、存储系统、设备及存储介质。
技术介绍
[0002]在数据的储存过程中，为了保证数据安全，分布式存储系统一般采用多副本来存储数据。多副本中的一份数据副本作为主副本，其它数据副本作为从副本。由于多副本分别位于不同位置，这样即使出现某个副本出现故障，数据也不会丢失。因而，如何实现多副本的数据同步是亟需解决的问题。
[0003]现阶段，基于网络传输可以实现主从副本的数据同步。即，某个计算节点将接收到用户写入的数据刷新成主副本后，一方面将该主副本写到本地盘，另一方面，通过网络传输将主副本同步到其他的计算节点，得到从副本，其他的计算节点再将从副本存储至本地盘，从而实现主从副本的数据同步。但在该方法中，数据的计算和存储是一体的，存在数据同步效率低、副本扩缩容困难、灵活性差的问题。
技术实现思路
[0004]本申请提供一种数据同步方法、存储系统、设备及存储介质，以实现数据的计算和存储分离，解决副本扩缩容困难、数据同步效率...
【技术保护点】
【技术特征摘要】
1.一种数据同步方法，其特征在于，应用于存储系统中，所述存储系统包括第一计算节点、第二计算节点和共享存储设备，所述方法包括：所述第一计算节点在将获取到的主副本刷新成内存中的数据段时，通过网络传输将所述数据段中的第一部分数据复制到所述第二计算节点；所述第二计算节点对接收到的所述第一部分数据进行处理和存储；在满足预置的存储条件时，所述第一计算节点将所述内存中的数据段存储到所述共享存储设备，所述存储条件包括所述内存中的数据段总大小大于容量阈值，和/或，距离前一次存储的时间间隔大于间隔阈值；所述第二计算节点在确定未存储所述数据段的第二部分数据时，从所述共享存储设备读取并加载所述第二部分数据，所述第一部分数据和所述第二部分数据是所述主副本的从副本。2.如权利要求1所述的方法，其特征在于，所述第一计算节点通过网络传输将所述数据段中的第一部分数据复制到所述第二计算节点，包括：所述第一计算节点从所述内存获取所述第一部分数据的数据快照，并向所述第二计算节点发送所述数据快照对应的元数据；所述第二计算节点对接收到的所述元数据进行处理，确定目标复制数据段；所述第二计算节点基于所述目标复制数据段，向所述第一计算节点发送数据复制请求；所述第一计算节点基于接收到的所述数据复制请求，通过物理复制方式将所述目标复制数据段复制到所述第二计算节点。3.如权利要求2所述的方法，其特征在于，所述第二计算节点对接收到的所述元数据进行处理，确定目标复制数据段，包括：所述第二计算节点对接收到的所述元数据进行处理，确定所述元数据对应数据段的长度信息和索引信息；所述第二计算节点基于所述元数据对应数据段的长度信息和索引信息，确定出所述元数据对应数据段中的目标复制数据段。4.如权利要求2所述的方法，其特征在于，在所述第一计算节点从所述内存获取所述第一部分数据的数据快照之后，所述方法还包括：所述第一计算节点将所述数据快照中的数据段加入共享文件列表；所述第一计算节点基于接收到的所述数据复制请求，通过物理复制方式将所述目标复制数据段复制到所述第二计算节点，包括：所述第一计算节点基于所述数据复制请求中的文件索引信息，在所述共享文件列表中，确定出所述目标复制数据段；所述第一计算节点通过物理复制方式将所述目标复制数据段复制到所述第二计算节点。5.如权利要求4所述的方法，其特征在于，在所述第二计算节点对接收到的所述元数据进行处理，确定目标复制数据段之前，所述方法还包括：所述第二计算节点在接收到所述元数据后向所述第一计算节点反馈响应消息，所述响应消息包括所述第二计算节点中的已加载数据快照信息和待被共享文件；
所述第一计算节点根据接收到的所述已加载数据快照信息和所述待被共享文件对所述共享文件列表进行处理，确定所述共享文件列表中的无需共享数据段；所述第一计算节点从所述共享文件列表中删除所述无需共享数据段。6.如权利要求4或5所述的方法，其特征在于，所述方法还包括：所述第一计算节点在确定所述共享文件列表处于使用状态时，禁止删除所述共享文件列表中的数据段。7.如权利要求1至5任一项所述的方法，其特征在于，在所述第一计算节点在将获取到的主副本刷新成内存中的数据段时，通过网络传输将所述数据段中的第一部分数据复制到所述第二计算节点之前，所述方法还包括：...
【专利技术属性】
技术研发人员：王川，石磊，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。