数据同步方法、数据同步系统及其装置、介质和系统制造方法及图纸

本申请涉及计算机视觉技术领域，公开了一种数据同步方法、数据同步系统及其装置、介质和系统。数据同步方法包括：获取源特征数据；对源特征数据进行切分，获得多个分片数据，并将多个分片数据以一一对应的方式存储于分布式存储系统的多个分布式数据节点中；建立与多个分布式数据节点一一对应的多个副本集，其中每个副本集包括一主节点和至少一从节点，主节点和从节点用于对与其所属副本集对应的分布式数据节点中存储的分片数据进行备份，获得主备份数据和从备份数据；对至少一个副本集的主节点中的主备份数据进行切分，获得多个子分片数据；在至少一个从节点中建立与多个子分片数据一一对应的多个同步器，通过同步器来同步从备份中对应的数据。

【技术实现步骤摘要】
数据同步方法、数据同步系统及其装置、介质和系统
本申请涉及计算机视觉
，特别涉及一种数据同步方法、数据同步系统及其装置、介质和系统。
技术介绍
今年来，随着存储技术的发展，易于扩展且成本低的分布式存储方法受到广泛关注。考虑到单个存储节点出现故障时系统数据的可靠性问题，通常，一份数据会在多个存储节点上存储。目前分布式存储系统在存储多副本的情况下，针对多副本写入，采用多写的形式，可能会有部分写入失败导致数据不一致，因此需要采用两阶段提交等方式，复杂度高，效率较低。
技术实现思路
本申请实施例提供了一种数据同步方法、数据同步系统及其装置、介质和系统。第一方面，本申请实施例提供了一种数据同步方法，包括：获取源特征数据；对所述源特征数据进行切分，获得多个分片数据，并将所述多个分片数据以一一对应的方式存储于分布式存储系统的多个分布式数据节点中；建立与所述多个分布式数据节点一一对应的多个副本集，其中每个所述副本集包括一主节点和至少一从节点，所述主节点和所述从节点用于对与其所属副本集对应的所述分布式数据节点中存储的所述分片数据进行备份，获得对应于所述主节点的主备份数据和对应于所述从节点的从备份数据；对至少一个所述副本集的主节点中的主备份数据进行切分，获得多个子分片数据；在至少一个所述从节点中建立与多个所述子分片数据一一对应的多个同步器，当所述主备份数据的至少一个所述子分片数据变化时，通过与所述子分片数据对应的所述同步器来同步所述从备份中与所述子分片数据对应的数据。在上述第一方面的一种可能的实现中，上述方法还包括：所述将所述多个分片数据一一对应存储于分布式存储系统的多个分布式数据节点，包括：将所述多个分片数据一一对应存储于分布式存储系统的多个分布式数据节点的MongoDB数据库中。在上述第一方面的一种可能的实现中，上述方法还包括：所述通过与所述子分片数据对应的所述同步器同步所述从备份中与所述子分片数据对应的数据，包括：获取与所述子分片数据对应的操作日志；通过与所述子分片数据对应的所述同步器获取的操作日志来同步所述从备份中与所述子分片数据对应的数据。在上述第一方面的一种可能的实现中，上述方法还包括：对至少一个所述副本集的主节点中的主备份数据进行切分，获得多个子分片数据，包括：基于所述主节点的内存的大小对至少一个所述副本集的主节点中的主备份数据进行切分，获得多个子分片数据。在上述第一方面的一种可能的实现中，上述方法还包括：所述子分片数据的大小等于所述主节点的内存的大小/500。第二方面，本申请实施例提供了一种数据同步系统，包括：客户端、分布式存储系统及分布式计算系统，其中，所述分布式存储系统包括多个分布式数据节点，用于存储多个分片数据；所述客户端，用于获取源特征数据；以及所述分布式计算系统包括多个与所述分布式数据节点一一对应的计算节点；各个所述计算节点，包括第一切分模块，用于对所述源特征数据进行切分，获得多个分片数据，并将所述多个分片数据以一一对应的方式存储于分布式存储系统的多个分布式数据节点中；副本集建立模块，用于建立与所述多个分布式数据节点一一对应的多个副本集，其中每个所述副本集包括一主节点和至少一从节点，所述主节点和所述从节点用于对与其所属副本集对应的所述分布式数据节点中存储的所述分片数据进行备份，获得对应于所述主节点的主备份数据和对应于所述从节点的从备份数据；第二切分模块，用于对至少一个所述副本集的主节点中的主备份数据进行切分，获得多个子分片数据；数据同步模块，用于在至少一个所述从节点中建立与多个所述子分片数据一一对应的多个同步器，当所述主备份数据的至少一个所述子分片数据变化时，通过与所述子分片数据对应的所述同步器来同步所述从备份中与所述子分片数据对应的数据。在上述第二方面的一种可能的实现中，上述系统还包括：所述第一切分模块通过以下方式将所述多个分片数据一一对应存储于分布式存储系统的多个分布式数据节点：将所述多个分片数据一一对应存储于分布式存储系统的多个分布式数据节点的MongoDB数据库中。第三方面，本申请实施例提供了一种数据同步装置，包括：数据获取模块，用于获取源特征数据；第三切分模块，用于对所述源特征数据进行切分，获得多个分片数据，并将所述多个分片数据以一一对应的方式存储于分布式存储系统的多个分布式数据节点中；副本集建立模块，用于建立与所述多个分布式数据节点一一对应的多个副本集，其中每个所述副本集包括一主节点和至少一从节点，所述主节点和所述从节点用于对与其所属副本集对应的所述分布式数据节点中存储的所述分片数据进行备份，获得对应于所述主节点的主备份数据和对应于所述从节点的从备份数据；第四切分模块，用于对至少一个所述副本集的主节点中的主备份数据进行切分，获得多个子分片数据；数据同步模块，用于在至少一个所述从节点中建立与多个所述子分片数据一一对应的多个同步器，当所述主备份数据的至少一个所述子分片数据变化时，通过与所述子分片数据对应的所述同步器来同步所述从备份中与所述子分片数据对应的数据。第四方面，本申请实施例提供了一种机器可读介质，所述机器可读介质上存储有指令，该指令在机器上执行时使机器执行第一方面以及第一方面可能的各实现中的数据同步方法。第五方面，本申请实施例提供了一种系统，包括：存储器，用于存储由系统的一个或多个处理器执行的指令，以及处理器，是系统的处理器之一，用于执行第一方面以及第一方面可能的各实现中的数据同步方法。附图说明图1根据本申请的一些实施例，示出了一种数据同步系统的结构示意图；图2根据本申请的一些实施例，示出了一种数据同步方法的流程示意图；图3根据本申请的一些实施例，示出了一种数据同步装置的结构示意图；图4根据本申请的一些实施例，示出了一种系统的框图；图5根据本申请一些实施例，示出了一种片上系统(SoC)的框图。具体实施方式本申请的说明性实施例包括但不限于一种数据同步方法、数据同步系统及其装置、介质和系统。可以理解，如本文所使用的，术语“模块”可以指代或者包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用、或群组)和/或存储器、组合逻辑电路、和/或提供所描述的功能的其他适当硬件组件，或者可以作为这些硬件组件的一部分。可以理解，在本申请各实施例中，处理器可以是微处理器、数字信号处理器、微控制器等，和/或其任何组合。根据另一个方面，所述处理器可以是单核处理器，多核处理器等，和/或其任何组合。下面将结合附图对本申请的实施例作进一步地详细描述。图1根据本申请的一些实施例，示出了一种数据同步系统100的结构示意图。如图1所示，数据同步系统100包括客户端140、分布式存储系统110及分布式计算系统150。客户端140用于获取源特征数本文档来自技高网...

【技术保护点】
1.一种数据同步方法，其特征在于，所述方法包括：/n获取源特征数据；/n对所述源特征数据进行切分，获得多个分片数据，并将所述多个分片数据以一一对应的方式存储于分布式存储系统的多个分布式数据节点中；/n建立与所述多个分布式数据节点一一对应的多个副本集，其中每个所述副本集包括一主节点和至少一从节点，所述主节点和所述从节点用于对与其所属副本集对应的所述分布式数据节点中存储的所述分片数据进行备份，获得对应于所述主节点的主备份数据和对应于所述从节点的从备份数据；/n对至少一个所述副本集的主节点中的主备份数据进行切分，获得多个子分片数据；/n在至少一个所述从节点中建立与多个所述子分片数据一一对应的多个同步器，当所述主备份数据的至少一个所述子分片数据变化时，通过与所述子分片数据对应的所述同步器来同步所述从备份中与所述子分片数据对应的数据。/n

【技术特征摘要】
1.一种数据同步方法，其特征在于，所述方法包括：
获取源特征数据；
对所述源特征数据进行切分，获得多个分片数据，并将所述多个分片数据以一一对应的方式存储于分布式存储系统的多个分布式数据节点中；
建立与所述多个分布式数据节点一一对应的多个副本集，其中每个所述副本集包括一主节点和至少一从节点，所述主节点和所述从节点用于对与其所属副本集对应的所述分布式数据节点中存储的所述分片数据进行备份，获得对应于所述主节点的主备份数据和对应于所述从节点的从备份数据；
对至少一个所述副本集的主节点中的主备份数据进行切分，获得多个子分片数据；
在至少一个所述从节点中建立与多个所述子分片数据一一对应的多个同步器，当所述主备份数据的至少一个所述子分片数据变化时，通过与所述子分片数据对应的所述同步器来同步所述从备份中与所述子分片数据对应的数据。


2.根据权利要求1所述的数据同步方法，其特征在于，所述将所述多个分片数据一一对应存储于分布式存储系统的多个分布式数据节点，包括：
将所述多个分片数据一一对应存储于分布式存储系统的多个分布式数据节点的MongoDB数据库中。


3.根据权利要求2所述的数据同步方法，其特征在于，所述通过与所述子分片数据对应的所述同步器同步所述从备份中与所述子分片数据对应的数据，包括：
获取与所述子分片数据对应的操作日志；
通过与所述子分片数据对应的所述同步器获取的操作日志来同步所述从备份中与所述子分片数据对应的数据。


4.根据权利要求1所述的数据同步方法，其特征在于，对至少一个所述副本集的主节点中的主备份数据进行切分，获得多个子分片数据，包括：
基于所述主节点的内存的大小对至少一个所述副本集的主节点中的主备份数据进行切分，获得多个子分片数据。


5.根据权利要求4所述的数据同步方法，其特征在于，所述子分片数据的大小等于所述主节点的内存的大小/500。


6.一种数据同步系统，其特征在于，包括：
客户端、分布式存储系统及分布式计算系统，其中，
所述分布式存储系统包括多个分布式数据节点，用于存储多个分片数据；
所述客户端，用于获取源特征数据；以及
所述分布式计算系统包括多个与所述分布式数据节点一一对应的计算节点；
各个所述计算节点，包括：
第一切分模块，用于对所述源特征数据进行切分，获得多个分片数据，并将所述多个分片数据以一一对...

【专利技术属性】
技术研发人员：杨金智，
申请(专利权)人：上海依图网络科技有限公司，
类型：发明
国别省市：上海;31