一种数据同步方法及装置制造方法及图纸

本发明专利技术提供了一种数据同步方法及装置，属于网络技术领域。其中，第一服务器集群可以划分多个虚拟节点并为每个虚拟节点分配对应量的内存，利用多个虚拟节点中的每个节点，将每个虚拟节点在第一服务器集群中对应的分区中的目标数据加载至虚拟节点的内存中，进而提高从第一服务器集群中获取目标数据的效率，利用多个虚拟节点将内存中的目标数据写入预设数据表对应的分区中，进而省略第二服务器集群对目标数据进行加载的操作，进一步提高数据同步效率，控制第二服务器集群根据目标数据对预设数据表进行更新，使得后续步骤中能够通过该预设数据表识别到同步至第二服务器集群的目标数据，进而保证所同步的数据能够被正常进行处理。

A Data Synchronization Method and Device

The invention provides a data synchronization method and device, which belongs to the field of network technology. Among them, the first server cluster can divide several virtual nodes and allocate corresponding amount of memory for each virtual node. Using each node in the multiple virtual nodes, the target data of each virtual node in the corresponding partition of the first server cluster can be loaded into the memory of the virtual node, thereby improving the efficiency of obtaining target data from the first server cluster. Multiple virtual nodes write the target data in memory into the corresponding partition of the preset data table, and then omit the operation of loading the target data by the second server cluster, further improve the efficiency of data synchronization, control the second server cluster to update the preset data table according to the target data, so that the next step can identify the preset data table to synchronize to the second one. The target data of server cluster can be processed normally.

【技术实现步骤摘要】
一种数据同步方法及装置
本专利技术属于网络
，特别是涉及一种数据同步方法及装置。
技术介绍
随着网络技术的不断发展，网络中产生的数据越来越多，为了便于对数据进行管理，这些数据往往会存储在服务器集群的文件系统中的不同分区中。由于数据中包含有大量有价值的信息，因此经常需要对数据进行分析，而在对数据进行分析之前，往往需要对数据进行同步，例如，将第一服务器集群上的数据同步到第二服务器集群上。现有技术中，在将第一服务器集群上的数据同步到第二服务器集群上时，通常是对第一服务器集群的各个分区依次进行扫描来获取需要同步的数据，然后将获取的需要同步的数据存储至第一服务器集群的某个磁盘中，在获取到所有需要进行同步的数据之后，再将这个磁盘中的数据拷贝至第二服务器集群的磁盘中，然后第二服务器集群再将这个磁盘中的数据分别加载到对应的分区中，整个操作过程较为繁琐，效率较低。
技术实现思路
本专利技术提供一种数据同步方法及装置，以便解决数据同步操作较为繁琐，效率较低的问题。依据本专利技术的第一方面，提供了一种数据同步方法，应用于第一服务器集群，该方法包括：根据预先定义的节点数及各个节点对应的内存量，将所述第一服务器集群的处理资源划分为多个虚拟节点并为每个虚拟节点分配对应量的内存；利用所述多个虚拟节点中的每个虚拟节点，将每个虚拟节点在所述第一服务器集群中对应的分区中的目标数据加载至所述虚拟节点的内存中；其中，每个虚拟节点对应至少一个分区；根据第二服务器集群的预设数据表，利用所述多个虚拟节点将所述内存中的目标数据写入所述预设数据表对应的分区中；所述预设数据表用于指示所述目标数据中的各部分数据对应的分区；控制所述第二服务器集群根据所述目标数据对所述预设数据表进行更新。可选的，所述根据第二服务器集群的预设数据表，利用所述多个虚拟节点将所述内存中的目标数据写入所述预设数据表对应的分区中，包括：对于每个虚拟节点，在所述虚拟节点对应的内存的占用率大于预设占用率阈值时，调用所述第二服务器集群的文件系统接口；通过所述文件系统接口，将所述目标数据以列式存储格式写入所述第二服务器集群中所述预设数据表对应的分区中；释放所述虚拟节点对应的内存。可选的，所述利用所述多个虚拟节点将所述内存中的目标数据写入所述预设数据表对应的分区中之前，所述方法还包括：检测所述第二服务器集群中是否存在所述预设数据表；若所述第二服务器集群中不存在所述预设数据表，则在所述第二服务器集群中建立所述预设数据表。可选的，所述控制所述第二服务器集群根据所述目标数据对所述预设数据表进行更新，包括：向所述第二服务器集群发送修复命令，以使所述第二服务器集群将所述目标数据的字段信息写入所述预设数据表的元信息中。可选的，所述在所述第二服务器集群中建立所述预设数据表，包括：根据所述目标数据中的各部分数据在所述第一服务器集群中所对应的分区，生成所述预设数据表并存储至所述第二服务器集群中。：依据本专利技术的第二方面，提供了一种数据同步装置，应用于第一服务器集群，该装置包括：划分模块，用于根据预先定义的节点数及各个节点对应的内存量，将所述第一服务器集群的处理资源划分为多个虚拟节点并为每个虚拟节点分配对应量的内存；加载模块，用于利用所述多个虚拟节点中的每个虚拟节点，将每个虚拟节点在所述第一服务器集群中对应的分区中的目标数据加载至所述虚拟节点的内存中；其中，每个虚拟节点对应至少一个分区；写入模块，用于根据第二服务器集群的预设数据表，利用所述多个虚拟节点将所述内存中的目标数据写入所述预设数据表对应的分区中；所述预设数据表用于指示所述目标数据中的各部分数据对应的分区；控制模块，用于控制所述第二服务器集群根据所述目标数据对所述预设数据表进行更新。可选的，所述加载模块，用于：对于每个虚拟节点，在所述虚拟节点对应的内存的占用率大于预设占用率阈值时，调用所述第二服务器集群的文件系统接口；通过所述文件系统接口，将所述目标数据以列式存储格式写入所述第二服务器集群中所述预设数据表对应的分区中；释放所述虚拟节点对应的内存。可选的，所述装置还包括：检测模块，用于检测所述第二服务器集群中是否存在所述预设数据表；建立模块，用于若所述第二服务器集群中不存在所述预设数据表，则在所述第二服务器集群中建立所述预设数据表。可选的，所述控制模块，用于：向所述第二服务器集群发送修复命令，以使所述第二服务器集群将所述目标数据的字段信息写入所述预设数据表的元信息中。可选的，所述建立模块，用于：根据所述目标数据中的各部分数据在所述第一服务器集群中所对应的分区，生成所述预设数据表并存储至所述第二服务器集群中。第三方面，本专利技术实施例提供了一种移动终端，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的数据同步方法的步骤。第四方面，本专利技术实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的数据同步方法的步骤。针对在先技术，本专利技术具备如下优点：第一服务器集群可以根据预先定义的节点数及各个节点对应的内存量，将第一服务器集群的处理资源划分为多个虚拟节点并为每个虚拟节点分配对应量的内存，然后利用多个虚拟节点中的每个节点，同时将每个虚拟节点在第一服务器集群中对应的分区中的目标数据加载至虚拟节点的内存中，这样，通过同时对多个分区进行处理可以提高从第一服务器集群中获取目标数据的效率，进一步地，可以根据第二服务器集群的预设数据表，利用多个虚拟节点将内存中的目标数据写入预设数据表对应的分区中，进而省略第二服务器集群对目标数据进行加载的操作，进一步提高数据同步效率，最后，控制第二服务器集群根据目标数据对预设数据表进行更新，使得后续步骤中，能够通过该预设数据表识别到同步至第二服务器集群的目标数据，进而保证所同步的数据能够被正常进行处理。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1是本专利技术实施例一提供的一种数据同步方法的步骤流程图；图2是本专利技术实施例二提供的一种数据同步方法的步骤流程图；图3是本专利技术实施例三提供的一种数据同步装置的框图；图4是本专利技术实施例四提供的一种数据同步装置的框图。具体实施方式下面将参照附图更详细地描述本专利技术的示例性实施例。虽然附图中显示了本专利技术的示例性实施例，然而应当理解，可以以各种形式实现本专利技术而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本专利技术，并且能够将本专利技术的范围完整的传达给本领域的技术人员。实施例一图1是本专利技术实施例一提供的一种数据同步方法的步骤流程图，该方法可以应用于第一服务器集群，如图1所示，该方法可以包括：步骤101、根据预先定义的节点数及各个节点对应的内存量，将所述第一服务器集群的处理资源划分为本文档来自技高网...

【技术保护点】
1.一种数据同步方法，应用于第一服务器集群，其特征在于，所述方法包括：根据预先定义的节点数及各个节点对应的内存量，将所述第一服务器集群的处理资源划分为多个虚拟节点并为每个虚拟节点分配对应量的内存；利用所述多个虚拟节点中的每个虚拟节点，将每个虚拟节点在所述第一服务器集群中对应的分区中的目标数据加载至所述虚拟节点的内存中；其中，每个虚拟节点对应至少一个分区；根据第二服务器集群的预设数据表，利用所述多个虚拟节点将所述内存中的目标数据写入所述预设数据表对应的分区中；所述预设数据表用于指示所述目标数据中的各部分数据对应的分区；控制所述第二服务器集群根据所述目标数据对所述预设数据表进行更新。

【技术特征摘要】
1.一种数据同步方法，应用于第一服务器集群，其特征在于，所述方法包括：根据预先定义的节点数及各个节点对应的内存量，将所述第一服务器集群的处理资源划分为多个虚拟节点并为每个虚拟节点分配对应量的内存；利用所述多个虚拟节点中的每个虚拟节点，将每个虚拟节点在所述第一服务器集群中对应的分区中的目标数据加载至所述虚拟节点的内存中；其中，每个虚拟节点对应至少一个分区；根据第二服务器集群的预设数据表，利用所述多个虚拟节点将所述内存中的目标数据写入所述预设数据表对应的分区中；所述预设数据表用于指示所述目标数据中的各部分数据对应的分区；控制所述第二服务器集群根据所述目标数据对所述预设数据表进行更新。2.根据权利要求1所述的方法，其特征在于，所述根据第二服务器集群的预设数据表，利用所述多个虚拟节点将所述内存中的目标数据写入所述预设数据表对应的分区中，包括：对于每个虚拟节点，在所述虚拟节点对应的内存的占用率大于预设占用率阈值时，调用所述第二服务器集群的文件系统接口；通过所述文件系统接口，将所述目标数据以列式存储格式写入所述第二服务器集群中所述预设数据表对应的分区中；释放所述虚拟节点对应的内存。3.根据权利要求1所述的方法，其特征在于，所述利用所述多个虚拟节点将所述内存中的目标数据写入所述预设数据表对应的分区中之前，所述方法还包括：检测所述第二服务器集群中是否存在所述预设数据表；若所述第二服务器集群中不存在所述预设数据表，则在所述第二服务器集群中建立所述预设数据表。4.根据权利要求1所述的方法，其特征在于，所述控制所述第二服务器集群根据所述目标数据对所述预设数据表进行更新，包括：向所述第二服务器集群发送修复命令，以使所述第二服务器集群将所述目标数据的字段信息写入所述预设数据表的元信息中。5.根据权利要求3所述的方法，其特征在于，所述在所述第二服务器集群中建立所述预设数据表，包括：根据所述目标数据中的各部...

【专利技术属性】
技术研发人员：黄文仁，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11