数据同步方法及相关装置制造方法及图纸

本申请提供的数据同步方法及相关装置中，目标设备在本地生成至少一条目标数据的数据维护指令，然后，将数据维护指令发送到第二集群，并控制数据维护指令在第二集群中运行，以生成至少一条目标数据的维护信息，从而达到在两集群之间同步数据时，只需在一个集训中进行操作即可构建已同步数据的维护信息。操作即可构建已同步数据的维护信息。操作即可构建已同步数据的维护信息。

【技术实现步骤摘要】
数据同步方法及相关装置


[0001]本申请涉及计算机领域，具体而言，涉及一种数据同步方法及相关装置。

技术介绍

[0002]互联网服务过程中产生了大量的数据，因此，提出了通过大数据集群对产生的数据进行分析。而研究发现，实际场景中多个集群之间，有时需要进行数据同步，现有数据同步工具，在为同步之后的数据构建维护信息时，存在操作过于繁琐的问题。

技术实现思路

[0003]为了克服现有技术中的至少一个不足，本申请提供一种数据同步方法及相关装置，包括：
[0004]第一方面，本申请提供一种数据同步方法，应用于第一集群中的目标设备，所述方法包括：
[0005]生成至少一条目标数据的数据维护指令，其中，所述至少一条目标数据表示从所述第一集群已同步至第二集群的数据；
[0006]将所述数据维护指令发送到所述第二集群；
[0007]控制所述第二集群运行数据维护指令，在所述第二集群中生成所述至少一条目标数据的维护信息。
[0008]第二方面，本申请提供一种数据同步装置，应用于第一集群中的目标设备，所述数据同步装置包括：
[0009]指令模块，用于生成至少一条目标数据的数据维护指令，其中，所述至少一条目标数据表示从所述第一集群已同步至第二集群的数据；
[0010]传输模块，用于将所述数据维护指令发送到所述第二集群；
[0011]维护模块，用于控制所述第二集群运行数据维护指令，在所述第二集群中生成所述至少一条目标数据的维护信息。
[0012]第三方面，本申请提供一种目标设备，所述目标设备属于第一集群，所述目标设备包括处理器以及存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述的数据同步方法。
[0013]第四方面，本申请提供种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述的数据同步方法。
[0014]相对于现有技术而言，本申请具有以下有益效果：
[0015]本申请提供的数据同步方法及相关装置中，目标设备在本地生成至少一条目标数据的数据维护指令，然后，将数据维护指令发送到第二集群，并控制数据维护指令在第二集群中运行，以生成至少一条目标数据的维护信息，从而达到在两集群之间同步数据时，只需在一个集训中进行操作即可构建已同步数据的维护信息。
附图说明
[0016]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0017]图1为本申请实施例提供的目标设备的结构示意图；
[0018]图2为本申请实施例提供的数据同步方法的流程图之一；
[0019]图3为本申请实施例提供的数据同步方法的流程图之二；
[0020]图4为本申请实施例提供的数据同步方法的流程图之三；
[0021]图5为本申请实施例提供的数据同步装置的结构示意图。
[0022]图标：120
‑
存储器；130
‑
处理器；140
‑
通信单元；201
‑
指令模块；202
‑
传输模块；203
‑
维护模块。
具体实施方式
[0023]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
[0024]因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0025]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0026]研究发现，现有数据同步工具，在为同步之后的数据构建维护信息时，存在操作过于繁琐的问题。例如，以Hive集群为例，市面上用于对Hive集群进行数据同步的工具，一般需要在两个Hive集群(下面以A集群以及B集群进行表示)中均部署同步工具，然后，用户需要在提供的操作页面中，输入IP访问A集群，在A集群中执行同步程序，并在同步完成之后，输入IP访问访问B集群，在B集群执行维护hive库的代码，并且，在整个同步过程中还需要借助于第三方数据库存储数据的同步状态。
[0027]鉴于现有数据同步方法存在的操作繁琐以及依赖第三方数据库的问题，为至少部分解决现上述技术问题，本实施例提供一种数据同步方法。该方法中，第一集群中的目标设备在本地生成至少一条目标数据的数据维护指令，然后，将数据维护指令发送到第二集群，并控制数据维护指令在第二集群中运行，以生成至少一条目标数据的维护信息，从而达到在两集群之间同步数据时，只需在一个集训中进行操作即可构建已同步数据的维护信息。
[0028]本实施例中的目标数据表示从第一集群已同步至第二集群的数据，并且，该目标数据源可以源自于用户终端。其中，该用户终端可以是，但不限于，移动终端、平板计算机、膝上型计算机、或机动车辆中的内置设备等，或其任意组合。在一些实施例中，移动终端可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等，或其
任意组合。在一些实施例中，智能家居设备可以包括智能照明设备、智能电器设备的控制设备、智能监控设备、智能电视、智能摄像机、或对讲机等，或其任意组合。在一些实施例中，可穿戴设备可包括智能手环、智能鞋带、智能玻璃、智能头盔、智能手表、智能服装、智能背包、智能配件等、或其任何组合。在一些实施例中，智能移动设备可以包括智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏设备、导航设备、或销售点(point of sale，POS)设备等，或其任意组合。
[0029]需要说明的是，本实施例中的第一集群包括多个设备，而目标设备可以是第一集群中的任意一个设备，由第一集群的调度方法所决定。此外，本实施例还提供该目标设备的一种结构示意图。如图1所示，该目标设备包括存储器120、处理器130、通信单元140。其中，该存储器120、处理器130以及通信单元140各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。
[0030]该存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programm本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，应用于第一集群中的目标设备，所述方法包括：生成至少一条目标数据的数据维护指令，其中，所述至少一条目标数据表示从所述第一集群已同步至第二集群的数据；将所述数据维护指令发送到所述第二集群；控制所述第二集群运行数据维护指令，在所述第二集群中生成所述至少一条目标数据的维护信息。2.根据权利要求1所述的数据同步方法，其特征在于，所述生成所述至少一条目标数据的数据维护指令，包括：获取所述至少一条目标数据各自的维护参数以及所述至少一条目标数据各自在所述第二集群中的存储位置；针对每条所述目标数据，根据所述目标数据的维护参数以及所述目标数据的存储位置，生成所述目标数据的数据维护指令。3.根据权利要求1所述的数据同步方法，其特征在于，所述目标设备配置有同步配置文件，所述同步配置文件记录有多条候选数据各自的同步参数，所述生成至少一条目标数据的数据维护指令之前，所述方法还包括：从所述同步配置文件中确定出至少一条待同步参数，其中，每条所述待同步参数表示预设位置未配置有注释标识的所述同步参数；根据所述至少一条待同步参数，将待同步数据同步至所述第二集群，其中，所述待同步数据表示所述至少一条待同步参数对应的所述候选数据；分别在每条所述待同步参数的所述预设位置添加所述注释标识。4.根据权利要求3所述的数据同步方法，其特征在于，所述目标设备配记录有将所述待同步数据同步至所述第二集群时的同步日志，所述同步日志包括每条所述待同步数据的同步结果，所述方法还包括：根据所述同步日志，从所述待同步数据中确定出所述至少一条目标数据。5.根据权利要求3所述的数据同步方法，其特征在于，所述从所述同步配置文件中确定出至少一条待同步参数之前，所述方法还包括：接收用户对所述同步配置文件的配置操作；响应于所述配置操作，将用户选中的所述注释标识删除。6.根据权利要求3所述的数据同步方法，其特征在于，所述根据所述至少一条待同步参数，将待同步数据同步至所述第二集群，包括...

【专利技术属性】
技术研发人员：范东，陶周天，罗剑锋，
申请(专利权)人：智慧足迹数据科技有限公司，
类型：发明
国别省市：