一种数据同步的方法和装置制造方法及图纸
A method and device for data synchronization
The present application embodiment discloses a method of data synchronization. The method includes: to perform data operation of the equipment to send database carrying the first query benchmark event identification system, in order to identify the target database according to the reference event event identification, target identification of data in the event table to find the target event identification corresponding to the sending equipment; the equipment to send a portable database second target identification of data query, database to target data information to find data in the table corresponds to the target data and send to the device; the device receives and saves the target data information; the target event identification for target event identification data operation appeared in the system, the target identification data for identifying target data, target data information is the target data operation event information generated. In addition, a device for data synchronization is also disclosed in the present application embodiment.
【技术实现步骤摘要】
一种数据同步的方法和装置
本申请涉及数据处理
，特别涉及一种数据同步的方法和装置。
技术介绍
目前，许多大型系统需要承载大量的数据操作。为了提升系统对数据操作的处理效率，系统可以将大量的数据操作分配到多个不同的设备上执行。由于不同的设备在执行不同的数据操作时生成不同的数据信息，因此，各个用于执行数据操作的设备之间需要进行数据同步，以使得各个设备上保存的数据信息完全一致，从而避免数据不一致而导致系统无法正常运行。在现有技术中，多个设备之间的数据同步可以采用开源工具zookeeper实现。具体地，在系统中具有多个用于执行数据操作的设备下，对于每个设备上执行的每一个数据操作，zookeeper服务器为其创建一个目录节点并在该目录节点中记录该数据操作所产生的数据信息。对于任意一个用于执行数据操作的设备，该设备需要为zookeeper服务器中每一个目录节点采用一个单独的线程进行监听，这样该设备才能发现每一个目录节点下是否产生了新的数据操作对应的目录节点，从而才能将系统中所有新的数据操作对应的数据信息同步到该设备本地。但是，由于zookeeper服务器中具有大量数据操作对应的目录节点，该设备需要提供大量的线程监听zookeeper上新产生的数据信息，这往往超出了该设备硬件处理能力的上限，从而导致该设备对数据同步的速度大大降低以及该设备的负载过大。
技术实现思路
本申请实施例所要解决的技术问题是，提供一种数据同步的方法和装置，以使得用于执行数据操作的设备能够采用一个线程监听到系统中所有新产生的数据信息，从而减轻该设备的负载并提高数据同步的速度。第一方面，本申请实施例提...
【技术保护点】
一种数据同步的系统，其特征在于，包括数据库和用于执行数据操作的设备；所述设备，用于向数据库发送携带有基准事件标识的第一查询请求，接收所述数据库发送的目标数据标识，向所述数据库发送携带有所述目标数据标识的第二查询请求，以及，接收并保存所述数据库发送的目标数据信息；所述数据库，用于接收所述第一查询请求，根据所述基准事件标识确定目标事件标识，在事件表中查找所述目标事件标识对应的所述目标数据标识并向所述设备发送，接收所述第二查询请求，以及，在数据信息表中查找所述目标数据标识对应的所述目标数据信息并向所述设备发送；其中，所述基准事件标识用于反映所述设备上已保存的数据信息，所述目标事件标识用于反映所述设备上未保存的数据信息；所述目标事件标识用于标识在所述系统中出现过的目标数据操作事件，所述目标数据标识用于标识所述目标数据信息，所述目标数据信息是所述目标数据操作事件产生的信息。
【技术特征摘要】
1.一种数据同步的系统，其特征在于，包括数据库和用于执行数据操作的设备；所述设备，用于向数据库发送携带有基准事件标识的第一查询请求，接收所述数据库发送的目标数据标识，向所述数据库发送携带有所述目标数据标识的第二查询请求，以及，接收并保存所述数据库发送的目标数据信息；所述数据库，用于接收所述第一查询请求，根据所述基准事件标识确定目标事件标识，在事件表中查找所述目标事件标识对应的所述目标数据标识并向所述设备发送，接收所述第二查询请求，以及，在数据信息表中查找所述目标数据标识对应的所述目标数据信息并向所述设备发送；其中，所述基准事件标识用于反映所述设备上已保存的数据信息，所述目标事件标识用于反映所述设备上未保存的数据信息；所述目标事件标识用于标识在所述系统中出现过的目标数据操作事件，所述目标数据标识用于标识所述目标数据信息，所述目标数据信息是所述目标数据操作事件产生的信息。2.根据权利要求1所述的系统，其特征在于，所述设备，还用于响应于开机启动的触发指令，向所述数据库发送第三查询请求，以及，接收并保存所述数据信息表中所有的数据信息；所述数据库，还用于接收所述第三查询请求，响应于第三查询请求将所述数据信息表中所有的数据信息发送给所述设备。3.根据权利要求1所述的系统，其特征在于，所述基准事件标识为用于表示基准数据操作事件在所述系统中的出现顺序的第一编码，所述基准数据操作事件为在所述设备中已保存的数据信息所对应的数据操作事件中最后出现的事件，所述目标事件标识为用于表示所述目标数据操作事件在所述系统中的出现顺序的第二编码，所述第二编码大于所述第一编码。4.根据权利要求3所述的系统，其特征在于，所述设备，还用于：判断所述目标事件标识所表示的第二出现顺序相对于所述基准事件标识所表示的第一出现顺序是否为递增的顺序；响应于所述第一出现顺序相对于所述第二出现顺序为递增的顺序，执行所述向所述数据库发送携带有所述目标数据标识的第二查询请求；响应于所述第一出现顺序相对于所述第二出现顺序不是递增的顺序，记录所述目标事件标识并判断最近n次记录的目标事件标识是否相同；响应于最近n次记录的目标事件标识相同，执行向所述数据库发送携带有所述目标数据标识的第二查询请求，其中，n为预设值。5.根据权利要求1所述的系统，其特征在于，所述向所述数据库发送携带有所述目标数据标识的第二查询请求，具体为：通过目标事件类型对应的事件处理程序向所述数据库发送携带有所述目标数据标识的第二查询请求；所述接收并保存所述数据库发送的目标数据信息，具体为：通过所述目标事件类型对应的事件处理程序接收并保存所述目标数据信息；所述数据库，还用于在所述事件表中查找所述目标事件标识对应的目标事件类型并向所述设备发送；其中，所述目标事件类型用于表示所述目标数据操作事件的操作类型。6.根据权利要求1所述的系统，其特征在于，所述向数据库发送携带有基准事件标识的第一查询请求，具体为：按照预先设置的轮询周期，向所述数据库发送携带有所述基准事件标识的第一查询请求。7.一种数据同步的方法，其特征在于，应用于系统中用于执行数据操作的设备，包括：向数据库发送携带有基准事件标识的第一查询请求，以便所述数据库根据所述基准事件标识确定目标事件标识，在事件表中查找所述目标事件标识对应的目标数据标识并向所述设备发送，其中，所述基准事件标识用于反映所述设备上已保存的数据信息，所述目标事件标识用于反映所述设备上未保存的数据信息；向所述数据库发送携带有所述目标数据标识的第二查询请求，以便所述数据库在数据信息表中查找所述目标数据标识对应的目标数据信息并向所述设备发送；接收并保存所述目标数据信息；其中，所述目标事件标识用于标识在所述系统中出现过的目标数据操作事件，所述目标数据标识用于标识所述目标数据信息，所述目标数据信息是所述目标数据操作事件产生的信息。8.根据权利要求7所述的方法，其特征在于，还包括：响应于开机启动的触发指令，向所述数据库发送第三查询请求，以便所述数据库响应于第三查询请求，将所述数据信息表中所有的数据信息发送给所述设备；接收并保存所述数据信息表中所有的数据信息。9.根据权利要求7所述的方法，其特征在于，所述基准事件标识为用于表示基准数据操作事件在所述系统中的出现顺序的第一编码，所述基准数据操作事件为在所述设备中已保存的数据信息所对应的数据操作事件中最后出现的事件，所述目标事件标识为用于表示所述目标数据操作事件在所述系统中的出现顺序的第二编码，所述第二编码大于所述第一编码。10.根据权利要求9所述的方法，其特征在于，还包括：判断所述目标事件标识所表示的第二出现顺序相对于所述基准事件标识所表示的第一出现顺序是否为递增的顺序；响应于所述第一出现顺序相对于所述第二出现顺序为递增的顺序，执行所述向所述数据库发送携带有所述目标数据标识的第二查询请求；响应于所述第一出现顺序相对于所述第二出现顺序不是递增的顺序，记录所述目标事件标识并判断最近n次记录的目标事件标识是否相同，其中，n为预设值；响应于最近n次记录的目标事件标识相同，执行向所述数据库发送携带有所述目标数据标识的第二查询请求。11.根据权利要求7所述的方法，其特征在于，所述向所述数据库发送携带有所述目标数据标识的第二查询请求，具体为：通过目标事件类型对应的事件处理程序向所述数据库发送携带有所述目标数据标识的第二查询请求；所述接收并保存所述目标数据信息，具体为：通过所述目标事件类型对应的事件处理程序接收并保存所述目标数据信息；其中，所述目标事件类型是所述数据库在所述事件表中查找所述目标事件标识对应的目标事件类型并向所述设备发送的，所述目标事件类型用于表示所述目标数据操作事件的操作类型。12.根据权利要求7所述的方法，其特征在于，所述向数据库发送携带有基准事件标识的第一查询请求，具体为：按照预先设置的轮询周期，向所述数据库发送携带有所述基准事件标识的第一查询请求。13.一种数据同步的方法，其特征在于，应用于系统中的数据库，包括：接收设备发送的第一查询请求，所述设备为所述系统中用于执行数据操作的设备，所述第一查询请求中携带有基准事件标识，所述基准事件标识用于反映所述设备上已保存的数据信息；根据所述基准事件标识确定目标事件标识，并在事件表中查找所述目标事件标识对应的目标数据标识并向所述设备发送，所述目标事件标识用于反映所述设备上未保存的数据信息；接收所述设备发送的第二查询请求，所述第二查询请求中携带有所述目标数据标识；在数据信息表中查找所述目标数据标识对应的目标数据信息并向所述设备发送，以便所述设备保存所述目标数据信息；其中，所述目标事件标识用于标识在所述系统中出现过的目标数据操作事件，所述目标数据标识用于标识所述目标数据信息，所述目标数据信息是所述目标数据操作事件产生的信息。14.根据权利要求13所述的方法，其特征在于，还包括：接收所述设备发送的第三查询请求，所述第三查询请求是所述设备响应于开机启动的触发指令而发送的；响应于第三查询请求，查找所述数据信息表中所有的数据信息并向所述设备发送，以便所述设备接收并保存所述数据信息表中的数据信息。15.根据权利要求13所述的方法，其特征在于，所述基准事件标识为用于表示基准数据操作事件在所述系统中的出现顺序的编码，所述基准数据操作事件为在所述设备中已保存的数据信息所对应的数据操作事件中最后出现的事件，所述目标事件标识为用于表示所述目标数据操作事件在所述系统中的出现顺序的编码，所述基准事件标识大于所述目标事件标识。16.根据权利要求13所述的方法，其特征在于，还包括：在所述事件表中查找所述目标事件标识对应的目标事件类型并向所述设备发送，以便所述设备通过所述目标事件类型对应的事件处理器发送所述第二查询请求以及接收并保存所述目标数据信息；其中，所述目标事件类型用于表示所述目标数据操作事件的操作类型。17.一种数据同步的装置，其特征在于，配置于系统中用于执行数据操作的设备，包括：第一发送单元，用于向数据库发送携带有基准事件标识的第一查询请求，以便所述数据库根据所述基准事件标识确定目标事件标识，在事件表中查找所述目标事件标识对应的目标数据标识并向所述设备发送，其中，所述基准事件标识用于反映所述设备上已保存的数据信息，所述目标事件标识用于反映所述设备上未保存的数据信息；第二发送单元，用于向所述数据库发送携带有所述目标数据标识的第二查询请求，以便所述数据库在数据信息表中查找所述目标数据标识对应的目标数据信息并向所述设备发送；第一保存单元，用于接收并保存所述目标数据信息；其中，所述目标事件标识用于标识在所述系统中出现过的目标数据操作事件，所述目标数据标识用于标识所述目标数据信息，所述目标数据信息是所述目标数据操作事件产生的信息。18.根据权利要求17所述的装置，其特征在于，还包括：第三发送单元，用于响应于开机启动的触发指令，向所述数据库发送第三查询请求，以便所述数据库响应于第三查询请求，将所述数据信息表中所有的数据信息发送给所述设备；第二保存单元，用于接收并保存所述数据信息表中所有的数据信息。19.根据权利要求17所述的装置，其特征在于，所述基准事件标识为用于表示基准数据操作事件在所述系统中的出现顺序的第一编码，所述基准数据操作事件为在所述设备中已保存的数据信息所对应的数据操作事件中最后出现的事件，所述目标事件标识为用于表示所述目标数据操作事件在所述系统中的出现顺序的第二编码，所述第二编码大于所述第一编码。20.根据权利要求19所述的装置，其特征在于，还包括：第一判断单元，用于判断所述目标事件标识所表示的第二出现顺序相对于所述基准事件标识所表示的第一出现顺序是否为递增的顺序；第一执行单元，用于响应于所述第一出现顺序相对于所述第二出现顺序为递增的顺序，执行所述向所述数据库发送携带有所述目标数据标识的第二查询请求；第二判断单元，用于响应于所述第一出现顺序相对于所述第二出现顺序不是递增的顺序，记录所述目标事件标识并判断最近n次记录的目标事件标识是否相同，其中，n为预设值；第二执行单元，用于响应于最近n次记录的目标事件标识相同，执行向所述数据库发送携带有所述目标数据标识的第二查询请求。21.根据权利要求17所述的装置，其特征在于，所述第二发送单元，具体用于：通过目标事件类型对应的事件处理程序向所述数据库发送携带有所述目标数据标识的第二查询请求；所述第一保存单元，具体用于：通过所述目标事件类型对应的事件处理程序接收并保存所述目标数据信息；其中，所述目标事件类型是所述数据库在所述事件表中查找所述目标事件标识对应的目标事件类型并向所述设备发送的，所述目标事件类型用于表示所述目标数据操作事件的操作类型。22.根据权利要求17所述的装置，其特征在于，所述第一发送单元，具体用于：按照预先设置的轮询周期，向所述数据库发送携带有所述基准事件标识的第一查询请求。23.一种数据同步的装置，其特征在于，配置于系统中的数据库，包括：第一接收单元，用于接收设备发送的第一查询请求，所述设备为所述系统中用于执行数据操作的设备，所述第一查询请求中携带有基准事件标识，所述基准事件标识用于反映所述设备上已保存的数据信息；第一查找单元，用于根据所述基准事件标识确定目标事件标识，并在事件表中查找所述目标事件标识对应的目标数据标识并向所述设备发送，所述目标事件标识用于反映所述设备上未保存的数据信息；第二接收单元，用于接收所述设备发送的第二查询请求，所述第二查询请求中携带有所述目标数据标识；第二查找单元，用于在数据信息表中查找所述目标数据标识对应的目标数据信息并向所述设备发送，以便所述设备保存所述目标数据信息；其中，所述目标事件标识用于标识在所述系统中出现过的目标数据操作事件，所述目标数据标识用于标识所述目标数据信息，所述目标数据信息是所述目标数据操作事件产生的信息。24.根据权利要求23所述的装置，其特征在于，还包括：第三接收单元，用于接收所述设备发送的第三查询请求，所述第三查询请求是所述设备响应于开机启动的触发指令而发送的；第三查找单元，用于响应于第三查询请求，查找所述数据信息表中所有的数据信息并向所述设备发送，以便所述设备接收并保存所述数据信息表中的数据信息。25.根据权利要求23所述的装置，其特征在于，所述基准事件标识为用于表示基准数据操作事件在所述系统中的出现顺序的编码，所述基准数据操作事件为在所述设备中已保存的数据信息所对应的数据操作事件中最后出现的事件，所述目标事件标识为用于表示所述目标数据操作事件在所述系统中的出现顺序的编码，所述基准事件标识大于所述目标事件标识。26.根据权利要求23所述的装置，其特征在于，还包括：第四查找单元，用于在所述事件表中查找所述目标事件标识对应的目标事件类型并向所述设备发送，以便所述设备通过所述目标事件类型对应的事件处理器发送所述第二查询请求以及接收并保存所述目标数据信息；其中，所述目标事件类型用于表示所述目标数据操作事件的操作类型。27.一种数据操作事件的监听方法，其特征在于，应用于系统中用于执行数据操作的设备，包括：向数据库发送携带有基准事件标识的第一查询请求，以便所述数据库根据所述基准事件标识确定目标事件标识，在事件表中查找所述目标事件标识对应的目标数据标识并向所述设备发送；接收所述数据库发送的所述目标事件标识，并根据所述目标事件标识识别所述系统中所述设备未同步过数据的目标数据操作事件；其中，所述基准事件标识用于反映所述设备上已保存的数据信息，所述目标事件标识用于反映所述设备上未保存的数据信息，所述目标事件标识用于标识在所述系统中出现过的目标数据操作事件。28.根据权利要求27所述的方法，其特征在于，所述基准事件标识为用于表示基准数据操作事件在所述系统中的出...
【专利技术属性】
技术研发人员：方正，刘少伟，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。