用于分布式场景中数据处理的方法和设备技术

本申请的目的是提供一种用于分布式场景中数据处理的方法和设备，通过主设备获取本地提交的第一请求信息，并基于所述第一请求信息创建不可合并类型的主区业务数据时，标记其写入区和请求归属区为主设备所在区；所述主设备通过异步复制通道向从设备发送所更新的主区业务数据；当所述主设备不可服务时，所述从设备获取所述主设备对应的第一请求信息，并基于所述第一请求信息创建不可合并类型的主区业务数据时记录其写入区为从设备所在区、请求归属区为主设备所在区，并禁止修改不可合并类型的主区业务数据；保护了应用系统不受由于多地同时写带来的数据损坏的问题，从而确保了在多地同时修改的场景下，能保持数据正确性和最终一致性。

Methods and devices for data processing in distributed scenes

This application is intended to provide a method and apparatus for distributed data processing in the scene, obtaining the first request information submitted by the local main equipment, and main business data of the first request information can not be created based on the type of merger, the mark writing region and requested home district based equipment in the area; the the main equipment through the channel to the main business district of asynchronous replication update data sent from the device; when the main equipment for the service, the first request information from devices to obtain the master device corresponding to the main business district, and the data of the first request information can not be created based on the type of recording the merger write area in the District, where the district area is the main equipment belonging to request from the device, and can not be prohibited to modify the main area of business data merge type; protect the application system due to the The problem of data damage caused by writing ensures that data correctness and final consistency can be maintained under multiple simultaneous modifications.

【技术实现步骤摘要】
用于分布式场景中数据处理的方法和设备
本申请涉及计算机领域，尤其涉及一种用于分布式场景中数据处理的技术。
技术介绍
信息化进程不断加快的今天，互联网向更宽更广方向发展，各行各业的业务越来越多，当业务的规模扩大到跨地域甚至全球范围时，业务数据通常需要在多地之间复制。城际之间的网络延迟通常在数十毫秒以上，如果采用同步复制的方式，用户的体验将会大打折扣，并且同步复制会降低系统整体的可用性。因此，目前一般采用异步复制，但异步复制使得数据在多地之间产生冲突从而导致数据一致性被破坏。Paxos是一种基于消息传递的一致性算法，被大量应用在分布式计算领域，其目的在于如何就某一个决议达成一致性。但Paxos的吞吐量低，一个决议必须在多数参与者确认后才能提交，网络时延高。另外，目前的一些数据传输设施，虽提供了数据的异地复制，但不能控制由于数据丢失带来的经济损失且数据只能在一地写。
技术实现思路
本申请的目的是提供一种于分布式场景中数据处理的方法与设备，以解决在多地同时修改的场景下，数据的正确性和一致性的问题。根据本申请的一个方面，提供了一种在主设备端用于分布式场景中数据处理的方法，包括：获取本地提交的第一请求信息，并基于所述第一请求信息对本地存储的主区业务数据进行更新，其中，当创建不可合并类型的主区业务数据时，标记其写入区和请求归属区均为主设备所在区；通过异步复制通道向从设备发送所更新的主区业务数据；在所述主设备不可服务后进行恢复期间，通过异步复制通道接收在不可服务期间所述从设备基于所述第一请求信息所更新的主区业务数据，以更新本地存储的所述主区业务数据；当所述主设备恢复完成后，将所接收的不可合并类型的主区业务数据的写入区更新为所述主设备所在区，重新获取本地提交的第一请求信息，并基于所述第一请求信息对本地存储的主区业务数据进行更新。根据本申请的一个方面，提供了一种在从设备端用于分布式场景中数据处理的方法，包括：接收并存储主设备通过异步复制通道发送的所更新的主区业务数据；当所述主设备不可服务时，获取所述主设备对应的第一请求信息，并基于所述第一请求信息对所存储的相应主区业务数据进行更新，其中，创建不可合并类型的主区业务数据时记录其写入区为从设备所在区、请求归属区为主设备所在区，并禁止修改不可合并类型的主区业务数据；在所述主设备服务恢复期间，通过异步复制通道将不可服务期间所更新的主区业务数据发送至所述主设备；当所述主设备恢复完成后，不再获取所述第一请求信息。根据本申请的另一个方面，提供了一种在分布式系统中用于分布式场景中数据处理的方法，其中，所述方法包括：主设备获取本地提交的第一请求信息，并基于所述第一请求信息对本地存储的主区业务数据进行更新，其中，当创建不可合并类型的主区业务数据时，标记其写入区和请求归属区为主设备所在区；所述主设备通过异步复制通道向从设备发送所更新的主区业务数据；当所述主设备不可服务时，所述从设备获取所述主设备对应的第一请求信息，并基于所述第一请求信息对所存储的相应主区业务数据进行更新，其中，创建不可合并类型的主区业务数据时记录其写入区为从设备所在区、请求归属区为主设备所在区，并禁止修改不可合并类型的主区业务数据；在所述主设备不可服务后进行恢复期间，所述从设备通过异步复制通道将不可服务期间所更新的主区业务数据发送至所述主设备，所述主设备更新本地存储的所述主区业务数据；当所述主设备恢复完成后，将所接收的不可合并类型的主区业务数据的写入区更新为所述主设备所在区，所述主设备重新获取本地提交的第一请求信息，并基于所述第一请求信息对本地存储的主区业务数据进行更新，所述从设备不再获取所述第一请求信息。根据本申请的再一方面，还提供了一种用于分布式场景中数据处理的主设备，包括：获取装置，用于获取本地提交的第一请求信息，并基于所述第一请求信息对本地存储的主区业务数据进行更新，其中，当创建不可合并类型的主区业务数据时，标记其写入区和请求归属区为主设备所在区；第一发送装置，用于通过异步复制通道向从设备发送所更新的主区业务数据；更新装置，用于在所述主设备不可服务后进行恢复期间，通过异步复制通道接收在不可服务期间所述从设备基于所述第一请求信息所更新的主区业务数据，以更新本地存储的所述主区业务数据；恢复装置，用于当所述主设备恢复完成后，将所接收的不可合并类型的主区业务数据的写入区更新为所述主设备所在区，重新获取本地提交的第一请求信息，并基于所述第一请求信息对本地存储的主区业务数据进行更新。根据本申请的再一方面，还提供了一种用于分布式场景中数据处理的从设备，包括：接收装置，用于接收并存储主设备通过异步复制通道发送的所更新的主区业务数据；处理装置，用于当所述主设备不可服务时，获取所述主设备对应的第一请求信息，并基于所述第一请求信息对所存储的相应主区业务数据进行更新，其中，创建不可合并类型的主区业务数据时记录其写入区为从设备所在区、请求归属区为主设备所在区，并禁止修改不可合并类型的主区业务数据；第二发送装置，用于在所述主设备服务恢复期间，通过异步复制通道将不可服务期间所更新的主区业务数据发送至所述主设备；停止获取装置，用于当所述主设备恢复完成后，不再获取所述第一请求信息。根据本申请的再一方面，还提供了一种用于分布式场景中数据处理的系统，其中，所述系统包括：主设备和从设备；其中，所述主设备包括：获取装置，用于获取本地提交的第一请求信息，并基于所述第一请求信息对本地存储的主区业务数据进行更新，其中，当创建不可合并类型的主区业务数据时，标记其写入区和请求归属区为主设备所在区；第一发送装置，用于通过异步复制通道向从设备发送所更新的主区业务数据；更新装置，用于在所述主设备不可服务后进行恢复期间，通过异步复制通道接收在不可服务期间所述从设备基于所述第一请求信息所更新的主区业务数据，以更新本地存储的所述主区业务数据；恢复装置，用于当所述主设备恢复完成后，将所接收的不可合并类型的主区业务数据的写入区更新为所述主设备所在区，重新获取本地提交的第一请求信息，并基于所述第一请求信息对本地存储的主区业务数据进行更新；所述从设备包括：接收装置，用于接收并存储所述主设备通过异步复制通道发送的所更新的主区业务数据；处理装置，用于当所述主设备不可服务时，获取所述主设备对应的第一请求信息，并基于所述第一请求信息对所存储的相应主区业务数据进行更新，其中，创建不可合并类型的主区业务数据时记录其写入区为从设备所在区、请求归属区为主设备所在区，并禁止修改不可合并类型的主区业务数据；第二发送装置，用于在所述主设备服务恢复期间，通过异步复制通道将不可服务期间所更新的主区业务数据发送至所述主设备；停止获取装置，用于当所述主设备恢复完成后，不再获取所述第一请求信息。此外，本申请还提供了一种用于分布式场景中数据处理的主设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：获取本地提交的第一请求信息，并基于所述第一请求信息对本地存储的主区业务数据进行更新，其中，当创建不可合并类型的主区业务数据时，标记其写入区和请求归属区均为主设备所在区；通过异步复制通道向从设备发送所更新的主区业务数据；在所述主设备不可服务后进行恢复期间，通过异步复制通道接本文档来自技高网...

【技术保护点】
一种在主设备端用于分布式场景中数据处理的方法，其中，所述方法包括：获取本地提交的第一请求信息，并基于所述第一请求信息对本地存储的主区业务数据进行更新，其中，当创建不可合并类型的主区业务数据时，标记其写入区和请求归属区均为主设备所在区；通过异步复制通道向从设备发送所更新的主区业务数据；在所述主设备不可服务后进行恢复期间，通过异步复制通道接收在不可服务期间所述从设备基于所述第一请求信息所更新的主区业务数据，以更新本地存储的所述主区业务数据；当所述主设备恢复完成后，将所接收的不可合并类型的主区业务数据的写入区更新为所述主设备所在区，重新获取本地提交的第一请求信息，并基于所述第一请求信息对本地存储的主区业务数据进行更新。

【技术特征摘要】
2016.03.10 CN 20161013644091.一种在主设备端用于分布式场景中数据处理的方法，其中，所述方法包括：获取本地提交的第一请求信息，并基于所述第一请求信息对本地存储的主区业务数据进行更新，其中，当创建不可合并类型的主区业务数据时，标记其写入区和请求归属区均为主设备所在区；通过异步复制通道向从设备发送所更新的主区业务数据；在所述主设备不可服务后进行恢复期间，通过异步复制通道接收在不可服务期间所述从设备基于所述第一请求信息所更新的主区业务数据，以更新本地存储的所述主区业务数据；当所述主设备恢复完成后，将所接收的不可合并类型的主区业务数据的写入区更新为所述主设备所在区，重新获取本地提交的第一请求信息，并基于所述第一请求信息对本地存储的主区业务数据进行更新。2.根据权利要求1所述的方法，其中，所述获取本地提交的第一请求信息，并基于所述第一请求信息对本地存储的主区业务数据进行更新包括：获取所述第一请求信息；解析所述第一请求信息所请求处理的主区业务数据的数据信息，所述数据信息包括：数据类型、操作类型和/或相关区域信息，其中，所述数据类型包括可合并类型和不可合并类型，所述操作类型包括创建操作和修改操作，所述相关区域信息包括写入区和请求归属区；根据所述第一请求信息所请求处理的主区业务数据的数据信息，对所述主区业务数据进行更新。3.根据权利要求2所述的方法，其中，根据所述第一请求信息所请求处理的主区业务数据的数据信息，基于所述第一请求信息对所述主区业务数据进行更新包括：当所述第一请求信息请求对不可合并类型的主区业务数据进行修改操作时，判断所述不可合并类型的主区业务数据的写入区是否为所述主设备所在区，若否，则禁止修改相应所述不可合并类型的主区业务数据，若是，则修改相应所述不可合并类型的主区业务数据；当所述第一请求信息请求不可合并类型的主区业务数据进行创建操作时，创建相应主区业务数据并标记其写入区和请求归属区均为所述主设备所在区；当所述第一请求信息请求对可合并类型的主区业务数据进行创建操作或修改操作时，直接对相应所述主区业务数据进行创建操作或修改操作。4.根据权利要求1至3中任一项所述的方法，其中，所述方法还包括：获取所述从设备所发送的确认信息，所述确认信息包括确认接收到所更新的主区业务数据；以获取到所述确认信息的时间为起点且恢复目标时长为时间长度，更新发送窗口期限。5.根据权利要求4所述的方法，其中，所述通过异步复制通道向从设备发送所更新的主区业务数据包括：判断当前时间是否在所述发送窗口期限内，若是，则通过异步复制通道向所述从设备发送所更新的主区业务数据，若否，则等待所述确认信息。6.一种从设备端用于分布式场景中数据处理的方法，其中，所述方法包括：接收并存储主设备通过异步复制通道发送的所更新的主区业务数据；当所述主设备不可服务时，获取所述主设备对应的第一请求信息，并基于所述第一请求信息对所存储的相应主区业务数据进行更新，其中，创建不可合并类型的主区业务数据时记录其写入区为从设备所在区、请求归属区为主设备所在区，并禁止修改不可合并类型的主区业务数据；在所述主设备服务恢复期间，通过异步复制通道将不可服务期间所更新的主区业务数据发送至所述主设备；当所述主设备恢复完成后，不再获取所述第一请求信息。7.根据权利要求6所述的方法，其中，所述当所述主设备不可服务时，获取所述主设备对应的第一请求信息，并基于所述第一请求信息对所存储的相应主区业务数据进行更新包括：当接收到所述主设备通过异步复制通道发送的所更新的主区业务数据后，向所述主设备发送确认信息。8.根据权利要求6所述的方法，其中，所述通过异步复制通道将不可服务期间所更新的主区业务数据发送至所述主设备期间还包括：继续获取所述第一请求信息，并基于所述第一请求信息对所存储的相应主区业务数据进行更新，其中，禁止对不可合并类型的主区业务数据进行修改操作和创建操作。9.根据权利要求6所述的方法，其中，所述方法还包括：获取本地提交的第二请求信息，并基于所述第二请求信息对本地存储的从区业务数据进行更新，其中，当创建不可合并类型的从区业务数据时，标记其写入区和请求归属区为从设备所在区。10.根据权利要求6所述的方法，其中，所述基于所述第二请求信息对本地存储的从区业务数据进行更新还包括：当所述第二请求信息请求对所述主区业务数据进行修改操作时，判断所述主区业务数据的数据类型，当所述主区业务数据为可合并类型则进行修改操作，当所述主区业务数据为不可合并类型则禁止进行修改操作。11.根据权利要求6所述的方法，其中，所述方法还包括：将所接收并存储的所述主设备通过异步复制通道发送的所更新的主区业务数据标记为不再转发数据。12.一种在分布式系统中用于分布式场景中数据处理的方法，其中，所述方法包括：主设备获取本地提交的第一请求信息，并基于所述第一请求信息对本地存储的主区业务数据进行更新，其中，当创建不可合并类型的主区业务数据时，标记其写入区和请求归属区为主设备所在区；所述主设备通过异步复制通道向从设备发送所更新的主区业务数据；当所述主设备不可服务时，所述从设备获取所述主设备对应的第一请求信息，并基于所述第一请求信息对所存储的相应主区业务数据进行更新，其中，创建不可合并类型的主区业务数据时记录其写入区为从设备所在区、请求归属区为主设备所在区，并禁止修改不可合并类型的主区业务数据；在所述主设备不可服务后进行恢复期间，所述从设备通过异步复制通道将不可服务期间所更新的主区业务数据发送至所述主设备，所述主设备更新本地存储的所述主区业务数据；当所述主设备恢复完成后，将所接收的不可合并类型的主区业务数据的写入区更新为所述主设备所在区，所述主设备重新获取本地提交的第一请求信息，并基于所述第一请求信息对本地存储的主区业务数据进行更新，所述从设备不再获取所述第一请求信息。13.一种用于分布式场景中数据处理的主设备，其中，所述主设备包括：获取装置，用于获取本地提交的第一请求信息，并基于所述第一请求信息对本地存储的主区业务数据进行更新，其中，当创建不可合并类型的主区业务数据时，标记其写入区和请求归属区为主设备所在区；第一发送装置，用于通过异步复制通道向从设备发送所更新的主区业务数据；更新装置，用于在所述主设备不可服务后进行恢复期间，通过异步复制通道接收在不可服务期间所述从设备基于所述第一请求信息所更新的主区业务数据，以更新本地存储的所述主区业务数据；恢复装置，用于当所述主设备恢复完成后，将所接收的不可合并类型的主区业务数据的写入区更新为所述主设备所在区，重新获取本地提交的第一请求信息，并基于所述第一请求信息对本地存储的主区业务数据进行更新。14.根据权利要求13所述的主设备，其中，所述获取装置包括：获取单元，用于获取所述第一请求信息；解析单元，用于解析所述第一请求信息所请求处理的主区业务数据的数据信息，所述数据信息包括：数据类型、操作类型和/或相关区域信息，其中，所述数据类型包括可合并类型和不可合并类型，所述操作类型包括创建操作和修改操作，所述相关区域信息包括写入区和请求归属区；处理单元，用于根据所述第一请求信息所请求处理的主区业务数据的数据信息，对所述主区业务数据进行更新。15.根据权利要求14所述的主设备，其中，所述处理单元用于：当所述第一请求信息请求对不可合并类型的...

【专利技术属性】
技术研发人员：唐治洋，卢毅军，陶云峰，朱云锋，安凯歌，程霖，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY