云平台连续数据同步方法及其装置制造方法及图纸

本发明专利技术提供了一种云平台连续数据同步方法及其装置，该方法包括：客户端接收自数据发生装置发送的请求，并将请求并行发送至本地存储装置与异地存储装置；客户端不等待该请求所关联的数据在本地存储装置和/或异地存储装置中完成数据持久化，而等待未作出响应的本地存储装置或者异地存储装置作出响应，任务结束。通过本发明专利技术，在保证数据不发生丢失的前提下，又能够兼顾本地存储装置与异地存储装置对数据的吞吐能力，避免了云平台的计算性能的下降，提高了用户体验及降低了后台的计算开销。

Continuous data synchronization method and device for cloud platform

The invention provides a synchronization method and apparatus for continuous data cloud platform, the method includes: receiving data from the client device sends a request, and the request is sent to the parallel local storage and remote storage device; the client does not wait for the request associated with the data for data persistence in local storage and / or remote storage device, and not wait to make the response of the local storage device or remote storage device response task ends. According to the invention, to ensure that data is not lost under the premise, and can take into account the local storage device and remote storage device throughput of the data, to avoid the decline of computing performance of cloud platform, improve the user experience and reduce the computational overhead of the background.

【技术实现步骤摘要】

本专利技术涉及云计算
，尤其涉及一种云平台连续数据同步方法及其装置。
技术介绍
在云计算领域，对虚拟机磁盘执行数据保护时一般采用快照技术。用户可以选择定期或者不定期地对系统盘和数据盘做快照(snapshot)。快照技术可以将事故发生后的数据损失降低到一定范围内，比如，允许用户创建的快照个数。但是，快照技术只能将数据恢复至最近的一个快照点的状态，这个快照点之后产生的数据便无法恢复。快照技术虽然可以恢复到过去的某个快照点，但是当本地数据中心发生故障时，保存在本地数据中心的快照也无法使用，从而导致虚拟机磁盘数据无法保证一致性。此外，在云计算领域中对虚拟机磁盘数据进行保护还可采用异地备份的技术方案。异地备份的实现方式有两种，一种是异地快照备份，即定期或者不定期地将本地数据中心的快照复制到另外一个数据中心，当本地数据中心发生故障时，可以在异地数据中心将数据恢复至最近的一个快照点；另外一种是通过镜像的方式，在另外一个数据中心存放相同的数据。前者的缺点是数据只能恢复至最近的一个异地快照点；而后者的缺点是一旦源数据中心写入了错误的数据，异地数据中心也会存放错误的数据。随着企业对数据处理依赖程度的递增，少量数据的丢失会造成大量的经济损失。传统的数据备份和恢复一直采用周期性的备份和快照来实现。传统的备份方式和快照只能完成到固定时间点的数据恢复，两次备份之间的数据更新无法保护。随着数据量的增大，传统的备份方式和快照的RPO(RecoveryPointObjective，数据恢复点目标)和RTO(RecoveryTimeObjective，恢复时间目标)就显得过长，这对于一些对数据依赖性很高的信息系统是无法接受的。这类系统通常要求一天24小时不间断地运行，短时间的中断服务或者少量的数据丢失都可能带来巨大的业务损失。在基于云存储技术的实际应用中，通常都使用集群技术，将两台或多台计算机节点构成一种松散耦合的计算节点集合，为用户提供了更高效的容错和故障恢复能力，增加了对海量任务的实时处理能力，从而提供了更好的可靠性和实用性。对于云平台中连续数据保护通常采用异步方式或者同步方式实现。在异步方式中，数据请求从客户端发送过来之后，先将数据写入到本地集群和内存当中，然后返回给客户端一个应答，表示该数据请求已经完成，客户端可以发送后续的读写请求，当内存区域的数据达到一定的阈值，例如内存数据达到预先设定的大小或者达到一定时间的阈值，系统会启动一个额外的线程异步将内存数据复制到远端的数据集群当中，保证这部分本地集群和远端集群数据的一致性，该方案还有一些简单的变化，但是本质还是异步复制数据到远端集群达到数据保护的目的。异步方案的连续数据保护存在本地集群和远端集群数据不同步情况，在本地集群因为某种原因需要通过远端集群恢复数据的时候，可能存在不能恢复到最新的数据，在数据已经写到本地集群和内存中，但是数据还没有异步复制远端集群中，这个时候如果客户端所在物理节点因为某种原因导致内存数据丢失，这个时候数据可能就恢复不到最新的版本。同步方案针对异步方案存在本地集群和远端集群存在数据不同步的问题，同步方案采取数据请求同时发给本地集群和远端集群，只有本地集群和远端集群保证数据请求的数据已经持久化到本地集群和远端集群，客户端只有收到本地集群和远端集群的应答才会认为本次数据请求已经完成，客户端可以发送后续请求。
技术实现思路
本专利技术的目的在于公开一种云平台连续数据同步方法及其基于该方法的一种云平台连续数据同步装置，克服异步连续数据保护方式在本地集群和远端集群之间由于不同步所造成的数据丢失的缺陷；同时，克服同步连续数据保护方式中需要等待数据在本地集群和远端集群持久化的问题，避免在同步方式中云平台的计算性能的下降。为实现上述专利技术目的，本专利技术提供了一种云平台连续数据同步方法，客户端接收自数据发生装置发送的请求，将请求并行发送至本地存储装置与异地存储装置；客户端不等待该请求所关联的数据在本地存储装置和/或异地存储装置中完成数据持久化，而等待未作出响应的本地存储装置或者异地存储装置作出响应，任务结束。作为本专利技术的进一步改进，客户端不等待该请求所关联的数据在本地存储装置和/或异地存储装置中完成数据持久化，而等待未作出响应的本地存储装置或者异地存储装置作出响应，并允许本地存储装置与异地存储装置之间相差至少一个所述自客户端接收的请求所对应的延迟操作周期。作为本专利技术的进一步改进，所述本地存储装置和/或异地存储装置包括易失性存储器、非易失性存储器、数据库、计算节点、集群服务器或者软件定义存储；所述客户端被配置为Qemu或者KVM；所述数据发生装置被配置为虚拟机、应用程序、运行UI的计算机装置。作为本专利技术的进一步改进，所述Qemu或者KVM通过Librbd驱动将数据发生装置发送的请求并行发送至本地存储装置与异地存储装置。作为本专利技术的进一步改进，所述请求包括读操作、写操作、删除操作、数据迁移操作或者复制操作。作为本专利技术的进一步改进，还包括：对本地存储装置或者异地存储装置进行性能判定，以确定延迟操作周期。同时，本专利技术还公开了一种云平台连续数据同步装置，包括：客户端、本地存储装置、异地存储装置；客户端接收自数据发生装置发送的请求，将请求并行发送至本地存储装置与异地存储装置；客户端不等待该请求所关联的数据在本地存储装置和/或异地存储装置中完成数据持久化，而等待未作出响应的本地存储装置或者异地存储装置作出响应，任务结束。作为本专利技术的进一步改进，还包括与客户端相通信的缓存模块，所述缓存模块用于临时存储本地存储装置与异地存储装置对数据发生装置发送的请求所对应的数据；以及性能判定模块，所述性能判定模块用于对本地存储装置或者异地存储装置进行性能判定，以确定本地存储装置与异地存储装置在一个延迟操作周期所容忍的数据差异。作为本专利技术的进一步改进，还包括与客户端、本地存储装置及异地存储装置均相互通信的更新模块及采集模块，所述采集模块根据设定更新模块所设定的时间阈值T，对本体存储装置及异地存储装置的性能数据进行采集，并发送至更新模块；所述更新模块包含一种逻辑，所述逻辑能够根据采集模块发送的性能数据确定延迟操作周期。作为本专利技术的进一步改进，所述本地存储装置和/或异地存储装置包括易失性存储器、非易失性存储器、数据库、计算节点、集群服务器或者软件定义存储；所述客户端被配置为Qemu或者KVM；所述数据发生装置被配置为虚拟机、应用程序、运行UI的计算机装置。作为本专利技术的进一步改进，所述非易失性存储器由支持随机访问的固态存储装置、快闪存储器、相变存储器、强介电体存储器、磁记录式随时写入读出存储器、双向统一存储器、电阻RAM、NVDIMM或者RAMDISK之一构成。作为本专利技术的进一步改进，所述更新模块所设定的时间阈值T小于10秒。与现有技术相比，本专利技术的有益效果是：通过本专利技术，在保证数据不发生丢失的前提下，又能够兼顾本地存储装置与异地存储装置对数据的吞吐能力，避免了云平台的计算性能的下降，提高了用户体验，降低了后台的计算开销。附图说明图1为基于本专利技术一种云平台连续数据同步方法及其云平台连续数据同步装置所涉及的拓扑图；图2为实施例一中本地集群答应先于远端集群应答的序列图；图3为实施例二中远端集群答应先于本本文档来自技高网...

【技术保护点】
一种云平台连续数据同步方法，其特征在于：客户端接收自数据发生装置发送的请求，并将请求并行发送至本地存储装置与异地存储装置；客户端不等待该请求所关联的数据在本地存储装置和/或异地存储装置中完成数据持久化，而等待未作出响应的本地存储装置或者异地存储装置作出响应，任务结束。

【技术特征摘要】
1.一种云平台连续数据同步方法，其特征在于：客户端接收自数据发生装置发送的请求，并将请求并行发送至本地存储装置与异地存储装置；客户端不等待该请求所关联的数据在本地存储装置和/或异地存储装置中完成数据持久化，而等待未作出响应的本地存储装置或者异地存储装置作出响应，任务结束。2.根据权利要求1所述的云平台连续数据同步方法，其特征在于，客户端不等待该请求所关联的数据在本地存储装置和/或异地存储装置中完成数据持久化，而等待未作出响应的本地存储装置或者异地存储装置作出响应，并允许本地存储装置与异地存储装置之间相差至少一个所述自客户端接收的请求所对应的延迟操作周期。3.根据权利要求1所述的云平台连续数据同步方法，其特征在于，所述本地存储装置和/或异地存储装置包括易失性存储器、非易失性存储器、数据库、计算节点、集群服务器或者软件定义存储；所述客户端被配置为Qemu或者KVM；所述数据发生装置被配置为虚拟机、应用程序、运行UI的计算机装置。4.根据权利要求3所述的云平台连续数据同步方法，其特征在于，所述Qemu或者KVM通过Librbd驱动将数据发生装置发送的请求并行发送至本地存储装置与异地存储装置。5.根据权利要求1至4中任意一项所述的云平台连续数据同步方法，其特征在于，所述请求包括读操作、写操作、删除操作、数据迁移操作或者复制操作。6.根据权利要求5所述的云平台连续数据同步方法，其特征在于，还包括：对本地存储装置或者异地存储装置进行性能判定，以确定延迟操作周期。7.一种云平台连续数据同步装置，其特征在于，包括：客户端、本地存储装置、异地存储装置；客户端接收自数据发生装置发送的请求，并将请求并行发送至本地存储装置与异地存储装置...

【专利技术属性】
技术研发人员：许广彬，郑军，张银滨，刘继江，殳鑫鑫，李忠文，
申请(专利权)人：无锡华云数据技术服务有限公司，
类型：发明
国别省市：江苏;32