数据复制方法及装置制造方法及图纸

本发明专利技术提供了一种数据复制方法及装置，该数据复制方法包括：接收数据发布端的数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的至少部分发布数据；向数据订阅端发送发布数据分发请求，根据不同数据订阅端的订阅需求并行向所述数据订阅端发送所述发布数据。利用本发明专利技术，可以将原有一对一的数据转移方式通过统一分发的方式实现，不同的数据复制任务设置各自的进程中处理；各个数据复制任务互不影响，便于管理和运维。

【技术实现步骤摘要】
数据复制方法及装置
本专利技术涉及数据实时处理技术，特别涉及一种数据复制方法及装置。
技术介绍
对于处理实时数据的IT系统，经常建设有异地双活生产中心及或异地灾备中心。在这类系统中，经常需要在信息中心内部不同生产系统之间、或异地不同信息中心之间进行连续的数据复制。数据复制技术具有实时性高、数据丢失少或零丢失、容灾恢复快、投资较高等特点。现有的数据复制技术实现根据数据复制的层次可以分为：存储系统层数据复制、虚拟存储数据复制、操作系统数据复制和应用层数据复制。存储系统层的数据复制：对于主机的操作系统是完全透明的，是对于将来增加新的操作平台，可不用增加任何复制软件的投资，即可实现复制。这样管理比较简单，最大程度保护了用户的投资，达到充分利用资源的目的。基于存储的复制一般都是采ATM或光纤通道作为远端的链路连接，不仅可以做到异步复制，更可以做到同步复制，使两端数据可做到实时同步的目的，保证了数据的一致性。但是由于基于存储是由存储硬件厂商提供的，在兼容性方面有局限性。用户要使用同一厂商的devices，给用户造成的选择面太小，成本容易提高，并且对线路带宽的要求通常也较高。虚拟存储复制技术：伴随着存储局域网的出现引入的，通过构建虚拟存储上实现数据复制。通过存储虚拟化设备实现卷镜像复制功能的优势在于操作由存储虚拟化设备来完成、压力集中的存储虚拟化设备上，不需要主机参与，数据复制进程安全稳定。但是该技术需要增加专用存储虚拟化设备，有的需要在主机端需要安装存储虚拟化设备的客户端软件，比如UITSVM；有的需要依赖高端智能交换机，比如EMCVSM。目前使用这种技术的产品还不是很多，成熟性还有待提高，具有这种功能的专用设备价格也相对较高，所以采用这种方案的用户比较少。操作系统层数据复制：主要通过操作系统或者数据卷管理器来实现对数据的远程复制。这种复制技术要求本地系统和远端系统的主机是同构的，其实现方式是基于主机的数据复制，容灾方式工作在主机的卷管理器这一层，通过磁盘卷的镜像或复制，实现数据的容灾。这种方式也不需要在两边采用同样的存储设备，具有较大的灵活性，但是复制功能会多少占用一些主机的CPU资源，对主机的性能有一定的影响。应用层数据复制：大多数IT系统使用的数据复制应用仅针对单个数据源对单个目标端，存在部署不统一，服务不通用，数据库耦合性较强的问题；对于单个数据源需要向多目标端复制数据的需求，往往需要同一数据需要从源库获取多次，对源库影响较大。
技术实现思路
本专利技术实施例提供了一种数据复制方法及装置，以独立的执行不同的数据复制任务，使得各个数据复制任务互不影响，便于管理和运维。为了实现上述目的，本专利技术实施例提供了一种数据复制方法，该数据复制方法包括：接收数据发布端的数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的至少部分发布数据；向数据订阅端发送发布数据分发请求，根据不同数据订阅端的订阅需求并行向所述数据订阅端发送所述发布数据。一实施例中，该数据复制方法还包括：将所述发布数据缓存至本地。一实施例中，根据不同数据订阅端的订阅需求并发向所述订阅端发送所述发布数据，包括：根据不同数据订阅端的订阅需求进行对应的形变处理，将形变处理后的所述发布数据并行发送至不同的所述数据订阅端。一实施例中，根据所述数据发布请求向所述数据发布端发送数据接收应答请求，以使所述数据发布端继续发送剩余的发布数据。一实施例中，该数据复制方法还包括：根据所述数据发布端和/或所述数据订阅端的接入请求进行接入认证，以建立与所述数据发布端和/或所述数据订阅端的连接，其中，所述接入请求中包括：端口、地址及进程编号。为了实现上述目的，本专利技术实施例还提供了一种数据复制方法，该数据复制方法包括：向数据分发服务端发送数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的部分发布数据；若接收到所述数据分发服务端发送的数据接收应答请求，基于所述数据接收应答请求向所述数据分发服务端发送剩余的发布数据。为了实现上述目的，本专利技术实施例还提供了一种数据复制方法，该数据复制方法包括：接收数据分发服务端发送的发布数据分发请求；根据所述发布数据分发请求从所述数据分发服务端的缓存中获取对应的发布数据，并将所述发布数据保持至目标数据库。为了实现上述目的，本专利技术实施例还提供了一种数据复制装置，该数据复制装置包括：请求接收单元，用于接收数据发布端的数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的至少部分发布数据；数据并行发送单元，用于向数据订阅端发送发布数据分发请求，根据不同数据订阅端的订阅需求并行向所述数据订阅端发送所述发布数据。一实施例中，该数据复制装置还包括：存储单元，用于将所述发布数据缓存至本地。一实施例中，所述数据并行发送单元具体用于：根据不同数据订阅端的订阅需求进行对应的形变处理，将形变处理后的所述发布数据并行发送至不同的所述数据订阅端。一实施例中，该数据复制装置还包括：应答发送单元，用于根据所述数据发布请求向所述数据发布端发送数据接收应答请求，以使所述数据发布端继续发送剩余的发布数据。一实施例中，该数据复制装置还包括：终端接入单元，用于根据所述数据发布端和/或所述数据订阅端的接入请求进行接入认证，以建立与所述数据发布端和/或所述数据订阅端的连接，其中，所述接入请求中包括：端口、地址及进程编号。为了实现上述目的，本专利技术实施例还提供了一种数据复制装置，该数据复制装置包括：请求发送单元，用于向数据分发服务端发送数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的部分发布数据；数据发送单元，用于基于所述数据接收应答请求向所述数据分发服务端发送剩余的发布数据。为了实现上述目的，本专利技术实施例还提供了一种数据复制装置，该数据复制装置包括：请求接收单元，用于接收数据分发服务端发送的发布数据分发请求；数据获取单元，用于根据所述发布数据分发请求从所述数据分发服务端的缓存中获取对应的发布数据，并将所述发布数据保持至目标数据库。利用本专利技术，可以将原有一对一的数据转移方式通过统一分发的方式实现，不同的数据源由各自的发布端实现，不同的数据目标由各自的订阅端实现；不同的数据复制任务设置各自的进程处理；各个数据复制任务互不影响，便于管理和运维。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例的数据复制方法流程图；图2为本专利技术实施例的数据分发服务端的结构示意图；图3为本专利技术一实施例的数据复制装置的结构示意图图4为本专利技术另一实施例的数据复制装置的结构示意图；图5为本专利技术一实施例的数据复制方法流程图；图6为本专利技术一实施例的数据复制装置的结构示意图；图7为本专利技术一实施例的数据复制方法流程图；图8为本专利技术一实施例的数据复制装置的结构示意图；图9为本专利技术实施例的数据复制系统的结构示意图；图10为本专利技术实施例的数据复制实现示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的本文档来自技高网...

【技术保护点】
一种数据复制方法，其特征在于，包括：接收数据发布端的数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的至少部分发布数据；向数据订阅端发送发布数据分发请求，根据不同数据订阅端的订阅需求并行向所述数据订阅端发送所述发布数据。

【技术特征摘要】
1.一种数据复制方法，其特征在于，包括：接收数据发布端的数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的至少部分发布数据；向数据订阅端发送发布数据分发请求，根据不同数据订阅端的订阅需求并行向所述数据订阅端发送所述发布数据。2.根据权利要求1所述的数据复制方法，其特征在于，还包括：将所述发布数据缓存至本地。3.根据权利要求1所述的数据复制方法，其特征在于，根据不同数据订阅端的订阅需求并发向所述订阅端发送所述发布数据，包括：根据不同数据订阅端的订阅需求进行对应的形变处理，将形变处理后的所述发布数据并行发送至不同的所述数据订阅端。4.根据权利要求1所述的数据复制方法，其特征在于，还包括：根据所述数据发布请求向所述数据发布端发送数据接收应答请求，以使所述数据发布端继续发送剩余的发布数据。5.根据权利要求1所述的数据复制方法，其特征在于，还包括：根据所述数据发布端和/或所述数据订阅端的接入请求进行接入认证，以建立与所述数据发布端和/或所述数据订阅端的连接，其中，所述接入请求中包括：端口、地址及进程编号。6.一种数据复制方法，其特征在于，包括：向数据分发服务端发送数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的部分发布数据；若接收到所述数据分发服务端发送的数据接收应答请求，基于所述数据接收应答请求向所述数据分发服务端发送剩余的发布数据。7.一种数据复制方法，其特征在于，包括：接收数据分发服务端发送的发布数据分发请求；根据所述发布数据分发请求从所述数据分发服务端的缓存中获取对应的发布数据，并将所述发布数据保持至目标数据库。8.一种数据复制装置，其特征在于，包括：请求接收单元，用于接收数据发布端的数据发布请求，所述数据发布请求包括所述数据发布端从源数据库中读取的至少部分发布数据；数据并行发送单元，用于向数据订阅端发送发布数据分发请求，根据不同数据订阅端的订阅需求并行向所述数据订阅端发送所述发布数据。9.根据权利要求8所述的数据复制装置，其特征在于，还...

【专利技术属性】
技术研发人员：张梦佼，张炼，李谦，张敏，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：上海,31