数据同步方法、装置及系统制造方法及图纸

本申请公开了一种数据同步方法、装置及系统。其中，该方法包括：接收客户端设备的第一请求，其中，该第一请求中携带有反映通道类型的通道标识ID；依据上述通道ID确定与上述通道ID对应的通道类型，其中，该通道类型包括以下之一：支持传输全量数据的第一通道、支持传输增量数据的第二通道、支持传输全量数据和增量数据的第三通道；依据所述通道类型确定数据读取方式，按照所述数据读取方式从预设数据库中读取数据，并将读取的数据发送至所述客户端设备。本申请解决了现有技术中无法通过同一数据通道服务实现不同类型的数据同步的技术问题。

Data synchronization method, device and system

【技术实现步骤摘要】
数据同步方法、装置及系统
本申请涉及计算机
，具体而言，涉及一种数据同步方法、装置及系统。
技术介绍
目前，数据库之间通常通过全量数据同步、增量数据同步、全量增量结合同步的方式，实现数据同步，由于全量数据同步与增量数据同步在数据读取方式、数据格式等方面，存在一些差异，因此，现有的各种数据库产品在实现全量数据同步和增量数据同步过程中，往往采用不同的实现方案。例如，对于全量数据同步需要使用全量数据通道，对于增量数据同步需要使用增量数据通道，对于全量增量结合的同步场景，需要先记录当前的时间或者表中增量数据的位置，再使用全量数据通道同步全量数据，在全量数据完成后使用增量数据通道从之前记录的时间点或者增量位置开始同步增量数据。但是，上述现有的数据同步方式中，对于不同的同步场景需要使用不同的数据通道；且全量增量结合的同步场景中，同步流程较复杂，无法实现从全量数据同步流程自动转到增量数据同步流程；此外，由于全量数据通道中的数据格式与增量数据通道中的数据格式存在差别，业务方需要处理两种数据格式的数据。针对上述的问题，目前尚未提出有本文档来自技高网...

【技术保护点】
1.一种数据同步方法，包括：/n接收客户端设备的第一请求，其中，该第一请求中携带有通道标识ID；/n依据所述通道ID确定与所述通道ID对应的通道类型，其中，该通道类型包括以下之一：支持传输全量数据的第一通道、支持传输增量数据的第二通道、支持传输全量数据和增量数据的第三通道；/n依据所述通道类型确定数据读取方式，按照所述数据读取方式从预设数据库中读取数据，并将读取的数据发送至所述客户端设备。/n

【技术特征摘要】
1.一种数据同步方法，包括：
接收客户端设备的第一请求，其中，该第一请求中携带有通道标识ID；
依据所述通道ID确定与所述通道ID对应的通道类型，其中，该通道类型包括以下之一：支持传输全量数据的第一通道、支持传输增量数据的第二通道、支持传输全量数据和增量数据的第三通道；
依据所述通道类型确定数据读取方式，按照所述数据读取方式从预设数据库中读取数据，并将读取的数据发送至所述客户端设备。


2.根据权利要求1所述的方法，其中，通过所述通道类型所指示的数据通道从预设数据库中读取数据，包括：
从所述第一请求中提取读取位置；
在所述预设数据库中从所述读取位置处开始读取数据。


3.根据权利要求1所述的方法，其中，接收客户端设备的第一请求之前，所述方法还包括：
接收所述客户端设备的第二请求，其中，所述第二请求中携带有客户端设备ID；
在所述第二请求的触发下，为所述客户端设备创建用于数据同步的通道，并为创建的通道分配与所述客户端设备ID对应的通道ID。


4.根据权利要求3所述的方法，其中，所述第二请求中携带有以下字段信息：
数据库标识、所需的通道类型。


5.根据权利要求1所述的方法，其中，将读取的数据发送至所述客户端设备之前，所述方法还包括：
确定所述读取的数据的数据类型；
在所述数据类型为指定类型时，在所述读取的数据的数据格式中设置操作类型，其中，该操作类型为全量数据和增量数据均支持的操作类型。


6.根据权利要求5所述的方法，其中，所述指定类型包括：全量数据；和/或，所述操作类型包括：增加数据、覆盖已有数据。


7.根据权利要求1所述的方法，其中，通过所述通道类型所指示的数据通道从预设数据库中读取数据包括：
在所述通道类型为所述第三通道时，先读取所述第一请求所请求数据中的全量数据；在读取所述全量数据完成后，读取所述第一请求所请求数据中的增量数据。


8.根据权利要求1所述的方法，其中，所述第一请求中携带有以下字段信息：通道ID、客户端设备ID、所述第一请求所读取数据的读取位置。


9.一种数据同步方法，包括：
接收客户端设备的数据请求；
确定所述数据请求所请求数据的通道类型，其中，该通道类型包括以下之一：支持传输全量数据的第一通道、支持传输增量数据的第二通道、支持传输全量数据和增量数据的第三通道；
依据所述通道类型确定与所述通道类型对应的数据读取方式，其中，所述数据读取方式包括：增量方式和全量方式；
按照所述数据读取方式从预设数据库中读取数据，并将读取的数据发送至所述客户端设备。


10.根据权利要求1所述的方法，其中，将读取的数据发送至所述客户端设备之前，所述方法还包括：
在所述数据读取方式为全量方式时，在所述读取的数据中设置操作类型，其中，所述操作类型为增量数据支持的操作类型。


11.一种数据同步方法，包括：
确定客户端设备的数据同步类型，其中，该数据同步类型包括以下之一：用于指示全量数据同步的第一类型、用于指示增量数据同步的第二类型、用于指示全量数据和增量数据同步的第三类型；
通过指定数据通道从预设数据库中获取与所述数据同步类型对应的数据，其中，所述指定数据通道支持不同数据同步类型对应的数据的传输；
将获取的数据转换为指定格式的数据，并将所述指定格式的数据发送至所述客户端设备。

【专利技术属性】
技术研发人员：王怀远，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY