一种数据同步方法、装置及系统制造方法及图纸

本说明书公开了一种数据同步方法、装置及系统，可先确定待同步数据集，并创建对应于各接收数据库的传输实例。之后，根据预设的数据接收规则，确定该传输实例对应的待传输数据包。最后，执行该接收数据库对应的传输实例，将该传输实例对应的待传输数据包以及该接收数据库的标识上传至发送服务器，使该发送服务器通过安全专线将该待传输数据包以及该接收数据库的标识发送至接收服务器，并由该接收服务器将该待传输数据包写入该接收数据库中。通过确定对应于各接收数据库的待传输数据包，并将各待传输数据包分别写入对应的接收数据库，无需各接收数据库轮询获取数据，同时避免了各接收数据库获取到并非自身所需的数据，提高了数据同步的效率。

【技术实现步骤摘要】
一种数据同步方法、装置及系统
本说明书涉及计算机
，尤其涉及一种数据同步方法、装置及系统。
技术介绍
目前，为了保证数据传输时的安全性，存在多种方式。其中之一就是从网络结构上，通过专线连接需要进行数据传输的设备，以避免外界攻击。在现有技术中，对于需要进行数据库之间数据同步的场景来说，一般采用数据发送方和数据接收方通过各自的文件传输协议(FileTransferProtocol，FTP)服务器，进行数据传输的方法保证安全性。其中，FTP服务器之间采用专线连接，而数据发送方和数据接收方与各自的FTP服务器通过设置在各自的内网中，提高各自的安全性。甚至可只接受FTP服务器传输的数据，以进一步保证安全。图1为现有网络结构的示意图，其中，左侧为数据发送方及其FTP服务器，右侧为数据接收方及其FTP服务器，两个FTP服务器通过专线连接，左右两侧的设备分别位于各自的内网中。但是，在现有数据同步方法中，由于为了保证数据传输的安全性，所以需要在有专线连接FTP服务器之间进行传输，数据接收方需轮询自身对应的FTP服务器，来获取同步数据，时效性差。并且由于FTP服务器通常为多台设备提供服务，因此还存在获取并非自身所需数据的情况出现，导致现有数据同步的效率低。
技术实现思路
本说明书实施例提供一种数据同步方法、装置及系统，以部分解决上述现有技术存在的问题。本说明书实施例采用下述技术方案：本说明书提供的一种数据同步方法，包括：本地数据库确定待同步数据集；针对每个接收数据库，创建该接收数据库对应的传输实例，所述传输实例携带有该接收数据库的标识；根据预设的该接收数据库的数据接收规则，从所述待同步数据集中确定所述传输实例对应的待传输数据包；执行该接收数据库对应的传输实例，将所述传输实例对应的待传输数据包以及该接收数据库的标识，上传至发送服务器，使所述发送服务器通过安全专线将所述待传输数据包以及该接收数据库的标识发送至接收服务器，并由所述接收服务器根据该接收数据库的标识，将所述待传输数据包写入该接收数据库。可选地，针对每个接收数据库，创建该接收数据库对应的传输实例，具体包括：根据所述待同步数据集，确定传输任务；针对每个接收数据库，创建所述传输任务包含的该接收数据库对应的传输实例，所述传输实例属于所述传输任务。可选地，根据预设的该接收数据库的数据接收规则，从所述待同步数据集中确定所述传输实例对应的待传输数据包，具体包括：根据存储的各接收数据库与各数据接收规则的对应关系，确定该接收数据库的数据接收规则；判断所述待同步数据集中是否存在与该接收数据库的数据接收规则匹配的数据；若是，则将匹配的数据作为所述传输实例对应的待传输数据包；若否，则确定该接收数据库的传输实例执行完毕。可选地，执行该接收数据库对应的传输实例，将所述传输实例对应的待传输数据包以及该接收数据库的标识，上传至发送服务器，具体包括：当确定出所述传输任务中各传输实例对应的待传输数据包时，根据预设的并行实例数量，将各传输实例进行分组；通过空闲线程依次执行各分组的传输实例，分别将各分组的传输实例对应的待传输数据包以及对应的接收数据库的标识，上传至发送服务器，直至各组传输实例执行完毕后，确定所述传输任务执行完毕。可选地，上传至发送服务器，具体包括：针对每个接收数据库，确定在所述发送服务器中预设的该接收数据库的存储路径；将所述传输实例对应的待传输数据包以及该接收数据库的标识发送至所述存储路径中存储，使所述发送服务器在监测到所述存储路径中数据变化时，将所述传输实例对应的待传输数据包以及该接收数据库的标识发送至所述接收服务器。本说明书提供的一种数据同步方法，包括：接收服务器，接收发送服务器通过安全专线发送的各传输实例的数据，所述传输实例的数据至少包含所述传输实例对应的待传输数据包以及所述传输实例对应的接收数据库的标识；针对每个传输实例对应的待传输数据包，根据该传输实例对应的接收数据库的标识，将该待传输数据包写入对应的接收数据库；其中，所述传输实例的数据通过以下方式由本地数据库上传至所述发送服务器：所述本地数据库创建每个接收数据库对应的传输实例，以基于各接收数据库的数据接收规则，从待同步数据集中确定各传输实例对应的待传输数据包，再通过执行各传输实例，将各传输实例的数据分别上传至所述发送服务器。可选地，根据该传输实例对应的接收数据库的标识，将该待传输数据包写入对应的接收数据库，具体包括：根据该传输实例对应的接收数据库的标识，确定所述接收数据库的属性，所述属性至少包括：数据结构或者数据库结构中的一种；根据所述接收数据库的属性对所述待传输数据包进行格式转换；将转换后的数据包存储至所述接收数据库中，使所述接收数据库根据所述转换后的数据进行业务处理。可选地，所述方法还包括：根据所述待传输数据包中的数据文件名称，判断所述待传输数据包是否为业务处理所需数据；若是，则将所述待传输数据包写入对应的接收数据库；若否，则不存储所述待传输数据包。本说明书提供的一种数据同步系统，所述系统包括：本地数据库、发送服务器以及接收服务器，其中：所述本地数据库，确定待同步数据集；针对每个接收数据库，创建该接收数据库对应的传输实例，所述传输实例携带有该接收数据库的标识；根据预设的该接收数据库的数据接收规则，从所述待同步数据集中确定所述传输实例对应的待传输数据包；执行该接收数据库对应的传输实例，将所述传输实例对应的待传输数据包以及该接收数据库的标识，上传至发送服务器；所述发送服务器，通过安全专线将各传输实例对应的待传输数据包及其对应的接收数据库的标识发送至所述接收服务器；所述接收服务器，针对每个传输实例对应的待传输数据包，根据该传输实例对应的接收数据库的标识，将该待传输数据包写入对应的接收数据库。本说明书提供的一种数据同步装置，包括：第一确定模块，通过本地数据库确定待同步数据集；创建模块，针对每个接收数据库，创建该接收数据库对应的传输实例，所述传输实例携带有该接收数据库的标识；第二确定模块，根据预设的该接收数据库的数据接收规则，从所述待同步数据集中确定所述传输实例对应的待传输数据包；执行及写入模块，执行该接收数据库对应的传输实例，将所述传输实例对应的待传输数据包以及该接收数据库的标识，上传至发送服务器，使所述发送服务器通过安全专线将所述待传输数据包以及该接收数据库的标识发送至接收服务器，并由所述接收服务器根据该接收数据库的标识，将所述待传输数据包写入该接收数据库。本说明书提供的一种数据同步装置，包括：接收模块，通过接收服务器接收发送服务器通过安全专线发送的各传输实例的数据，所述传输实例的数据至少包含所述传输实例对应的待传输数据包以及所述传输实例对应的接收数据库的标识；写入模块，针本文档来自技高网...

【技术保护点】
1.一种数据同步方法，其特征在于，包括：/n本地数据库确定待同步数据集；/n针对每个接收数据库，创建该接收数据库对应的传输实例，所述传输实例携带有该接收数据库的标识；/n根据预设的该接收数据库的数据接收规则，从所述待同步数据集中确定所述传输实例对应的待传输数据包；/n执行该接收数据库对应的传输实例，将所述传输实例对应的待传输数据包以及该接收数据库的标识，上传至发送服务器，使所述发送服务器通过安全专线将所述待传输数据包以及该接收数据库的标识发送至接收服务器，并由所述接收服务器根据该接收数据库的标识，将所述待传输数据包写入该接收数据库。/n

【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：
本地数据库确定待同步数据集；
针对每个接收数据库，创建该接收数据库对应的传输实例，所述传输实例携带有该接收数据库的标识；
根据预设的该接收数据库的数据接收规则，从所述待同步数据集中确定所述传输实例对应的待传输数据包；
执行该接收数据库对应的传输实例，将所述传输实例对应的待传输数据包以及该接收数据库的标识，上传至发送服务器，使所述发送服务器通过安全专线将所述待传输数据包以及该接收数据库的标识发送至接收服务器，并由所述接收服务器根据该接收数据库的标识，将所述待传输数据包写入该接收数据库。


2.如权利要求1所述的方法，其特征在于，针对每个接收数据库，创建该接收数据库对应的传输实例，具体包括：
根据所述待同步数据集，确定传输任务；
针对每个接收数据库，创建所述传输任务包含的该接收数据库对应的传输实例，所述传输实例属于所述传输任务。


3.如权利要求1或2所述的方法，其特征在于，根据预设的该接收数据库的数据接收规则，从所述待同步数据集中确定所述传输实例对应的待传输数据包，具体包括：
根据存储的各接收数据库与各数据接收规则的对应关系，确定该接收数据库的数据接收规则；
判断所述待同步数据集中是否存在与该接收数据库的数据接收规则匹配的数据；
若是，则将匹配的数据作为所述传输实例对应的待传输数据包；
若否，则确定该接收数据库的传输实例执行完毕。


4.如权利要求3所述的方法，其特征在于，执行该接收数据库对应的传输实例，将所述传输实例对应的待传输数据包以及该接收数据库的标识，上传至发送服务器，具体包括：
当确定出所述传输任务中各传输实例对应的待传输数据包时，根据预设的并行实例数量，将各传输实例进行分组；
通过空闲线程依次执行各分组的传输实例，分别将各分组的传输实例对应的待传输数据包以及对应的接收数据库的标识，上传至发送服务器，直至各组传输实例执行完毕后，确定所述传输任务执行完毕。


5.如权利要求1所述的方法，其特征在于，上传至发送服务器，具体包括：
针对每个接收数据库，确定在所述发送服务器中预设的该接收数据库的存储路径；
将所述传输实例对应的待传输数据包以及该接收数据库的标识发送至所述存储路径中存储，使所述发送服务器在监测到所述存储路径中数据变化时，将所述传输实例对应的待传输数据包以及该接收数据库的标识发送至所述接收服务器。


6.一种数据同步方法，其特征在于，包括：
接收服务器，接收发送服务器通过安全专线发送的各传输实例的数据，所述传输实例的数据至少包含所述传输实例对应的待传输数据包以及所述传输实例对应的接收数据库的标识；
针对每个传输实例对应的待传输数据包，根据该传输实例对应的接收数据库的标识，将该待传输数据包写入对应的接收数据库；
其中，所述传输实例的数据通过以下方式由本地数据库上传至所述发送服务器：
所述本地数据库创建每个接收数据库对应的传输实例，以基于各接收数据库的数据接收规则，从待同步数据集中确定各传输实例对应的待传输数据包，再通过执行各传输实例，将各传输实例的数据分别上传至所述发送服务器。


7.如权利要求6所述的方法，其特征在于，根据该传输实例对应的接收数据库的标识，将该待传输数据包写入对应的接收...

【专利技术属性】
技术研发人员：蒋源德，年国栋，龚少成，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11