一种远程数据同步的方法和装置制造方法及图纸

本发明专利技术实施例涉及通信技术领域，尤其涉及一种远程数据同步的方法和装置，用于快速、高效率的实现远距离传输数据。本发明专利技术是实施例中，服务器获取日志文件中的M条数据记录；其中，M条数据记录中每条数据记录中包括预设字段对应的信息；服务器根据M条数据记录中每条数据记录中的预设字段对应的信息，确定出M条数据记录中每条数据记录的主键；服务器针对M条数据记录对应的所有主键中的每个主键，在确定存在N条数据记录的主键为该主键的情况下，从M条数据记录中删除N条数据记录中的N‑1条数据记录；N为于等于2、且小于等于M的整数；服务器将M条数据记录中剩余的K条数据记录发送给终端；从而实现了快速、高效率的实现远距离传输数据。

【技术实现步骤摘要】
一种远程数据同步的方法和装置
本专利技术实施例涉及通信领域，尤其涉及一种远程数据同步的方法和装置。
技术介绍
随着社会的发展和科技的进步，用户越来越依赖网络系统来处理各种事务。网络系统的正常运行依赖于数据中心系统的稳定运行，一旦数据由于某种原因丢失，将会使得某些功能陷入瘫痪，对用户造成不可估量的损失。为了保证源数据库中数据安全，通常采用备份数据的方式保证数据的连续性，将服务器上的源数据库的数据远程同步至目标数据库，以便于在服务器出现故障时，能使用目标数据库中的数据。现有技术中，数据库之间的远程同步主要采用数据库本身数据的复制技术，数据库本身数据的数据量大，在远距离传输时，传输带宽需求大而且传输速度很慢，容易出现传输中断的问题。可见，现有技术中，无法快速、高效率的远距离传输数据；因此，亟需一种远程数据同步方法，快速、高效率的实现远距离传输数据。
技术实现思路
本专利技术实施例提供一种远程数据同步的方法和装置，用以快速、高效率的实现远距离传输数据。本专利技术实施例提供一种远程数据同步的方法，包括：服务器获取日志文件中的M条数据记录；其中，所述M条数据记录中每条数据记录中包括预设字段对应的信息；其中，所述M为大于等于2的整数；所述服务器根据所述M条数据记录中每条数据记录中的预设字段对应的信息，确定出所述M条数据记录中每条数据记录的主键；所述服务器针对所述M条数据记录对应的所有主键中的每个主键，在确定存在N条数据记录的主键为该主键的情况下，从所述M条数据记录中删除所述N条数据记录中的N-1条数据记录；其中，所述N为大于等于2、且小于等于M的整数；所述服务器将所述M条数据记录中剩余的K条数据记录发送给终端；其中，所述K为大于等于1、且小于等于M的整数。可选地，所述从所述M条数据记录中删除所述N条数据记录中的N-1条数据记录，包括：从所述M条数据记录中，将所述N条数据记录中除日期最近的一条数据记录之外的N-1条数据记录删除。可选地，所述服务器获取日志文件中的M条数据记录，包括：所述服务器获取事件流格式的日志文件；所述服务器解析所述事件流格式的日志文件，得到所述日志文件中包括的行变换对象流格式的所述M条数据记录。可选地，所述服务器将所述M条数据记录中剩余的K条数据记录发送给终端，包括：通过L个调度进程将所述K条数据记录中转换成L个工作对象流；其中，所述L个调度进程中的每个调度进程对应转换所述K条数据记录中的至少一条数据记录；其中，所述L为大于等于1的整数；所述服务器将转换得到的L个工作对象流发送给所述终端。可选地，所述服务器将转换得到的L个工作对象流发送给所述终端，包括：所述服务器对得到的L个工作对象流中的每个工作对象流进行序列化；所述服务器对序列化后的每个工作对象流进行压缩和加密，将得到的压缩和加密之后的每个工作对象流发送给所述终端。本专利技术实施例提供另一种远程数据同步的方法，包括：终端接收服务器发送的所述M条数据记录中的K条数据记录；其中，所述K为大于等于1、且小于等于M的整数；所述M为大于等于2的整数；所述终端将所述K条数据记录发送至数据库；其中，所述K条数据记录是所述服务器获取日志文件中的M条数据记录；根据所述M条数据记录中每条数据记录中的预设字段对应的信息，确定出所述M条数据记录中每条数据记录的主键；针对所述M条数据记录对应的所有主键中的每个主键，在确定存在N条数据记录的主键为该主键的情况下，从所述M条数据记录中删除所述N条数据记录中的N-1条数据记录之后得到的；其中，所述M条数据记录中每条数据记录中包括预设字段对应的信息；所述N为大于等于2、且小于等于M的整数。可选地，所述终端接收服务器发送的所述M条数据记录中剩余的K条数据记录，包括：所述终端接收所述服务器发送的序列化、且进行压缩和加密后的所述L个工作对象流中的每个工作对象流；其中，所述L个工作对象流为所述K条数据记录通过L个调度进程转换得到的；所述L个调度进程中的每个调度进程对应转换所述K条数据记录中的至少一条数据记录；其中，所述L为大于等于1的整数；所述终端接收服务器发送的所述M条数据记录中剩余的K条数据记录之后，将所述K条数据记录发送至数据库之前，还包括：所述终端将所述每个工作对象流进行解密和解压缩，并对所述解密和解压缩后的每个工作对象流进行反序列化，得到K条数据记录。可选地，所述终端将所述K条数据记录发送至数据库，包括：所述终端通过N个线程将所述K条数据记录中并行发送至所述数据库；其中，所述N个线程中的每个线程对应发送所述K条数据记录中的至少一条数据记录；其中，所述N为大于等于1的整数。本专利技术实施例提供一种用于远程数据同步的服务器，包括：获取单元，用于获取日志文件中的M条数据记录；其中，所述M条数据记录中每条数据记录中包括预设字段对应的信息；其中，所述M为大于等于2的整数；处理单元，用于根据所述M条数据记录中每条数据记录中的预设字段对应的信息，确定出所述M条数据记录中每条数据记录的主键；针对所述M条数据记录对应的所有主键中的每个主键，在确定存在N条数据记录的主键为该主键的情况下，从所述M条数据记录中删除所述N条数据记录中的N-1条数据记录；其中，所述N为大于等于2、且小于等于M的整数；发送单元，用于所述服务器将所述M条数据记录中剩余的K条数据记录发送给终端；其中，所述K为大于等于1、且小于等于M的整数。可选地，所述处理单元，用于：从所述M条数据记录中，将所述N条数据记录中除日期最近的一条数据记录之外的N-1条数据记录删除。可选地，所述获取单元，用于：获取事件流格式的日志文件；所述处理单元，用于：解析所述事件流格式的日志文件，得到所述日志文件中包括的行变换对象流格式的所述M条数据记录。可选地，所述处理单元，用于：通过L个调度进程将所述K条数据记录中转换成L个工作对象流；其中，所述L个调度进程中的每个调度进程对应转换所述K条数据记录中的至少一条数据记录；其中，所述L为大于等于1的整数；发送单元，用于：将转换得到的L个工作对象流发送给所述终端。可选地，所述处理单元，用于：为得到的L个工作对象流中的每个工作对象流分配序列号；将分配序列号后的每个工作对象流进行压缩和加密；所述发送单元，用于：将得到的压缩和加密之后的每个工作对象流发送给所述终端。本专利技术实施例提供一种用于远程数据同步的终端，包括：接收单元，用于接收服务器发送的所述M条数据记录中的K条数据记录；其中，所述K为大于等于1、且小于等于M的整数；所述M为大于等于2的整数；发送单元，用于将所述K条数据记录发送至数据库；其中，所述K条数据记录是所述服务器获取日志文件中的M条数据记录；根据所述M条数据记录中每条数据记录中的预设字段对应的信息，确定出所述M条数据记录中每条数据记录的主键；针对所述M条数据记录对应的所有主键中的每个主键，在确定存在N条数据记录的主键为该主键的情况下，从所述M条数据记录中删除所述N条数据记录中的N-1条数据记录之后得到的；其中，所述M条数据记录中每条数据记录中包括预设字段对应的信息；所述N为大于等于2、且小于等于M的整数。可选地，所述接收单元，用于：接收所述服务器发送的分配了序列号的、且进行压缩和加密后的所述L个工作对象流中的每个工作对象流；其中，所述L个工作对象流为所述K条数据记录本文档来自技高网...

【技术保护点】
一种远程数据同步方法，其特征在于，包括：服务器获取日志文件中的M条数据记录；其中，所述M条数据记录中每条数据记录中包括预设字段对应的信息；其中，所述M为大于等于2的整数；所述服务器根据所述M条数据记录中每条数据记录中的预设字段对应的信息，确定出所述M条数据记录中每条数据记录的主键；所述服务器针对所述M条数据记录对应的所有主键中的每个主键，在确定存在N条数据记录的主键为该主键的情况下，从所述M条数据记录中删除所述N条数据记录中的N‑1条数据记录；其中，所述N为大于等于2、且小于等于M的整数；所述服务器将所述M条数据记录中剩余的K条数据记录发送给终端；其中，所述K为大于等于1、且小于等于M的整数。

【技术特征摘要】
1.一种远程数据同步方法，其特征在于，包括：服务器获取日志文件中的M条数据记录；其中，所述M条数据记录中每条数据记录中包括预设字段对应的信息；其中，所述M为大于等于2的整数；所述服务器根据所述M条数据记录中每条数据记录中的预设字段对应的信息，确定出所述M条数据记录中每条数据记录的主键；所述服务器针对所述M条数据记录对应的所有主键中的每个主键，在确定存在N条数据记录的主键为该主键的情况下，从所述M条数据记录中删除所述N条数据记录中的N-1条数据记录；其中，所述N为大于等于2、且小于等于M的整数；所述服务器将所述M条数据记录中剩余的K条数据记录发送给终端；其中，所述K为大于等于1、且小于等于M的整数。2.如权利要求1所述的方法，其特征在于，所述从所述M条数据记录中删除所述N条数据记录中的N-1条数据记录，包括：从所述M条数据记录中，将所述N条数据记录中除日期最近的一条数据记录之外的N-1条数据记录删除。3.如权利要求1所述的方法，其特征在于，所述服务器获取日志文件中的M条数据记录，包括：所述服务器获取事件流格式的日志文件；所述服务器解析所述事件流格式的日志文件，得到所述日志文件中包括的行变换对象流格式的所述M条数据记录。4.如权利要求2所述的方法，其特征在于，所述服务器将所述M条数据记录中剩余的K条数据记录发送给终端，包括：通过L个调度进程将所述K条数据记录中转换成L个工作对象流；其中，所述L个调度进程中的每个调度进程对应转换所述K条数据记录中的至少一条数据记录；其中，所述L为大于等于1的整数；所述服务器将转换得到的L个工作对象流发送给所述终端。5.如权利要求4所述的方法，其特征在于，所述服务器将转换得到的L个工作对象流发送给所述终端，包括：所述服务器对得到的L个工作对象流中的每个工作对象流进行序列化；所述服务器对序列化后的每个工作对象流进行压缩和加密，将得到的压缩和加密之后的每个工作对象流发送给所述终端。6.一种远程数据同步方法，其特征在于，包括：终端接收服务器发送的所述M条数据记录中的K条数据记录；其中，所述K为大于等于1、且小于等于M的整数；所述M为大于等于2的整数；所述终端将所述K条数据记录发送至数据库；其中，所述K条数据记录是所述服务器获取日志文件中的M条数据记录；根据所述M条数据记录中每条数据记录中的预设字段对应的信息，确定出所述M条数据记录中每条数据记录的主键；针对所述M条数据记录对应的所有主键中的每个主键，在确定存在N条数据记录的主键为该主键的情况下，从所述M条数据记录中删除所述N条数据记录中的N-1条数据记录之后得到的；其中，所述M条数据记录中每条数据记录中包括预设字段对应的信息；所述N为大于等于2、且小于等于M的整数。7.如权利要求6所述的方法，其特征在于，所述终端接收服务器发送的所述M条数据记录中剩余的K条数据记录，包括：所述终端接收所述服务器发送的序列化、且进行压缩和加密后的所述L个工作对象流中的每个工作对象流；其中，所述L个工作对象流为所述K条数据记录通过L个调度进程转换得到的；所述L个调度进程中的每个调度进程对应转换所述K条数据记录中的至少一条数据记录；其中，所述L为大于等于1的整数；所述终端接收服务器发送的所述M条数据记录中剩余的K条数据记录之后，将所述K条数据记录发送至数据库之前，还包括：所述终端将所述每个工作对象流进行解密和解压缩，并对所述解密和解压缩后的每个工作对象流进行反序列化，得到K条数据记录。8.如权利要求7所述的方法，其特征在于，所述终端将所述K条数据记录发送至数据库，包括：所述终端通过N个线程将所述K条数据记录中并行发送至所述数据库；...

【专利技术属性】
技术研发人员：曾玉成，施跃跃，刘震，裘愉锋，洪华，董龙，梁克会，朱立宏，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：上海,31