数据传输方法及其装置制造方法及图纸

本申请涉及大数据领域，公开了一种数据传输方法及其装置。所述数据传输方法包括以下步骤：获取断点信息，其中所述断点信息包括接口标识、查询时间和当前已查询到的页数；根据所述断点信息进行分页查询；保存查询结果，更新所述当前已查询到的页数；其中，在同一个事务中执行所述保存查询结果和所述更新所述当前已查询到的页数的步骤。通过数据库管理维护数据查询信息，并从中断处开始继续后续数据传输，可以最大限度地克服网络波动、服务器重启等造成的异常中断对数据传输的影响，减少不必要的网络开销和磁盘读写，大幅提升数据传输的成功率和传输速度。

Data transmission method and device

【技术实现步骤摘要】
数据传输方法及其装置
本申请涉及大数据领域，特别涉及一种数据传输技术。
技术介绍
现有技术中，跨平台的大数据服务调用和查询复制，数据量通常都非常大，数据拉取过程非常长。过程中因为网络波动，服务器重启等异常中断后，需要先将上一次获取的不完整数据删除，再重新读取数据直至最终一次性成功。有可能出现100万数据，成功获取到99万后因服务器重启导致重新获取。可以看出，现有技术存在以下缺点：1.任务在单台服务器上触发，必须一次性完成。数据量越大，越容易中断；2.成功率低。不同的平台之间通过公网链接，网络出现异常可能性比较大；3.数据可能存在不停读写删除现象，网络IO硬盘底层读写资源浪费比较多；4.数据传输时间长。数据可能反复读写，平均耗时增加。因此，目前亟需一种能确保数据的准确性和完整性的跨平台大数据传输技术。
技术实现思路
本申请的目的在于提供一种数据传输方法及其装置，可以最大限度地克服网络波动、服务器重启等造成的异常中断对数据传输的影响，减少不必要的网络开销和磁盘读写，大幅提升数据传输的成功率和传输速度。为解决上述技术问题，本申请的实施方式公开了一种数据传输方法，包括：获取断点信息，其中所述断点信息包括接口标识、查询时间和当前已查询到的页数；根据所述断点信息进行分页查询；保存查询结果，更新所述当前已查询到的页数；其中，在同一个事务中执行所述保存查询结果和所述更新所述当前已查询到的页数的步骤。本申请的实施方式还公开了一种数据传输装置，包括：获取模块，用于获取断点信息，其中所述断点信息包括接口标识、查询时间和当前已查询到的页数；查询模块，根据所述断点信息进行分页查询；存储模块，用于保存查询结果；更新模块，用于更新所述当前已查询到的页数；其中，在同一个事务中所述存储模块保存查询结果和所述更新模块更新所述当前已查询到的页数。本申请的实施方式还公开了一种数据传输设备，包括：存储器，用于存储计算机可执行指令；以及，处理器，用于在执行所述计算机可执行指令时实现上述方法中的步骤。本申请的实施方式还公开了一种计算机可读存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述方法中的步骤。本专利技术实施方式与现有技术相比，主要区别及其效果在于：通过数据库管理维护数据查询信息，并从中断处开始继续后续数据传输，可以最大限度地克服网络波动、服务器重启等造成的异常中断对数据传输的影响，减少不必要的网络开销和磁盘读写，大幅提升数据传输的成功率和传输速度。通过抢占分布式锁实现任务切分，任务成败不依赖单台服务器的稳定性，只要集群中存在可用的服务器，任务就能成功触发并顺利执行，实现对大批量数据的可靠传输。通过合并分页查询结果然后再存储查询结果和更新断点信息，可以批量对分页查询结果进行处理，可以大大提高数据传输的效率。本申请的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本申请所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本申请上述
技术实现思路
中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均因视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征A+B+C，在另一个例子中公开了特征A+B+D+E，而特征C和D是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征E技术上可以与特征C相组合，则，A+B+C+D的方案因技术不可行而应当不被视为已经记载，而A+B+C+E的方案应当视为已经被记载。附图说明图1是根据本申请第一实施方式的一种数据传输方法的流程示意图；图2是根据本申请第一实施方式的断点信息的表结构设计图；图3是根据本申请第一实施方式的一个优选实施例的系统架构图；图4根据本申请第一实施方式的一个优选实施例的断点续传方法的流程示意图；图5根据本申请第一实施方式的一个优选实施例的类图；图6是根据本申请第一实施方式的一个优选实施例的数据传输方法的整体流程图；图7是根据本申请第二实施方式的一种数据传输装置的结构示意图。具体实施方式在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。部分概念的说明：分布式环境：一种多网站架构模式，支持生成独立网站、多个网站,完成各个网站横向一体化和纵向一体化网站群的构建，主站、子站、网站间的信息可共享和信息互联。断点续传：数据传输过程因异常导致中断后可以自动恢复，并从中断处开始继续后续数据传输。任务切分：将任务分成多个子任务，串(并)行执行。为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。本申请的第一实施方式涉及一种数据传输方法，图1是该数据传输方法的流程示意图。具体地说，如图1所示，该数据传输方法包括：在步骤101中，获取断点信息，其中所述断点信息包括接口标识、查询时间和当前已查询到的页数。进一步地，优选地，所述断点信息还包括分页大小和是否查询完毕标识。图2是一个优选的断点信息的表结构设计图。如图2所示，所述断点信息可以包括：接口标识(例如接口id、接口名称等)、查询时间(例如查询日期等)、分页大小(page_size)、当前已查询到的页数(page_num)、以及是否查询完毕标识(status，例如可以数字“1”标识查询完毕，以数字“0”标识未查询完毕等)。此外，可选地，在上述步骤101之前，还可以包括以下步骤：判断所述断点信息是否存在，若不存在，则新建所述断点信息。如果断点信息存在，则执行步骤101，获取断点信息；如果断点信息不存在，说明数据才刚开始传输或者之前的查询没有成功完成，在这种情况下需要新建断点信息，并在本次查询完成之后，更新该断点信息。此后进入步骤103，根据所述断点信息进行分页查询。在本申请的实施方式中，通过分页查询，能够将过多的查询结果在有限的界面上分多页来显示，从而提高查询效率。此外，可选地，在上述步骤103之后，还可以包括以下步骤：判断是否查询结束，若未结束，则继续进行分页查询。如果查询结束，则进一步执行步骤105和107；如果查询未结束，则继续进行下一页的查询，直到查询结束或者本次查询任务完成，再执行步骤105和步骤107。进一步地，优选地，在继续进行分页查询的步骤之后，还可以包括以下步骤：合并所述分页查询结果。通过合并分页查询结果然后再存储查询结果和更新断点信息，可以批量对分页查询结果进行处理，可以大大提高数据传输的效率。此后进入步骤105，保存查询结果。此后进入步骤107，更新所述当前已查询到的页数。其中，在同一个事务中执行上述步骤105和步骤107。也就是说，上述步骤105和107必须都完成以后，才算完成一个数据传输任务。如果只完成了步骤105，即只存储了查询结果，但是未完成步骤107，未对当前已查询到的页数进行更新的话，下次查询调用的时候，还是得从中断处(即上次已查询到的页数)开始继续后续数据传输，也就是得需要重复执行上述已经完成了的步骤。此后结束本本文档来自技高网...

【技术保护点】
1.一种数据传输方法，其特征在于，包括：获取断点信息，其中所述断点信息包括接口标识、查询时间和当前已查询到的页数；根据所述断点信息进行分页查询；保存查询结果，更新所述当前已查询到的页数；其中，在同一个事务中执行所述保存查询结果和所述更新所述当前已查询到的页数的步骤。

【技术特征摘要】
1.一种数据传输方法，其特征在于，包括：获取断点信息，其中所述断点信息包括接口标识、查询时间和当前已查询到的页数；根据所述断点信息进行分页查询；保存查询结果，更新所述当前已查询到的页数；其中，在同一个事务中执行所述保存查询结果和所述更新所述当前已查询到的页数的步骤。2.如权利要求1所述的方法，其特征在于，所述断点信息还包括分页大小和是否查询完毕标识。3.如权利要求1所述的方法，其特征在于，所述方法适用于集群系统中，并由所述集群系统中抢占到分布式锁的服务器执行所述方法中的步骤。4.如权利要求3所述的方法，其特征在于，在所述获取断点信息的步骤之前，还包括以下步骤：抢占所述分布式锁。5.如权利要求4所述的方法，其特征在于，所述分布式锁每隔预定的时间间隔进行更新。6.如权利要求5所述的方法，其特征在于，在所述抢占所述分布式锁的步骤之后，还包括以下步骤：判断所述断点信息是否存在，若不存在，则新建所述断点信息。7.如权利要求6所述的方法，其特征在于，在所述根据所述断点信息进行分页查询的步骤之后，还包括以下步骤：判断是否查询结束，若未结束，则继续进行分页查询。8.如权利要求7所述的方法，其特征在于，在所述继续进行分页查询的步骤之后，还包括以下步骤：合并所述分页查询结果。9.一种数据传输装置，其特征在于，包括：获取模块，用于获取断点信息，其中所述断点信息包括接口标识、查询时间和当前已查询到的页数；查询模块，根据所述断点信息进行分页查询；存储模块，用于保存查询结果；更新模块，用于更新...

【专利技术属性】
技术研发人员：吴宏衍，刘传双，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY