结构化数据的下载方法和装置制造方法及图纸

技术编号:15542006 阅读:42 留言:0更新日期:2017-06-05 11:09
本申请提出一种结构化数据的下载方法和装置,该方法包括:接收结构化数据的下载指令;根据所述下载指令将对应的结构化数据下载任务切分为多个数据分段下载任务;根据所述多个数据分段下载任务下载相应的多个数据分段文件。该方法能够提高结构化数据文件的下载成功率和下载速度。

Method and device for downloading structured data

The invention provides a method and apparatus for downloading a structured data, the method comprises: receiving structured data download instructions; according to the instructions to download the structured data corresponding to the download task are divided into a plurality of data segments download task; according to the plurality of data segments download download multiple corresponding data segment file. This method can improve the download rate and download speed of structured data files.

【技术实现步骤摘要】
结构化数据的下载方法和装置
本申请涉及数据下载
,尤其涉及一种结构化数据的下载方法和装置。
技术介绍
在SOA(Service-OrientedArchitecture,面向服务的体系结构)下,数据提供方可通过发布一个WebService(网页服务,简称WS)供其他系统以分页的方式查询数据;数据展示系统提供查询到的数据文件的下载服务,当用户点击查询或下载时,数据展示系统通过WS分页查询生成文件的数据并实时生成数据文件供用户下载。目前,在查询数据并生成数据文件的过程中,往往是单线程地获取生成文件所需的全部数据,效率低下,另外,由于数据展示系统与数据提供方之间通过网络不断的进行交互,容易由网络中断或者超时等原因造成下载失败,导致必须从头开始重新查询数据,最终无法查看结构化数据,下载失败率较高。
技术实现思路
为解决现有技术中的上述问题,本申请的一个目的在于提出一种结构化数据的下载方法及装置,可以提高结构化数据文件的下载成功率和下载速度。为达到上述目的,本申请实施例提出的结构化数据的下载方法,包括:接收结构化数据的下载指令;根据所述下载指令将对应的结构化数据下载任务切分为多个数据分段下载任务;根据所述多个数据分段下载任务下载相应的多个数据分段文件。为达到上述目的,本申请实施例提出的结构化数据的下载装置,包括:接收模块,用于接收结构化数据的下载指令;切分模块,用于根据所述下载指令将对应的结构化数据下载任务切分为多个数据分段下载任务;下载模块,用于根据所述多个数据分段下载任务下载相应的多个数据分段文件。由以上本申请实施例提供的技术方案可见,通过根据结构化数据的下载指令将对应的结构化数据下载任务切分为多个数据分段下载任务进行下载,将一个大的下载任务切分成若干个小的下载任务去下载,能够有效降低结构化数据的下载失败概率,保持了结构化数据的原有数据结构,并提升了下载速度。本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1是本申请一实施例提出的结构化数据的下载方法的流程示意图;图2是本申请一实施例的结构化数据的下载装置的结构示意图;图3a是本申请另一实施例的结构化数据的下载装置的切分模块的结构示意图;图3b是本申请另一实施例的结构化数据的下载装置的结构示意图;图4是本申请另一实施例的结构化数据的下载方法的流程示意图。具体实施方式本申请实施例提供一种结构化数据的下载方法和装置。为了使本
的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。图1是本申请一实施例提出的结构化数据的下载方法的流程示意图,在该图所示的实施例中客户端根据接收到的结构化数据下载指令,将一个结构化数据下载任务切分成多个数据分段下载任务进行下载,以减小单个任务要下载的数据量,减少单个任务的下载时间,降低总体下载失败的概率。如图1所示,该方法包括:步骤101,接收结构化数据的下载指令;步骤102,根据所述下载指令将对应的结构化数据下载任务切分为多个数据分段下载任务;步骤103,根据所述多个数据分段下载任务下载相应的多个数据分段文件。其中,结构化数据是指可以用二维表结构来逻辑表达实现的数据,多为存储在数据库中的行数据,例如交易数据,具体例如账务、退款、收费等数据。由于结构化数据本身存在特定的数据结构关系,因此现在下载时需要进行特殊的处理以保证下载后能显示结构化数据原有的数据结构关系。具体将在后续实施例中进行详细说明。根据本申请的一个实施例,下载指令中包括要下载的结构化数据的起止标识。其中,起止标识可以是起止时间标识或者起止行标识,例如,下载账单时设置的要查询的起止日期,或下载数据表格时选定的起止行。根据本申请的一个实施例,所述根据所述下载指令将对应的结构化数据下载任务切分为多个数据分段下载任务,进一步包括:根据所述起止标识确定所述结构化数据的结构长度;将所述结构化数据下载任务切分为结构长度小于或等于第一预设阈值的多个数据分段下载任务。其中,所述起止标识可以是起止时间标识。结构长度可以根据起止标识确定,以结构化数据的拆分单元表示,例如查询2015年8月11日到2015年8月20日的账单,以天为单位,结构长度可以确定为10天。第一预设阈值可以是客户端预先设置的最大任务单位,例如按天查询或下载数据时,第一预设阈值可以是5天,查询的结构长度大于5天的数据的下载任务则以每5天切分为一个数据分段下载任务,直到所有数据分段下载任务的结构长度都小于5天为止。本实施例可以根据要下载的结构化数据的结构长度,将一个较长的结构化数据的下载任务切分为多个较短的数据分段下载任务进行下载,可以减少单个下载任务要下载的数据量,降低每个下载任务的失败概率,也减少了下载失败时重试所占用的时间。根据本申请的一个实施例,所述根据所述多个数据分段下载任务下载相应的多个数据分段文件具体包括:采用多线程并行下载所述多个数据分段文件。这样各个下载任务可以同时进行,互不影响,还可以加快整体的下载速度。根据本申请的一个实施例,当一个或多个所述数据分段文件下载失败时,所述方法还包括:获取对应的数据分段下载任务的待下载量;当所述待下载量大于第二预设阈值时,将所述数据分段下载任务进一步切分为两个子分段下载任务;根据所述子分段下载任务下载相应的数据分段文件。当一个或多个所述数据分段文件下载失败时,可以向服务端查询该要下载的数据文件的大小,如果由于要下载的数据内容较多,大于第二预设阈值时,则有可能是由于数据内容过大导致的下载失败,可将该下载任务进一步切分为两个子分段下载任务,重新下载。通过本步骤,可以减少由下载的数据内容较多导致的重复下载失败。根据本申请的一个实施例,当一个或多个所述数据分段文件下载失败时,所述方法还包括:重新下载相应的数据分段文件。由于各个数据分段文件是多线程并行下载的,因此在一个或多个数据分段文件下载失败时,还可以重新下载该数据分段文件,而无需影响其他的下载任务,能够解决目前下载结构化数据时一旦失败就需要重新下载整个数据文件的问题。根据本申请的一个实施例,所述数据分段文件中包括分段标识,在所述根据所述多个数据分段下载任务下载相应的多个数据分段文件之后,还包括:根据所述数据分段文件和对应的分段标识生成要下载的所述结构化数据。通过本步骤,可以将下载到的数据分段文件合并为完整的结构化数据以便于查看。根据本申请的一个实施例,当一个或多个所述数据分段文件下载失败时,所述方法还包括:根据已下载的所述多个数据分段文件和对应的分段标识,生成部分要下载的所述结构化数据和缺失数据分段的信息。通过本步骤,当有数据分段文本文档来自技高网
...
结构化数据的下载方法和装置

【技术保护点】
一种结构化数据的下载方法,其特征在于,包括:接收结构化数据的下载指令;根据所述下载指令将对应的结构化数据下载任务切分为多个数据分段下载任务;根据所述多个数据分段下载任务下载相应的多个数据分段文件。

【技术特征摘要】
1.一种结构化数据的下载方法,其特征在于,包括:接收结构化数据的下载指令;根据所述下载指令将对应的结构化数据下载任务切分为多个数据分段下载任务;根据所述多个数据分段下载任务下载相应的多个数据分段文件。2.根据权利要求1所述的方法,其特征在于,所述下载指令包括要下载的结构化数据的起止标识,所述根据所述下载指令将对应的结构化数据下载任务切分为多个数据分段下载任务,进一步包括:根据所述起止标识确定所述结构化数据的结构长度;将所述结构化数据下载任务切分为结构长度小于或等于第一预设阈值的多个数据分段下载任务。3.根据权利要求2所述的方法,其特征在于,所述起止标识是起止时间标识。4.根据权利要求1所述的方法,其特征在于,所述根据所述多个数据分段下载任务下载相应的多个数据分段文件具体包括:采用多线程并行下载所述多个数据分段文件。5.根据权利要求4所述的方法,其特征在于,当一个或多个所述数据分段文件下载失败时,所述方法还包括:获取对应的数据分段下载任务的待下载量;当所述待下载量大于第二预设阈值时,将所述数据分段下载任务进一步切分为两个子分段下载任务;根据所述子分段下载任务下载相应的数据分段文件。6.根据权利要求4所述的方法,其特征在于,当一个或多个所述数据分段文件下载失败时,所述方法还包括:重新下载相应的数据分段文件。7.根据权利要求1所述的方法,其特征在于,所述数据分段文件中包括分段标识,在所述根据所述多个数据分段下载任务下载相应的多个数据分段文件之后,还包括:根据所述数据分段文件和对应的分段标识生成要下载的所述结构化数据。8.根据权利要求7所述的方法,其特征在于,当一个或多个所述数据分段文件下载失败时,所述方法还包括:根据已下载的所述多个数据分段文件和对应的分段标识,生成部分要下载的所...

【专利技术属性】
技术研发人员:徐林赵嘉寅张琦炜詹明魁董瓅媛周琳陈凌宇周秋燕
申请(专利权)人:阿里巴巴集团控股有限公司
类型:发明
国别省市:开曼群岛,KY

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1