The invention provides a method and apparatus for downloading a structured data, the method comprises: receiving structured data download instructions; according to the instructions to download the structured data corresponding to the download task are divided into a plurality of data segments download task; according to the plurality of data segments download download multiple corresponding data segment file. This method can improve the download rate and download speed of structured data files.
【技术实现步骤摘要】
结构化数据的下载方法和装置
本申请涉及数据下载
,尤其涉及一种结构化数据的下载方法和装置。
技术介绍
在SOA(Service-OrientedArchitecture,面向服务的体系结构)下,数据提供方可通过发布一个WebService(网页服务,简称WS)供其他系统以分页的方式查询数据;数据展示系统提供查询到的数据文件的下载服务,当用户点击查询或下载时,数据展示系统通过WS分页查询生成文件的数据并实时生成数据文件供用户下载。目前,在查询数据并生成数据文件的过程中,往往是单线程地获取生成文件所需的全部数据,效率低下,另外,由于数据展示系统与数据提供方之间通过网络不断的进行交互,容易由网络中断或者超时等原因造成下载失败,导致必须从头开始重新查询数据,最终无法查看结构化数据,下载失败率较高。
技术实现思路
为解决现有技术中的上述问题,本申请的一个目的在于提出一种结构化数据的下载方法及装置,可以提高结构化数据文件的下载成功率和下载速度。为达到上述目的,本申请实施例提出的结构化数据的下载方法,包括:接收结构化数据的下载指令;根据所述下载指令将对应的结构化数据下载任务切分为多个数据分段下载任务;根据所述多个数据分段下载任务下载相应的多个数据分段文件。为达到上述目的,本申请实施例提出的结构化数据的下载装置,包括:接收模块,用于接收结构化数据的下载指令;切分模块,用于根据所述下载指令将对应的结构化数据下载任务切分为多个数据分段下载任务;下载模块,用于根据所述多个数据分段下载任务下载相应的多个数据分段文件。由以上本申请实施例提供的技术方案可见,通过根据结构化数据的下载 ...
【技术保护点】
一种结构化数据的下载方法,其特征在于,包括:接收结构化数据的下载指令;根据所述下载指令将对应的结构化数据下载任务切分为多个数据分段下载任务;根据所述多个数据分段下载任务下载相应的多个数据分段文件。
【技术特征摘要】
1.一种结构化数据的下载方法,其特征在于,包括:接收结构化数据的下载指令;根据所述下载指令将对应的结构化数据下载任务切分为多个数据分段下载任务;根据所述多个数据分段下载任务下载相应的多个数据分段文件。2.根据权利要求1所述的方法,其特征在于,所述下载指令包括要下载的结构化数据的起止标识,所述根据所述下载指令将对应的结构化数据下载任务切分为多个数据分段下载任务,进一步包括:根据所述起止标识确定所述结构化数据的结构长度;将所述结构化数据下载任务切分为结构长度小于或等于第一预设阈值的多个数据分段下载任务。3.根据权利要求2所述的方法,其特征在于,所述起止标识是起止时间标识。4.根据权利要求1所述的方法,其特征在于,所述根据所述多个数据分段下载任务下载相应的多个数据分段文件具体包括:采用多线程并行下载所述多个数据分段文件。5.根据权利要求4所述的方法,其特征在于,当一个或多个所述数据分段文件下载失败时,所述方法还包括:获取对应的数据分段下载任务的待下载量;当所述待下载量大于第二预设阈值时,将所述数据分段下载任务进一步切分为两个子分段下载任务;根据所述子分段下载任务下载相应的数据分段文件。6.根据权利要求4所述的方法,其特征在于,当一个或多个所述数据分段文件下载失败时,所述方法还包括:重新下载相应的数据分段文件。7.根据权利要求1所述的方法,其特征在于,所述数据分段文件中包括分段标识,在所述根据所述多个数据分段下载任务下载相应的多个数据分段文件之后,还包括:根据所述数据分段文件和对应的分段标识生成要下载的所述结构化数据。8.根据权利要求7所述的方法,其特征在于,当一个或多个所述数据分段文件下载失败时,所述方法还包括:根据已下载的所述多个数据分段文件和对应的分段标识,生成部分要下载的所...
【专利技术属性】
技术研发人员:徐林,赵嘉寅,张琦炜,詹明魁,董瓅媛,周琳,陈凌宇,周秋燕,
申请(专利权)人:阿里巴巴集团控股有限公司,
类型:发明
国别省市:开曼群岛,KY
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。