一种数据下载方法、装置、计算机设备和存储介质制造方法及图纸

本发明专利技术公开了一种数据下载方法、装置、计算机设备和存储介质，该方法包括：接收下载请求，获取下载请求中携带的目标任务标识；根据目标任务标识从预先配置的下载任务数据表中获取目标任务元数据；根据目标任务元数据以及下载请求生成对应的下载任务；定时执行下载任务，从搜索引擎中获取目标数据，并将目标数据导入到预设格式的文件中，以供下载，其中搜索引擎中的数据包括从业务系统获取的实时数据。本发明专利技术在解决了大数据量下载的同时，解决了数据的时效性，并支持在线实时动态查询后进行下载，灵活性高、扩展性强，显著地提高了实时下载的效率，提升了用户的体验，通过缩短了开发周期，提高了开发效率。

A data download method, device, computer equipment and storage medium

【技术实现步骤摘要】
一种数据下载方法、装置、计算机设备和存储介质
本专利技术涉及数据处理
，特别涉及一种数据下载方法、装置、计算机设备和存储介质。
技术介绍
在实际的物流作业过程中，物流作业人员需要实时查看各物流中心或网点作业的物流订单，由于每天作业的订单数据量通常比较多，因而通过分页查询会不方便。因此，最好能够把订单信息的明细实时下载成excel等表格的方式，方便根据各种条件过滤、查看以及进行分析。随着实时业务数据的增多，实时下载的需求越来越多。由于存在需要下载的人员很多、下载的数据量很大、单个下载量达到上百万等因素。采用传统的同步排队下载方式会存在等待时间长，高并发引起后台内存溢出、系统宕机等问题。另外不同业务需求的实时下载，实现功能类似，重复编码引起开发效率低。目前业界比较常用的实时数据下载方式有以下两种，1、直接从关系型数据库(oracle，mysql，postgresql)中同步下载：该方法是业界使用最多的，由于数据是实时的，直接下载最方便。但是遇到数据量大，下载并发大的情况时，等待时间会很长，对数据库的负载压力大，严重情况本文档来自技高网...

【技术保护点】
1.一种数据下载方法，其特征在于，所述方法包括如下步骤：/n接收下载请求，获取下载请求中携带的目标任务标识；/n根据所述目标任务标识从预先配置的下载任务数据表中获取目标任务元数据；/n根据所述目标任务元数据以及所述下载请求生成对应的下载任务；/n定时执行所述下载任务，从搜索引擎中获取目标数据，并将所述目标数据导入到预设格式的文件中，以供下载，其中所述搜索引擎中的数据包括从业务系统获取的实时数据。/n

【技术特征摘要】
1.一种数据下载方法，其特征在于，所述方法包括如下步骤：
接收下载请求，获取下载请求中携带的目标任务标识；
根据所述目标任务标识从预先配置的下载任务数据表中获取目标任务元数据；
根据所述目标任务元数据以及所述下载请求生成对应的下载任务；
定时执行所述下载任务，从搜索引擎中获取目标数据，并将所述目标数据导入到预设格式的文件中，以供下载，其中所述搜索引擎中的数据包括从业务系统获取的实时数据。


2.根据权利要求1所述的数据下载方法，其特征在于，所述方法还包括：
在根据所述目标任务元数据以及所述下载请求生成对应的下载任务后，将所述下载任务存储至预先构建的下载任务实例表中。


3.根据权利要求2所述的数据下载方法，其特征在于，所述方法还包括：
对所述下载任务实例表中的下载任务进行分析，获取分析结果。


4.根据权利要求1至3任一所述的数据下载方法，其特征在于，所述方法还包括搜索引擎的数据写入过程，包括：
实时数据采集系统将从业务系统采集到的实时业务数据发送至消息队列中通过所述消息队列将所述实时业务数据写入所述搜索引擎；和/或，
离线抽数采集系统将从业务系统的数据库中抽取到的离线业务数据发送至hive中，通过所述hive将所述离线业务数据写入所述搜索引擎。


5.一种数据下载装置，其特征在于，所述装置包括：
标识获取模块，用于接收下载请求，获取下载请求中携带的目标任务标识；
数据匹配模块，用于根据所述目标任务标识从预先配置的下载任务数据表中获取目标任务元数据；
任务生成...

【专利技术属性】
技术研发人员：伍冠军，赵丹，邢建垒，储立，
申请(专利权)人：江苏苏宁物流有限公司，
类型：发明
国别省市：江苏;32