一种基于文件存储的大数据异步导出方法及系统技术方案

本发明专利技术公开一种基于文件存储的大数据异步导出方法及系统，属于大数据领域，获取待导出数据的数据导出请求，根据数据导出请求创建导出任务，将导出任务保存至任务表中；从任务表中获取并执行导出任务，生成待导出数据的excel文件；将excel文件上传至云存储服务器保存，得到云存储服务器返回的统一资源定位符；获取excel文件下载请求，根据统一资源定位符链接下载excel文件。本发明专利技术通过将导出任务保存至任务表，避免了因用户一次性提交大量导出请求而导致的系统崩溃及响应缓慢问题；通过job定时任务能够分批次不重复、不遗漏地处理所有未执行的导出任务，避免一次执行过多且耗时较长的任务导致服务器压力过大影响到主流程。程。程。

【技术实现步骤摘要】
一种基于文件存储的大数据异步导出方法及系统


[0001]本专利技术属于大数据处理领域，具体涉及一种基于文件存储的大数据异步导出方法及系统。

技术介绍

[0002]随着网络技术和数字经济的发展，传统行业与互联网的结合使得用户每天都会在网络上产生非常多的数据，数据库中数据的导出在日常开发中也是经常遇到的现象。
[0003]现有的数据导出方法都是通过一次请求导出，即同步导出，同步导出对于小数据量的导出适用，对于大数据量的导出就会出现数据导出超时、连接中断的情况，最终导致数据导出失败。
[0004]对于快递行业，网点工作人员经常需要从数据库中导出该网点每日到件及发件情况，进行数据分析，从而更好的指导生产经营。现有传统的数据同步导出方法在点击“导出”按钮后浏览器处于一直等待状态，等待浏览器后端返回导出结果，对于小数据量的导出等待时间很短，不会出现问题，可以流畅导出。但是，当要导出的数据量到达一万条以上或者浏览器后端服务器有一些比较耗时的处理操作时，用户通过浏览器前端点击“导出”按钮，由于导出数据量较大，数据传输耗时较长，就会导致整个浏览器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于文件存储的大数据异步导出方法，其特征在于，包括以下步骤：获取待导出数据的数据导出请求，根据所述数据导出请求创建导出任务，并将所述导出任务保存至任务表中，并发送导出任务成功提醒；其中，所述导出任务中包括所述待导出数据的筛选条件；基于预设固定时间，从所述任务表中获取所述导出任务并执行所述导出任务，生成所述待导出数据的excel文件；将所述excel文件上传至云存储服务器保存，得到所述云存储服务器返回的该excel文件对应的统一资源定位符链接；响应于excel文件下载请求，根据所述统一资源定位符链接从所述云存储服务器下载所述excel文件，完成所述待导出数据的数据导出。2.根据权利要求1所述的大数据异步导出方法，其特征在于，获取待导出数据的数据导出请求之后，还包括对所述数据导出请求进行校验，校验过程包括：将所述数据导出请求携带的请求参数取出，根据所述请求参数查看数据库中是否存在所述待导出数据，当所述待导出数据存在于所述数据库中时，校验通过；当所述待导出数据不存在于所述数据库中时，校验不通过，则将所述数据导出请求的校验失败提醒返回至浏览器前端。3.根据权利要求1所述的大数据异步导出方法，其特征在于，采用job定时任务从所述任务表中获取并执行所述导出任务，所述job定时任务利用TBschedule框架创建；所述job定时任务从所述任务表中获取并执行所述导出任务的过程包括：每隔预设固定时间从所述任务表中...

【专利技术属性】
技术研发人员：杨磊，
申请(专利权)人：上海中通吉网络技术有限公司，
类型：发明
国别省市：