数据导入导出子系统技术方案

本发明专利技术公开了数据导入导出子系统，涉及计算机数据处理技术领域；包括业务相关部分处理阶段和业务不相关部分处理阶段，所述业务不相关处理阶段包括任务队列、任务调度器、导入流程管理器、导出流程管理器，所述业务相关部分处理阶段包括业务系统相关的公共阶段和也业务相关的特定处理阶段，所述任务队列负责当用户提交任务后，不进行立即执行，先保存此队列至任务缓冲区，所述任务调度器是根据系统资源使用情况从任务缓冲区取任务，并根据任务类型分别交由导入处理流程管理器和导出流程管理器处理。本发明专利技术通过把公共的处理阶段抽离出来做一个子系统，各业务条线的程序员只需要关心业务数据的存取的逻辑，大大简化了业务侧开发工作。

【技术实现步骤摘要】
数据导入导出子系统
本专利技术涉及计算机数据处理
，尤其涉及数据导入导出子系统。
技术介绍
在各业务系统中，通过Excel导入数据和导出Excel文件功能是我们常见的功能，例如：订单导出、报表导出、商品导入等，随着这种需求的越来越多，重复代码和重复的处理流程也越来越多。另一方面，对于当前主流的B/S架构下，当数据量较大时，系统处理时间较长，会导致多种问题，比如：浏览器端超时，对此业界常见的做法是：前端提交之后，后端异步处理，前端轮询处理结果，但此时操作者除了等待当前任务处理完成，而不能方便地在当前系统内做其它操作，以免切换页面导致错过处理结果等。另一方面，对于导入和导出操作的处理过程是可以分成若干阶段的。对于导入操作，可分为：文件上传、文件解析、分页提交数据、数据格式转换、数据校验、业务处理并保存、返回处理结果处理、通知用户等阶段，其中“数据校验”、“业务处理并保存”是与具体业务相关的。对于导出操作，可分为：构造分页查询条件、查询业务数据、返回数据类型格式转换、追加到导出文件、文件切割(可选)、压缩(可选)、通知用户等阶段，对于大本文档来自技高网...

【技术保护点】
1.数据导入导出子系统，其特征在于，包括业务相关部分处理阶段和业务不相关部分处理阶段，所述业务不相关处理阶段包括任务队列、任务调度器、导入流程管理器、导出流程管理器，所述业务相关部分处理阶段包括业务系统相关的公共阶段和也业务相关的特定处理阶段。/n

【技术特征摘要】
1.数据导入导出子系统，其特征在于，包括业务相关部分处理阶段和业务不相关部分处理阶段，所述业务不相关处理阶段包括任务队列、任务调度器、导入流程管理器、导出流程管理器，所述业务相关部分处理阶段包括业务系统相关的公共阶段和也业务相关的特定处理阶段。


2.根据权利要求1所述的数据导入导出子系统，其特征在于，所述任务队列负责当用户提交任务后，不进行立即执行，先保存此队列至任务缓冲区。


3.根据权利要求1所述的数据导入导出子系统，其特征在于，所述任务调度器是根据系统资源使用情况从任务缓冲区取任务，并根据任务类型分别交由导入处理流程管理器和导出流程管理器处理。


4.根据权利要求1所述的数据导入导出子系统，其特征在于，所述导入流程管理负责处理导入类型的任务，管理每个导入任务的整个处理过程。


5.根据权利要求4所述的数据导入导出子系统，其特征在于，所述导入流程管理器的具体处理流程如下：
A1：将任务状态置为“Doing”；
A2：解析导入文件，并组装统一的数据结构；
A3：向业务端发送请求；
A4：将处理结果保存到本地，循环STEP2-STEP4直至所有数据处理完成；
A5：统计该任务的数据导入总数、成功数、失败数等；
A6：将任务状态置为“Done”；
A7：通知用户任务的执...

【专利技术属性】
技术研发人员：梁来宾，
申请(专利权)人：上海契云科技有限公司，
类型：发明
国别省市：上海;31