数据导出方法及装置、计算机可读存储介质及电子设备制造方法及图纸

本公开涉及数据处理技术领域，提供了一种数据导出方法及装置、计算机可读存储介质和电子设备。其中，上述方法包括：响应于客户端的数据导出请求，获取导出参数信息，并生成待导出数据的导出文件标识，导出参数信息包括待导出数据的查询条件；通过异步线程获取待导出数据的导出路径，并根据导出路径和导出文件标识创建导出文件；异步线程根据待导出数据的查询条件分页查询待导出数据，按照分页查询的顺序将查询到的待导出数据写入到导出文件中，以生成目标导出文件。本方案基于异步线程和分页查询执行数据导出操作，可以避免一次性导出大数据量数据存在的内存溢出的问题，同时，可以提高数据导出的效率。数据导出的效率。数据导出的效率。

【技术实现步骤摘要】
数据导出方法及装置、计算机可读存储介质及电子设备


[0001]本公开涉及数据处理
，具体而言，涉及一种数据处导出方法、数据导出装置、计算机可读存储介质、电子设备。

技术介绍

[0002]在大数据管理平台中，常常需要进行不同的数据导出，以进行不同的业务需求分析。
[0003]现有技术中，通常是客户端组装查询参数发起数据导出请求，后台系统业务层根据查询参数拼装sql(Structured Query Language，结构化查询语言)，一次查询出所有数据并返回；后台控制层和模型层使用response(代表响应的对象)的I/O(输入/输出)流写入查询出的数据，客户端下载response中的数据，从而实现数据的导出和下载。
[0004]然而，这种方式在导出的数据量较大，例如百万级时，会增加数据库的压力，导致内存溢出，且存在导出效率低下，导出时间过长的问题。
[0005]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。<br/>
技术实现思路
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据导出方法，其特征在于，包括：响应于客户端的数据导出请求，获取导出参数信息，并生成待导出数据的导出文件标识，所述导出参数信息包括所述待导出数据的查询条件；通过异步线程获取所述待导出数据的导出路径，并根据所述导出路径和所述导出文件标识创建导出文件；所述异步线程根据所述待导出数据的查询条件分页查询所述待导出数据，按照所述分页查询的顺序将查询到的所述待导出数据写入到所述导出文件中，以生成目标导出文件。2.根据权利要求1所述的数据导出方法，其特征在于，所述异步线程根据所述待导出数据的查询条件分页查询所述待导出数据包括：获取待导出数据量和预设的异步线程的数量；根据所述待导出数据量和所述预设的异步线程的数量，为各所述异步线程分配子待导出数据量；各所述异步线程并行的根据所述待导出数据的查询条件和所述子待导出数据量，分页查询子待导出数据；所述按照所述分页查询的顺序将查询到的所述待导出数据写入到所述导出文件中，以生成目标导出文件，包括：各所述异步线程按照所述分页查询的顺序，将查询到的子待导出数据分别写入到各所述异步线程所对应的子导出文件中；合并所述各子导出文件，以生成目标导出文件。3.根据权利要求2所述的数据导出方法，其特征在于，在将查询到的子待导出数据写入到各所述异步线程所对应的子导出文件中之前，所述方法还包括：根据所述导出文件标识和各所述异步线程的线程标识，生成各所述异步线程所对应的子导出文件标识；获取所述导出路径和所述子导出文件标识，以创建各所述异步线程所对应的子导出文件。4.根据权利要求3所述的数据导出方法，其特征在于，所述合并所述各子导出文件，以生成目标导出文件，包括：根据所述导出路径和各所述子导出文件标识读取各子导出文件；将读取到的各子导出文件写入到所述导出文件中，以生成目标导出文件。5.根据权利要求1所述的数据导出方法，其特征在于，所述导出参数信息还包括导出用户标识、导出时间中的至少一种；所述生成待导出数据的导出文件标识，包括：根据所述导出参数信息生成待导出数据的导出文件标识。6.根据权利要求1所述的数据导出方法，其特征在于，生成待导出数据的导出文件标识后，所述方法还包括：根据所述导出文件标识和所述导出参数信息生成目标导出任务；将所述目标导出任务写入导出任务信息表，并将所述目标导出任务的状态配置为导出中状态。7.根据权利要求1至6中任一项所述的数据导出方法，其特征在于，生成目标导出文件
后，所述方法还包括：上传所...

【专利技术属性】
技术研发人员：袁建棚，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：