一种数据导出系统、数据导出方法、电子设备及存储介质技术方案

技术编号:43827408 阅读:23 留言:0更新日期:2024-12-31 18:28
本发明专利技术公开了一种数据导出系统、数据导出方法、电子设备及存储介质。在所述系统中:分页服务器,用于对待导出数据进行分页,获得每个分页对应的导出数据,并记录总页数;查询服务器,用于创建针对每个分页的数据查询任务;并依次将数据查询任务存储至预设的任务集合中;根据自身配置创建并行线程;利用并行线程,依次并行的从任务集合中获取并执行数据查询任务,获得目标数据;将目标数据,作为一个待写入任务,依次推送至预设的消息队列中;导入服务器,用于根据总页数创建并行线程;利用并行线程,依次并行的从消息队列中获取待写入任务;对每个待写入任务中的数据进行格式处理,获得目标写入数据;将目标写入数据写入目标文件中。

【技术实现步骤摘要】

本专利技术涉及大数据处理,尤其涉及一种数据导出系统、数据导出方法、电子设备及存储介质


技术介绍

1、数据导出是指将存储在计算机系统或数据库中的数据以可读格式或文件的形式从一个系统或数据库中导出到另一个计算机系统、数据库或文件中的过程。数据导出可以用于多种目的,如数据备份、数据共享、数据分析以及将数据移植到不同的应用程序或平台中。例如将数据库中的业务数据报表导出到excel文件中,以便于对业务数据报表进行二次整理和分析。但是,专利技术人发现,现有的数据导出方法通常是直接引用第三方提供的工具集,例如,npoi中的excel导出工具包,用户仅需要将待导出数据提供给第三方工具集,即可完成将待导出数据导出到excel文件的操作。然而,由于第三方工具集基本都存在以下为题:

2、1、当为了提高数据的导出效率,采用多线程执行数据导出时,由于多线程的执行顺序可能不同,而现有的第三方工具集又没有一个机制来管控各个线程写入数据的顺序,因而,存在无法保障数据的一致性的问题,即,无法保障导出到excel文件中的数据是与待导出数据一致的;

>3、2、当待导出数本文档来自技高网...

【技术保护点】

1.一种数据导出系统,其特征在于,包括:分页服务器、查询服务器和导入服务器;

2.根据权利要求1所述的系统,其特征在于,所述导入服务器,还用于:

3.一种数据导出方法,其特征在于,应用于权利要求1所述的数据导出系统中的分页服务器,所述数据导出系统还包括查询服务器和导入服务器,所述方法,包括:

4.一种数据导出方法,其特征在于,应用于权利要求1所述的数据导出系统中的查询服务器,所述数据导出系统还包括分页服务器和导入服务器,所述方法,包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述分页结果,创建针对每个分页的数据查询任务,并将所述...

【技术特征摘要】

1.一种数据导出系统,其特征在于,包括:分页服务器、查询服务器和导入服务器;

2.根据权利要求1所述的系统,其特征在于,所述导入服务器,还用于:

3.一种数据导出方法,其特征在于,应用于权利要求1所述的数据导出系统中的分页服务器,所述数据导出系统还包括查询服务器和导入服务器,所述方法,包括:

4.一种数据导出方法,其特征在于,应用于权利要求1所述的数据导出系统中的查询服务器,所述数据导出系统还包括分页服务器和导入服务器,所述方法,包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述分页结果,创建针对每个分页的数据查询任务,并将所述分页的页码,作为该分页对应的数据...

【专利技术属性】
技术研发人员:牛国旭刘永振
申请(专利权)人:巨掌互动科技北京有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1