数据导出方法、系统及计算机程序产品技术方案

技术编号:43583016 阅读:17 留言:0更新日期:2024-12-06 17:47
本公开提供了一种数据导出方法、数据导出系统及计算机程序产品,该方法包括数据读取步骤、数据处理步骤和数据写入步骤,数据读取步骤用于从数据源中读取数据得到第一数据,数据处理步骤用于对第一数据进行处理得到第二数据,数据写入步骤用于将第二数据写入至指定位置,数据读取步骤、数据处理步骤和数据写入步骤中的至少两种步骤能够并行执行。

【技术实现步骤摘要】

本公开涉及计算机技术等,尤其涉及一种数据导出方法、数据导出系统及计算机程序产品。


技术介绍

1、数据导出是业务开发中的高频场景,例如在业务开发过程中,将需求的数据从数据库中导出至文件服务器中。在相关技术中,整个数据导出过程包括将需求的数据从数据库中读取出来,然后对读取到的数据进行一定的加工和处理,之后将处理结果写入到指定位置,从而完成数据的导出过程。

2、在上述数据导出过程中,不同的待导出数据之间的导出过程为串行执行的,在对当前批次的待导出数据进行导出处理的过程中,下一批待导出数据需要等待,直至当前批次的导出数据完成导出处理过程时,才能开始对下一批次的待导出数据执行导出处理。这会导致系统资源利用率较低,数据导出效率难以满足要求。


技术实现思路

1、为了解决上述技术问题中的至少一个,本公开提供了一种数据导出方法、数据导出系统、可读存储介质及计算机程序产品。

2、本公开第一方面提出了一种数据导出方法,包括:数据读取步骤,从数据源中读取数据,得到第一数据;数据处理步骤,对所述第一数据进行处理本文档来自技高网...

【技术保护点】

1.一种数据导出方法,其特征在于,包括:

2.根据权利要求1所述的数据导出方法,其特征在于,所述数据源、所述指定位置和所述数据处理步骤的执行主体,分别设置于不同的服务器中。

3.根据权利要求1所述的数据导出方法,其特征在于,所述数据读取步骤和所述数据处理步骤中的至少一种步骤对应有数据队列,所述数据队列用于存储执行相应步骤所形成的结果数据,所述结果数据作为所述数据队列所对应步骤在步骤执行顺序中的下一步骤的待执行数据,用于被从所述数据队列中取出并被相应步骤所执行。

4.根据权利要求3所述的数据导出方法,其特征在于,在所述数据读取步骤中,在得到所述第一数据之...

【技术特征摘要】

1.一种数据导出方法,其特征在于,包括:

2.根据权利要求1所述的数据导出方法,其特征在于,所述数据源、所述指定位置和所述数据处理步骤的执行主体,分别设置于不同的服务器中。

3.根据权利要求1所述的数据导出方法,其特征在于,所述数据读取步骤和所述数据处理步骤中的至少一种步骤对应有数据队列,所述数据队列用于存储执行相应步骤所形成的结果数据,所述结果数据作为所述数据队列所对应步骤在步骤执行顺序中的下一步骤的待执行数据,用于被从所述数据队列中取出并被相应步骤所执行。

4.根据权利要求3所述的数据导出方法,其特征在于,在所述数据读取步骤中,在得到所述第一数据之后,将所述第一数据存入所述数据读取步骤所对应的数据队列。

5.根据权利要求3所述的数据导出方法,其特征在于,在所述数据处理步骤中,在得到所述第二数据之后,将所述第二数据存入所述数据处理步骤所对应的数据队列。

6.根据权利...

【专利技术属性】
技术研发人员:何晨涛
申请(专利权)人:贝壳找房北京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1