基于动态分批的数据导出方法、系统、设备及存储介质技术方案

本发明专利技术涉及数据处理技术领域，具体提供一种基于动态分批的数据导出方法、系统、设备及存储介质，包括：接收检索请求，并确定与所述检索请求匹配的元数据信息；监控内存空闲率，并基于所述内存空闲率动态更新数据量阈值；基于所述元数据信息评估数据量，若所述数据量超过所述数据量阈值，则将基于所述元数据信息的实体类数据导出任务划分为多个子任务；逐一执行所述子任务，以将所述元数据信息对应的所有实体类数据分批导出。本发明专利技术通过动态限制内存，基于内存分配量对单次处理的数据量进行限制，在充分利用内存资源的同时，又可以避免冲击内存，影响其他业务的正常运行。

【技术实现步骤摘要】

本专利技术数据处理，具体涉及一种基于动态分批的数据导出方法、系统、设备及存储介质。

技术介绍

1、excel导出功能通常是通过web应用提供的，因此这个
还涉及到 web 应用开发。web应用开发包括使用http协议、restful api设计、web服务器（如tomcat、jetty）等技术来构建用户可以通过浏览器访问的应用，通过java后端使用easypoi技术将数据进行分类分页导出。

2、easypoi底层基于apache poi库，apache poi是一个流行的开源库，用于处理microsoft office文档，特别是excel文件。

3、然而，当面对大数据量或复杂的excel文件时，apache poi库面临着严峻的内存消耗挑战，由于它们通常采用将整个工作表一次性加载到内存中的处理方式，导致在处理大型文件时，内存消耗急剧增加，给内存造成冲击。

技术实现思路

1、针对现有技术的上述不足，本专利技术提供一种基于动态分批的数据导出方法、系统、设备及存储介质，以解决上述技术本文档来自技高网...

【技术保护点】

1.一种基于动态分批的数据导出方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，接收检索请求，并确定与所述检索请求匹配的元数据信息，所述元数据信息包括目标数据的索引信息，包括：

3.根据权利要求1所述的方法，其特征在于，监控内存空闲率，并基于所述内存空闲率动态更新数据量阈值，包括：

4.根据权利要求2所述的方法，其特征在于，基于所述元数据信息评估数据量，若所述数据量超过所述数据量阈值，则将基于所述元数据信息的实体类数据导出任务划分为多个子任务，包括：

5.根据权利要求1所述的方法，其特征在于，基于所述元数据信息评估数据量的...

【技术特征摘要】

1.一种基于动态分批的数据导出方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，接收检索请求，并确定与所述检索请求匹配的元数据信息，所述元数据信息包括目标数据的索引信息，包括：

3.根据权利要求1所述的方法，其特征在于，监控内存空闲率，并基于所述内存空闲率动态更新数据量阈值，包括：

4.根据权利要求2所述的方法，其特征在于，基于所述元数据信息评估数据量，若所述数据量超过所述数据量阈值，则将基于所述元数据信息的实体类数据导出任务划分为多个子任务，包括：

5.根据权利要求1所述的方法，其特征在于，基于所述元数据信息...

【专利技术属性】
技术研发人员：孙海耀，齐光鹏，商广勇，冯向阳，倪志荣，米寒，
申请(专利权)人：浪潮云洲工业互联网有限公司，
类型：发明
国别省市：