【技术实现步骤摘要】
本申请涉及计算机，具体涉及一种批量数据卸数处理方法、一种批量数据卸数处理装置、一种电子设备以及一种计算机可读存储介质。
技术介绍
1、大批量数据的卸数处理通常是指将存储在数据库或其他数据存储系统中的大规模数据导出或转移的过程。在这个过程中，数据会从原始数据源中提取出来，通常以文件的形式保存在本地文件系统或者传输到其他位置，以供进一步处理、分析或备份。
2、目前，大批量数据卸数任务大多是基于现有的springbatch框架去编码实现，其主要做法是：集成springbatch框架，利用该组件编码构建卸数任务逻辑，通过其分页组件，依次分页获取数据库数据，并将数据库数据映射到内存中的数据对象，然后再由其写组件写入到指定的文件中。但是，经过实践发现该方案存在以下问题：
3、(1)对于大批量数据，需要做分页查询处理，经过内存映射后，再经由内存写入文件，存在深度分页查询缓慢问题，从而给数据库带来负担并最终影响任务的效率；
4、(2)框架学习曲线较陡，需要根据业务需求组装编写个性化开发代码，短时间内难以快速完成卸数任
【技术保护点】
1.一种批量数据卸数处理方法，其特征在于，所述卸数处理方法包括：
2.根据权利要求1所述的批量数据卸数处理方法，其特征在于，所述数据源信息包括：数据库连接参数、数据源类型和表名；所述卸数策略信息包括：增量卸数参数、全量卸数参数、常规条件配置参数和自定义条件配置参数；所述数据库字段信息包括：字段名称、字段格式和字段排序。
3.根据权利要求1所述的批量数据卸数处理方法，其特征在于，所述采用流式查询执行结构化查询语句，获得从待卸取数据库中导出的卸数数据，包括：
4.根据权利要求3所述的批量数据卸数处理方法，其特征在于，将流式查询后获得的若...
【技术特征摘要】
1.一种批量数据卸数处理方法，其特征在于，所述卸数处理方法包括：
2.根据权利要求1所述的批量数据卸数处理方法，其特征在于，所述数据源信息包括：数据库连接参数、数据源类型和表名；所述卸数策略信息包括：增量卸数参数、全量卸数参数、常规条件配置参数和自定义条件配置参数；所述数据库字段信息包括：字段名称、字段格式和字段排序。
3.根据权利要求1所述的批量数据卸数处理方法，其特征在于，所述采用流式查询执行结构化查询语句，获得从待卸取数据库中导出的卸数数据，包括：
4.根据权利要求3所述的批量数据卸数处理方法，其特征在于，将流式查询后获得的若干卸数字段按照指定的拼接规则连接成符合查询条件的字符串。
5.根据权利要求1所述的...
【专利技术属性】
技术研发人员：梅登，吴想想，秦瑞雄，王博，李浩宇，王川，谭雨婷，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。