【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种基于表配置的大数据表导出的方法、装置及电子设备。
技术介绍
1、通常企业使用大数据技术栈的数据分析系统、商业分析系统是业务数据流转的终点，但随着企业级it架构转型、业务功能拆分重建，企业为解决企业数据治理问题并提高系统的可扩展性，将原来根据业务领域划分it系统的架构转变为根据业务功能、技术能力重新划分建设it系统，这些变化使得经过大数据技术分析处理过的数据仍然需要将产生的数据以各种形式传递产生业务数据。
2、例如，监测分析系统产生的数据，在传统架构下通常由数据源系统负责历史数据存储、当期数据加工等，并将业务人员甄别、处理后的数据进一步加工成业务报表，而在it架构转型过程中，监测分析系统更专注于数据的分析、处理，而产生业务报表的流程被抽象出来形成一个单独的业务系统，历史数据也有新的系统提供存储和访问的功能，因此产生了不同系统间的数据交互；同时由于大数据技术栈的局限性，数据再完成分析后，需要导入至oltp数据库供业务人员查阅、处理。
3、面对大数据导出需求，通常采用一个流程一个作业的方式，然而对于新增的任务，则需要随之线性增加程序处理，后期维护程序繁多，可扩展性低。
技术实现思路
1、本专利技术提供一种基于表配置的大数据表导出的方法、装置及电子设备，用以解决现有技术中上述存在的缺陷，实现数据导出便利性，降低开发和维护成本。
2、本专利技术提供一种基于表配置的大数据表导出的方法，包括：
3、读取写入数据表
4、对业务数据进行数据筛选和数据清洗，替换所述业务数据中的换行符和分隔符，得到筛选和清洗后的业务数据；
5、判断所述业务数据是否需要写入数据库，在所述业务数据无需写入数据库的情况下，对所述业务数据进行分区导出或分片导出，合并并下载所述分区导出或分片导出的数据文件。
6、根据本专利技术提供的一种基于表配置的大数据表导出的方法，所述在所述业务数据无需写入数据库的情况下，对所述业务数据进行分区导出或分片导出，合并并下载所述分区导出或分片导出的数据文件，包括：
7、在所述业务数据无需写入数据库的情况下，判断所述业务数据是否需要分区导出；
8、在确定需要分区导出的情况下，对所述业务数据进行分区筛选，确定所述业务数据在所述数据表中的分区信息；
9、基于所述分区信息导出固定数量的数据文件。
10、根据本专利技术提供的一种基于表配置的大数据表导出的方法，所述在所述业务数据无需写入数据库的情况下，对所述业务数据进行分区导出或分片导出，合并并下载所述分区导出或分片导出的数据文件，包括：
11、确定所述业务数据无需分片导出；
12、确定所述分片导出的分片大小，基于所述分片大小将所述业务数据分为多个分片数据；
13、将所述多个分片数据逐一导出，得到多个单独的数据文件。
14、根据本专利技术提供的一种基于表配置的大数据表导出的方法，还包括：
15、在确定所述业务数据写入成功的情况下，对所述业务数据进行进行数据重分布，将重分布后的数据进行写出；
16、在确定所述业务数据无需分区导出且需要分片导出的情况下，对所述业务数据进行进行数据重分布，导出并下载重分布后的数据文件。
17、根据本专利技术提供的一种基于表配置的大数据表导出的方法，所述配置参数包括：与调度作业的关系数据、配置文件格式以及数据转换格式中的至少一种。
18、根据本专利技术提供的一种基于表配置的大数据表导出的方法，所述方法还包括：
19、确定所述业务数据的目标表名、字段列表以及值列表；
20、将所述目标表名、字段列表以及值列表通过数据库操作语言组装写入语句；
21、执行所述写入语句，将所述业务数据写入所述数据表中。
22、本专利技术还提供一种基于表配置的大数据表导出的装置，包括：
23、参数配置模块，用于读取写入数据表中的配置参数，并确定所述配置参数验证通过；
24、清洗模块，用于对业务数据进行数据筛选和数据清洗，替换所述业务数据中的换行符和分隔符，得到筛选和清洗后的业务数据；
25、导出模块，用于判断所述业务数据是否需要写入数据库，在所述业务数据无需写入数据库的情况下，对所述业务数据进行分区导出或分片导出，合并并下载所述分区导出或分片导出的数据文件。
26、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于表配置的大数据表导出的方法。
27、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于表配置的大数据表导出的方法。
28、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于表配置的大数据表导出的方法。
29、本专利技术提供的基于表配置的大数据表导出的方法、装置及电子设备，通过读取写入配置表中的配置参数进行数据筛选和数据清洗，替换配置参数中的换行符和分隔符，得到筛选和清洗后的业务数据，然后在业务数据写入失败的情况下，对业务数据进行分区导出或分片导出，合并并下载分区导出或分片导出的数据文件。通过参数配置和读取、数据清洗以及数据导出的数据处理，使得开发人员能够通过维护配置表、接入调度系统的方式实现数据导出，并且简化开发流程，快速响应业务需求。
本文档来自技高网...【技术保护点】
1.一种基于表配置的大数据表导出的方法，其特征在于，包括：
2.根据权利要求1所述的基于表配置的大数据表导出的方法，其特征在于，所述在所述业务数据无需写入数据库的情况下，对所述业务数据进行分区导出或分片导出，合并并下载所述分区导出或分片导出的数据文件，包括：
3.根据权利要求2所述的基于表配置的大数据表导出的方法，其特征在于，所述在所述业务数据无需写入数据库的情况下，对所述业务数据进行分区导出或分片导出，合并并下载所述分区导出或分片导出的数据文件，包括：
4.根据权利要求1所述的基于表配置的大数据表导出的方法，其特征在于，还包括：
5.根据权利要求1所述的基于表配置的大数据表导出的方法，其特征在于，所述配置参数包括：与调度作业的关系数据、配置文件格式以及数据转换格式中的至少一种。
6.根据权利要求1所述的基于表配置的大数据表导出的方法，其特征在于，所述方法还包括：
7.一种基于表配置的大数据表导出的装置，其特征在于，包括：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于表配置的大数据表导出的方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于表配置的大数据表导出的方法。
...【技术特征摘要】
1.一种基于表配置的大数据表导出的方法，其特征在于，包括：
2.根据权利要求1所述的基于表配置的大数据表导出的方法，其特征在于，所述在所述业务数据无需写入数据库的情况下，对所述业务数据进行分区导出或分片导出，合并并下载所述分区导出或分片导出的数据文件，包括：
3.根据权利要求2所述的基于表配置的大数据表导出的方法，其特征在于，所述在所述业务数据无需写入数据库的情况下，对所述业务数据进行分区导出或分片导出，合并并下载所述分区导出或分片导出的数据文件，包括：
4.根据权利要求1所述的基于表配置的大数据表导出的方法，其特征在于，还包括：
5.根据权利要求1所述的基于表配置的大数据表导出的方法，其特征在于，所述配置参数包括：与调度作业的关系数据、配置文件格式以及数据转换格...
【专利技术属性】
技术研发人员：金浩宇，
申请(专利权)人：中银金融科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。