基于表配置的大数据表导出的方法、装置及电子设备制造方法及图纸

技术编号:40417207 阅读:19 留言:0更新日期:2024-02-20 22:34
本发明专利技术提供一种基于表配置的大数据表导出的方法、装置及电子设备,方法包括:读取写入配置表中的配置参数,并确定所述配置参数验证通过;对业务数据进行数据筛选和数据清洗,替换所述业务数据中的换行符和分隔符,得到筛选和清洗后的业务数据;判断所述业务数据是否需要写入数据库,在所述业务数据无需写入数据库的情况下,对所述业务数据进行分区导出或分片导出,合并并下载所述分区导出或分片导出的数据文件。本发明专利技术使得开发人员能够通过维护配置表、接入调度系统的方式实现数据导出,并且简化开发流程,快速响应业务需求。

【技术实现步骤摘要】

本专利技术涉及数据处理,尤其涉及一种基于表配置的大数据表导出的方法、装置及电子设备


技术介绍

1、通常企业使用大数据技术栈的数据分析系统、商业分析系统是业务数据流转的终点,但随着企业级it架构转型、业务功能拆分重建,企业为解决企业数据治理问题并提高系统的可扩展性,将原来根据业务领域划分it系统的架构转变为根据业务功能、技术能力重新划分建设it系统,这些变化使得经过大数据技术分析处理过的数据仍然需要将产生的数据以各种形式传递产生业务数据。

2、例如,监测分析系统产生的数据,在传统架构下通常由数据源系统负责历史数据存储、当期数据加工等,并将业务人员甄别、处理后的数据进一步加工成业务报表,而在it架构转型过程中,监测分析系统更专注于数据的分析、处理,而产生业务报表的流程被抽象出来形成一个单独的业务系统,历史数据也有新的系统提供存储和访问的功能,因此产生了不同系统间的数据交互;同时由于大数据技术栈的局限性,数据再完成分析后,需要导入至oltp数据库供业务人员查阅、处理。

3、面对大数据导出需求,通常采用一个流程一个作业的方式,然而对于新增本文档来自技高网...

【技术保护点】

1.一种基于表配置的大数据表导出的方法,其特征在于,包括:

2.根据权利要求1所述的基于表配置的大数据表导出的方法,其特征在于,所述在所述业务数据无需写入数据库的情况下,对所述业务数据进行分区导出或分片导出,合并并下载所述分区导出或分片导出的数据文件,包括:

3.根据权利要求2所述的基于表配置的大数据表导出的方法,其特征在于,所述在所述业务数据无需写入数据库的情况下,对所述业务数据进行分区导出或分片导出,合并并下载所述分区导出或分片导出的数据文件,包括:

4.根据权利要求1所述的基于表配置的大数据表导出的方法,其特征在于,还包括:</p>

5.根据...

【技术特征摘要】

1.一种基于表配置的大数据表导出的方法,其特征在于,包括:

2.根据权利要求1所述的基于表配置的大数据表导出的方法,其特征在于,所述在所述业务数据无需写入数据库的情况下,对所述业务数据进行分区导出或分片导出,合并并下载所述分区导出或分片导出的数据文件,包括:

3.根据权利要求2所述的基于表配置的大数据表导出的方法,其特征在于,所述在所述业务数据无需写入数据库的情况下,对所述业务数据进行分区导出或分片导出,合并并下载所述分区导出或分片导出的数据文件,包括:

4.根据权利要求1所述的基于表配置的大数据表导出的方法,其特征在于,还包括:

5.根据权利要求1所述的基于表配置的大数据表导出的方法,其特征在于,所述配置参数包括:与调度作业的关系数据、配置文件格式以及数据转换格...

【专利技术属性】
技术研发人员:金浩宇
申请(专利权)人:中银金融科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1