批量数据处理方法及系统、介质、设备技术方案

本发明专利技术提供一种批量数据处理方法及装置、介质、设备。该方法包括：接收批量处理需求；根据所述数据源标识，获取对应的数据抽取规则；根据所述目标数据库标识，获取对应的格式转换原则；根据所述数据抽取规则，从所述数据源标识对应的数据源进行数据抽取，得到原始抽取数据；对所述原始抽取数据进行数据清洗，得到清洗后抽取数据；根据所述格式转换原则，对所述清洗后抽取数据进行格式转换，得到目标格式的抽取数据；将所述目标格式的抽取数据批量加载至所述目标数据库标识对应的目标数据库中。本发明专利技术实施例可以实现数据的自动抽取、转换和加载，不必耗费大量的人力和时间，不容易出错，提高了数据的准确性和效率，适合处理海量数据。

【技术实现步骤摘要】

本专利技术涉及数据处理，尤其是涉及一种批量数据处理方法及系统、介质、设备。

技术介绍

1、在企业的数据处理中，数据采集、清洗和转换等是必不可少的步骤。传统的方式需要耗费大量的人力和时间，且很容易出错，降低了数据的准确性和效率。因此需要一种新型的数据处理方案来满足处理海量数据的要求。

技术实现思路

1、针对以上至少一个技术问题，本专利技术实施例提供一种批量数据处理方法及系统、介质、设备。

2、根据第一方面，本专利技术实施例提供的批量数据处理方法包括：

3、接收批量处理需求；其中，所述批量处理需求中包括数据源标识和目标数据库标识；

4、根据所述数据源标识，获取对应数据源的数据抽取规则；

5、根据所述目标数据库标识，获取对应目标数据库的格式转换原则；

6、根据所述数据抽取规则，从所述数据源标识对应的数据源进行数据抽取，得到原始抽取数据；

7、对所述原始抽取数据进行数据清洗，得到清洗后抽取数据；

8、根据所述格式转换原则，对所述清洗后本文档来自技高网...

【技术保护点】

1.一种批量数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述数据抽取规则，从所述数据源标识对应的数据源进行数据抽取，得到原始抽取数据，包括：

3.根据权利要求1所述的方法，其特征在于，所述对所述原始抽取数据进行数据清洗，得到清洗后抽取数据，包括：

4.根据权利要求1所述的方法，其特征在于，由抽取转换加载工具对所述方法中各个流程进行控制管理，并通过抽取转换加载工具定义数据转换器，所述数据转换器用于执行所述对所述清洗后抽取数据进行格式转换的步骤。

5.根据权利要求1所述的方法，其特征在于，所述目标数据库配...

【技术特征摘要】

1.一种批量数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述数据抽取规则，从所述数据源标识对应的数据源进行数据抽取，得到原始抽取数据，包括：

3.根据权利要求1所述的方法，其特征在于，所述对所述原始抽取数据进行数据清洗，得到清洗后抽取数据，包括：

4.根据权利要求1所述的方法，其特征在于，由抽取转换加载工具对所述方法中各个流程进行控制管理，并通过抽取转换加载工具定义数据转换器，所述数据转换器用于执行所述对所述清洗后抽取数据进行格式转换的步骤。

5.根据权利要求1所述的方法，其特征在于，所述目标数据库配置有维度表和事实表，其中，所述维度表用于存储所述事实表中业务数据的多种属性信息，所述事实表中用于存储业务...

【专利技术属性】
技术研发人员：张宜梅，陈尧，张目飞，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：