一种数据处理方法、装置、设备以及存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、设备以及存储介质，属于计算机技术领域和大数据处理技术领域。该方法包括：获取数据发送方的原始数据，并将所述原始数据转换为分布式数据；根据数据提取规则和质量校验规则，对所述分布式数据进行处理，得到目标数据。通过上述技术方案，将原始数据转换为分布式数据，提高了数据的处理效率。了数据的处理效率。了数据的处理效率。

【技术实现步骤摘要】
一种数据处理方法、装置、设备以及存储介质


[0001]本专利技术实施例涉及计算机
和大数据处理
，尤其涉及一种数据处理方法、装置、设备以及存储介质。

技术介绍

[0002]由于企业数据量的增加，单机多线程进行数据抽取、转换和加载(Extract Transform Load，ETL)变得越来越困难。现有技术采用多线程任务进行ETL处理，对内存消耗大，因此，一套快速灵活的具备大规模数据处理能力的ETL系统对于大数据分析系统尤为重要。

技术实现思路

[0003]本专利技术提供一种数据处理方法、装置、设备以及存储介质，以实现数据的快速处理。
[0004]第一方面，本专利技术实施例提供了一种数据处理方法，该方法包括：
[0005]获取数据发送方的原始数据，并将所述原始数据转换为分布式数据；
[0006]根据数据提取规则和质量校验规则，对所述分布式数据进行处理，得到目标数据。
[0007]第二方面，本专利技术实施例还提供了一种数据处理装置，该装置包括：
[0008]分布式数据确定模块，用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取数据发送方的原始数据，并将所述原始数据转换为分布式数据；根据数据提取规则和质量校验规则，对所述分布式数据进行处理，得到目标数据。2.根据权利要求1所述的方法，其特征在于，在所述获取原始数据，并将所述原始数据转换为分布式数据之前，还包括：根据所述数据发送方和/或数据接收方的数据提取需求，确定数据提取策略和质量校验策略；其中，所述数据提取策略和所述质量校验策略以XML格式存储；对所述数据提取策略和所述质量校验策略进行解析，得到数据提取规则和质量校验规则。3.根据权利要求1所述的方法，其特征在于，所述根据数据提取规则和质量校验规则，对所述分布式数据进行处理，得到目标数据，包括：根据数据提取规则，对所述分布式数据进行提取，得到中间数据；根据质量校验规则，对所述中间数据进行校验，得到目标数据。4.根据权利要求3所述的方法，其特征在于，还包括：在对所述中间数据进行校验的过程中，若所述中间数据中存在超过设定值的数据错误，则生成包含数据提取失败的告警信息。5.根据权利要求1所述的方法，其特征在于，还包括：记录得到所述目标数据的日志信息；其中，所述日志信息包括开始时间、结束时间、以及...

【专利技术属性】
技术研发人员：田未峰，谢永恒，火一莽，
申请(专利权)人：北京锐安科技有限公司，
类型：发明
国别省市：