数据处理方法、装置、计算机设备和存储介质制造方法及图纸

本发明专利技术属于计算机技术领域，具体提供一种数据处理方法、装置、计算机设备和存储介质，旨在解决在面对来自不同系统的大量数据需要进行导入工作时，需要人工对各个系统数据进行操作等问题。为此目的，本发明专利技术的方法包括：创建用于数据处理的工作流，为工作流创建定时任务；当定时任务启动时，执行所述工作流。应用本发明专利技术的方法，配置出一套完整的操作流作为任务，能通过定时器触发任务执行，从而提高数据导入的效率和准确性。的效率和准确性。的效率和准确性。

【技术实现步骤摘要】
数据处理方法、装置、计算机设备和存储介质


[0001]本专利技术属于计算机
，具体提供一种数据处理方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着大数据的发展，系统数据越来越多，在很多场景下需要导入来自不同系统的大量数据，目前通用的做法是需要人工对各个系统数据进行操作。而数据质量的检查，数据清洗，数据导入流程，数据分层导入等问题，都需要操作人员非常熟悉才能胜任。因此，如何能够快速、准确地导入各系统数据，已经成为本领域亟待解决的问题。
[0003]相应地，本领域需要一种新的方案来解决上述问题。

技术实现思路

[0004]本专利技术旨在解决上述技术问题，即，解决在面对来自不同系统的大量数据需要进行导入工作时，需要人工对各个系统数据进行操作的问题。
[0005]在第一方面，本专利技术提供一种数据处理方法，所述方法包括：
[0006]步骤102，创建用于数据处理的工作流，为工作流创建定时任务；
[0007]步骤104，当定时任务启动时，执行所述工作流；
[0008]所述工作流包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括如下步骤：步骤102，创建用于数据处理的工作流，为工作流创建定时任务；步骤104，当定时任务启动时，执行所述工作流；所述工作流包括：步骤A：清空数据缓冲层ODS的相关表和缓存数据层cache的相关表；步骤B：读取待导入数据文件中的数据并写入所述数据缓冲层ODS；步骤C：将数据缓冲层ODS的数据进行加工后写入所述缓存数据层cache；步骤E：将所述缓存数据层cache的数据写入全量数据层DW，数据缓冲层ODS、缓存数据层cache、全量数据层DW分别是将数据库进行分层设计后的数据层。2.根据权利要求1所述的方法，其特征在于，所述步骤A之前包括：判断前置条件是否满足；若满足前置条件，则判断所述数据文件是否已存在；若已存在，则判断所述数据文件是否已执行；若所述数据文件未被执行，则对数据文件进行重命名并进行预处理。3.根据权利要求2所述的方法，其特征在于，在所述数据文件中的数据是全量数据时，在所述步骤C和所述步骤E之间还包括：步骤D：清空全量数据层DW的相关表。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述步骤F之后，包括：对所述全量数据层DW中的数据进行去重和/或折叠处理；移动所述数据文件至指定目录，所述目录用于放置已完成的数据文件；记录所述数据文件为已执行状态。5.根据权利要求1至4中任一项所述的方法，其特征在于，为整个所述工作流设置对应的一个定时任务，或者所述工作流的每个步骤对应设置一个定时任务，当其上节点的定时任务完成时，触发下一节点的定时任务。6.一种数据处理装置，其特征在于，包括：创建单元，创建用于数据处理的工作流，为工作流创建定时任务；执行单元，当定时任务启动时，执行所述工作流；所述工作流包括：步骤A：清...

【专利技术属性】
技术研发人员：靳立新，俞晓臣，
申请(专利权)人：广州云从洪荒智能科技有限公司，
类型：发明
国别省市：