本发明专利技术属于计算机技术领域，具体提供一种数据处理方法、装置、计算机设备和存储介质，旨在解决在面对来自不同系统的大量数据需要进行导入工作时，需要人工对各个系统数据进行操作等问题。为此目的，本发明专利技术的方法包括：创建用于数据处理的工作流，为工作流创建定时任务；当定时任务启动时，执行所述工作流。应用本发明专利技术的方法，配置出一套完整的操作流作为任务，能通过定时器触发任务执行，从而提高数据导入的效率和准确性。的效率和准确性。的效率和准确性。
【技术实现步骤摘要】
数据处理方法、装置、计算机设备和存储介质
[0001]本专利技术属于计算机
，具体提供一种数据处理方法、装置、计算机设备和存储介质。
技术介绍
[0002]随着大数据的发展，系统数据越来越多，在很多场景下需要导入来自不同系统的大量数据，目前通用的做法是需要人工对各个系统数据进行操作。而数据质量的检查，数据清洗，数据导入流程，数据分层导入等问题，都需要操作人员非常熟悉才能胜任。因此，如何能够快速、准确地导入各系统数据，已经成为本领域亟待解决的问题。
[0003]相应地，本领域需要一种新的方案来解决上述问题。
技术实现思路
[0004]本专利技术旨在解决上述技术问题，即，解决在面对来自不同系统的大量数据需要进行导入工作时，需要人工对各个系统数据进行操作的问题。
[0005]在第一方面，本专利技术提供一种数据处理方法，所述方法包括：
[0006]步骤102，创建用于数据处理的工作流，为工作流创建定时任务；
[0007]步骤104，当定时任务启动时，执行所述工作流；
[0008]所述工作流包括：
[0009]步骤A：清空数据缓冲层ODS的相关表和缓存数据层cache的相关表；
[0010]步骤B：读取待导入数据文件中的数据并写入所述数据缓冲层ODS；
[0011]步骤C：将数据缓冲层ODS的数据进行加工后写入所述缓存数据层cache；
[0012]步骤E：将所述缓存数据层cache的数据写入全量数据层DW，
[0013]数据缓冲层ODS、缓存数据层cache、全量数据层DW分别是将数据库进行分层设计后的数据层。
[0014]在上述数据处理方法的一个实施方式中，所述步骤A之前包括：
[0015]判断前置条件是否满足；
[0016]若满足前置条件，则判断所述数据文件是否已存在：
[0017]若已存在，则判断所述数据文件是否已执行；
[0018]若所述数据文件未被执行，则对数据文件进行重命名并进行预处理。
[0019]在上述数据处理方法的一个实施方式中，在所述数据文件中的数据是全量数据时，在所述步骤C和所述步骤E之间还包括：
[0020]步骤D：清空全量数据层DW的相关表。
[0021]在上述数据处理方法的一个实施方式中，所述步骤F之后，包括：
[0022]对所述全量数据层DW中的数据进行去重和/或折叠处理；
[0023]移动所述数据文件至指定目录，所述目录用于放置已完成的数据文件；
[0024]记录所述数据文件为已执行状态。
[0025]在上述数据处理方法的一个实施方式中，为整个所述工作流设置对应的一个定时任务，或者所述工作流的每个步骤对应设置一个定时任务，当其上节点的定时任务完成时，触发下一节点的定时任务。
[0026]根据本专利技术的第二方面，还提供了一种数据处理装置，该装置包括：
[0027]创建单元，创建用于数据处理的工作流，为工作流创建定时任务；
[0028]执行单元，当定时任务启动时，执行所述工作流；
[0029]所述工作流包括：
[0030]步骤A：清空数据缓冲层ODS的相关表和缓存数据层cache的相关表；
[0031]步骤B：读取待导入数据文件中的数据并写入所述数据缓冲层ODS；
[0032]步骤C：将数据缓冲层ODS的数据进行加工后写入所述缓存数据层cache；
[0033]步骤E：将所述缓存数据层cache的数据写入全量数据层DW，
[0034]数据缓冲层ODS、缓存数据层cache、全量数据层DW分别是将数据库进行分层设计后的数据层。
[0035]在上述数据处理装置的一个实施方式中，所述装置包括：
[0036]所述步骤A之前包括：
[0037]判断前置条件是否满足；
[0038]若满足前置条件，则判断所述数据文件是否已存在：
[0039]若已存在，则判断所述数据文件是否已执行；
[0040]若所述数据文件未被执行，则对数据文件进行重命名并进行预处理。
[0041]在上述数据处理装置的一个实施方式中，在所述数据文件中的数据是全量数据时，在所述步骤C和所述步骤E之间还包括：
[0042]步骤D：清空全量数据层DW的相关表；
[0043]所述步骤F之后，包括：
[0044]对所述全量数据层DW中的数据进行去重和/或折叠处理；
[0045]移动所述数据文件至指定目录，所述目录用于放置已完成的数据文件；
[0046]记录所述数据文件为已执行状态。
[0047]在上述数据处理装置的一个实施方式中，所述创建单元为整个所述工作流设置对应的一个定时任务，或者所述工作流的每个步骤对应设置一个定时任务，当其上节点的定时任务完成时，触发下一节点的定时任务。
[0048]根据本专利技术的第三方面，还提供了一种计算机设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述任一实施例所述的数据处理方法。
[0049]根据本专利技术的第四方面，还提供了一种存储介质，所述存储介质适于存储多条程序代码，所述程序代码适于由处理器加载并运行以执行上述任一实施例所述的数据处理方法。
[0050]在采用上述技术方案的情况下，本专利技术设计了一套完备的数据导入处理工作流，将该数据导入处理工作流作为任务，为该工作流创建定时任务，当定时任务启动时，执行该工作流。解决了人工一步步操作的工作，全部由定时触发，工作流执行，并且制定了一套数据处理标准流程，便于统一管理维护。
附图说明
[0051]下面结合附图来描述本专利技术的优选实施方式，附图中：
[0052]图1是根据本专利技术的实施例的数据处理方法的主要步骤流程图。
[0053]图2是根据本专利技术的实施例的工作流的流程图。
[0054]图3是根据本专利技术的实施例的数据处理装置组成结构的示意图。
具体实施方式
[0055]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本专利技术实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0056]首先阅读图1，图1是本专利技术的实施例的数据处理方法的主要步骤流程图。如图1所示，本专利技术的数据处理方法包括：
[0057]步骤102：创建用于数据处理的工作流，为工作流创建定时任务；
[0058]步骤104：当定时任务启动时，执行该工作流.
[0059]参考图2，在本实施例中，设计了一套标准的数据导入工作流，该工作流可以包括下列步骤：
[0060]步骤A：清空数据缓冲层ODS的相关表和缓存数据层cache的相关表；
[0061]本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括如下步骤：步骤102，创建用于数据处理的工作流，为工作流创建定时任务；步骤104，当定时任务启动时，执行所述工作流；所述工作流包括：步骤A：清空数据缓冲层ODS的相关表和缓存数据层cache的相关表；步骤B：读取待导入数据文件中的数据并写入所述数据缓冲层ODS；步骤C：将数据缓冲层ODS的数据进行加工后写入所述缓存数据层cache；步骤E：将所述缓存数据层cache的数据写入全量数据层DW，数据缓冲层ODS、缓存数据层cache、全量数据层DW分别是将数据库进行分层设计后的数据层。2.根据权利要求1所述的方法，其特征在于，所述步骤A之前包括：判断前置条件是否满足；若满足前置条件，则判断所述数据文件是否已存在；若已存在，则判断所述数据文件是否已执行；若所述数据文件未被执行，则对数据文件进行重命名并进行预处理。3.根据权利要求2所述的方法，其特征在于，在所述数据文件中的数据是全量数据时，在所述步骤C和所述步骤E之间还包括：步骤D：清空全量数据层DW的相关表。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述步骤F之后，包括：对所述全量数据层DW中的数据进行去重和/或折叠处理；移动所述数据文件至指定目录，所述目录用于放置已完成的数据文件；记录所述数据文件为已执行状态。5.根据权利要求1至4中任一项所述的方法，其特征在于，为整个所述工作流设置对应的一个定时任务，或者所述工作流的每个步骤对应设置一个定时任务，当其上节点的定时任务完成时，触发下一节点的定时任务。6.一种数据处理装置，其特征在于，包括：创建单元，创建用于数据处理的工作流，为工作流创建定时任务；执行单元，当定时任务启动时，执行所述工作流；所述工作流包括：步骤A：清...
【专利技术属性】
技术研发人员：靳立新，俞晓臣，
申请(专利权)人：广州云从洪荒智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。