数据处理方法、装置、电子设备及可读存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置、电子设备及可读存储介质，属于大数据技术领域。该方法包括：接收到用户上传的第一数据文件，该第一数据文件是在第一日期下产生的；将第一数据文件上传至第一服务器的第一路径下，该第一路径用于存储第二日期下产生的数据文件；基于第一任务指令，从第一服务器获取第一路径下的至少一个数据文件，并处理至少一个数据文件，至少一个数据文件包含至少一个第一数据文件；其中，第一任务指令用于指示调度第一路径下的数据文件。下的数据文件。下的数据文件。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及可读存储介质


[0001]本申请属于大数据
，具体涉及一种数据处理方法、装置、电子设备及可读存储介质。

技术介绍

[0002]在大数据互联网时代，随着各种电子设备的推广和普及，电子设备数据及用户数据等各种数据的数量以指数级别增长。
[0003]在相关技术中，首先需要从数据服务器中获取数据，并对数据进行数据处理，再将处理后的数据存储至数据仓库服务器中。但是，由于数据源端有时会出现数据或网络故障等问题，造成获取数据任务执行失败，无法及时生成数据，从而无法将数据及时存储至数据仓库服务器。如果数据源端恢复正常后，则会生成延时数据。此时，需要人工手动执行获取延时数据任务，并人工手动对生成的延时数据进行数据处理，再将处理后的延时数据存储至数据仓库服务器中。
[0004]如此，由于延时数据的数量过于庞大，导致人工手动执行任务耗时过长，无法及时将数据存储至数据仓库服务器，进而使得数据处理效率低。

技术实现思路

[0005]本申请实施例的目的是提供一种数据处理方法、装置、电子设备及可读存储介质，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：接收到用户上传的第一数据文件，所述第一数据文件是在第一日期下产生的；将所述第一数据文件上传至第一服务器的第一路径下，所述第一路径用于存储第二日期下产生的数据文件；基于第一任务指令，从所述第一服务器获取所述第一路径下的至少一个数据文件，并处理所述至少一个数据文件，所述至少一个数据文件包含至少一个所述第一数据文件；其中，所述第一任务指令用于指示调度所述第一路径下的数据文件。2.根据权利要求1所述的方法，其特征在于，所述处理所述至少一个数据文件之后，所述方法还包括：基于第二任务指令，将处理后的所述第一数据文件上传至第二服务器的第二路径下，将处理后的第二数据文件上传所述第二服务器的第三路径下；其中，所述第二路径用于存储所述第一日期对应的处理后的数据文件；所述第三路径用于存储所述第二日期对应的处理后的数据文件；所述第二数据文件为所述至少一个数据文件中除所述第一数据文件外的其他数据文件。3.根据权利要求1所述的方法，其特征在于，所述基于第一任务指令，从所述第一服务器获取所述第一路径下的至少一个数据文件之前，所述方法还包括：在所述第二日期内的预定时间生成第一任务指令。4.根据权利要求1所述的方法，其特征在于，所述处理所述至少一个数据文件，包括：按照以下至少之一的处理方式，处理所述至少一个数据文件：对数据文件中的数据进行数据清洗；转换数据文件中的数据的数据格式；对数据文件中的数据进行数据集成。5.根据权利要求1所述的方法，其特征在于，所述基于第一任务指令，从所述服务器获取所述第一路径下的至少一个数据文件之后，所述方法还包括：在基于所述第一数据文件的产生日期，确定所述第一数据文件为延时数据文件的情况下，将所述第一数据文件对应的文件信息写入信息记录文件中；其中，所述文件信息包括：所述第一数据文件的产生日期和所述第一数据文件的文件格式；所述信息记录文件用于记录从所述第一服务器获取的数据文件的文件信息；所述延时数据文件为非所述第二日期下产生的数据文件。6.一种数据处理装置，其特征在于，所述数据处理装置包括：传输模块、获取模块和处理模块；所述传输模块，用于接收用户上传的第一数据文件，所述第一数据文件是在第一日期下产生的；所述传输模块，还用于将所述第一数据文件上传至第...

【专利技术属性】
技术研发人员：苏雪峰，宋尚静，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：