数据处理方法技术

本发明专利技术公开了一种数据处理方法

【技术实现步骤摘要】
数据处理方法、装置、设备和存储介质


[0001]本专利技术涉及计算机
，尤其涉及数据处理方法
、
装置
、
设备和存储介质
。

技术介绍

[0002]在采集各种不同数据且数据量非常大的场景下，数据内容也很多，如果直接对数据进行读取，对这种繁杂而又大量的数据直接进行读取和分析，导致获取到的有用数据会会达不到预期效果
。
因此需要对数据进行分类，将每种类别的数据存储到缓存中，再根据数据类别进行数据提取，以提升数据采集的效率
。
[0003]相关的数据处理技术方案中，通过数据加工方案对数据进行标准化，再由第三方缓存产品
(
例如
Kafka)
来存放原始数据和标准化的数据，然后对数据进行提取和分析，但是，由于没有规范的数据类别，难以对各种不同类别的原始数据进行标准化
。

技术实现思路

[0004]本专利技术提供了一种数据处理方法
、
装置
、
设备和存储介质，以提高数据处理效率
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，包括：接收至少一个第三方平台所反馈的待处理数据；确定与所述待处理数据相对应的至少一个归类方案；基于所述至少一个归类方案对相应的待处理数据进行归类处理，以得到归类后的待使用数据并存储；基于目标任务从相应存储位置调取待使用数据进行任务处理
。2.
根据权利要求1所述的方法，其特征在于，所述方法还包括：基于
Kafka
存储至少一个第三方平台所对应的日志数据；在满足预设条件时，将存储的日志数据作为待处理数据进行反馈
。3.
根据权利要求1所述的方法，其特征在于，所述确定与所述待处理数据相对应的至少一个归类方案包括下述至少一种方式：依据所述待处理数据所隶属的第三方平台标识，确定所述归类方案；依据所述待处理数据所属字段对应的字段标识，确定所述归类方案
。4.
根据权利要求1或3所述的方法，其特征在于，所述归类方案中包括至少一个算子，所述算子对应于对所述待处理数据的处理方式，所述算子是基于预先设置的至少一个待选择函数确定的
。5.
根据权利要求1所述的方法，其特征在于，基于所述至少一个归类方案对相应的待处理数据进行归类处理，以得到归类的待使用数据，包括：基于所述至少一个归类方案中至少一个算子所对应的处理字段对相应的待处理数据进行归类处理，以得到所述待使用数据
。6.
根据权利要求1所述的方法，其特征在...

【专利技术属性】
技术研发人员：钟丹晔，王超，
申请(专利权)人：江苏保旺达软件技术有限公司，
类型：发明
国别省市：