一种数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法、装置、设备及存储介质，所述方法包括：获取待处理数据，确定所述待处理数据关联的数据分层特征；根据所述数据分层特征对所述待处理数据进行数据分层，得到至少一个分层数据；基于所述分层数据对所述待处理数据进行处理，得到所述待处理数据的数据处理结果。本发明专利技术实施例提供的方法通过根据数据分层特征对待处理数据重新分层，基于重新分层后的分层数据进行数据处理，实现了大数据不均匀情况下的均匀数据处理。理。理。

【技术实现步骤摘要】
一种数据处理方法、装置、设备及存储介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种数据处理方法、装置、设备及存储介质。

技术介绍

[0002]随着业务的开展和业务量的增多，会使数仓中累积的数据会越来越大，而分析历史数据可以得到业务的历史情况，分析新增的数据可以看到最近业务的进展。基于这样的背景下，大数据量的分析需求迫切，但是数仓数据的累加往往不均匀，如何对不均匀的数据进行均匀处理是一个亟待解决的技术问题。

技术实现思路

[0003]本专利技术实施例提供了一种数据处理方法、装置、设备及存储介质，以实现在大数据量不均匀情况下的均匀数据处理。
[0004]第一方面，本专利技术实施例提供了一种数据处理方法，包括：
[0005]获取待处理数据，确定待处理数据关联的数据分层特征；
[0006]根据数据分层特征对待处理数据进行数据分层，得到至少一个分层数据；
[0007]基于分层数据对待处理数据进行处理，得到待处理数据的数据处理结果。
[0008]可选的，进一步的，所述确定所述待处理数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待处理数据，确定所述待处理数据关联的数据分层特征；根据所述数据分层特征对所述待处理数据进行数据分层，得到至少一个分层数据；基于所述分层数据对所述待处理数据进行处理，得到所述待处理数据的数据处理结果。2.根据权利要求1所述的方法，其特征在于，所述确定所述待处理数据关联的数据分层特征，包括：确定所述待处理数据的数据类型，根据所述数据类型确定所述数据分层特征。3.根据权利要求1所述的方法，其特征在于，所述确定所述待处理数据关联的数据分层特征，包括：获取所述待处理数据的业务标识，根据所述业务标识确定所述数据分层特征。4.根据权利要求1所述的方法，其特征在于，所述基于所述分层数据对所述待处理数据进行处理，得到所述待处理数据的数据处理结果，包括：针对每个所述分层数据，对所述分层数据进行处理，得到所述分层数据的分层处理结果；将所述分层处理结果合并去重，得到所述数据处理结果。5.根据权利要求4所述的方法，其特征在于，在根据所述数据分层特征对所述待处理数据进行数据分层之前，还包括：根据所述待处理数据中子数据包的数据特征确定所述子数据包的处理模式，得到离线处理数据；相应的，所述根据所述数据分层特征对所述待处理数据进行数据分层，包括：根据所述数据分层特征对所述离线处理数据进行数据分层。6.根据权利要求5所述的方法，其特征在于，所述处理模式包括实时处理...

【专利技术属性】
技术研发人员：逯晓枫，
申请(专利权)人：北京明略昭辉科技有限公司，
类型：发明
国别省市：