一种数据处理方法、装置、设备及存储介质制造方法及图纸

本公开关于一种数据处理方法、装置、设备及存储介质，涉及计算机技术领域，可以提高数据处理的效率。该数据处理方法包括：获取待处理数据，待处理数据包括第一类数据或第二类数据，第二类数据的复杂度高于第一类数据的复杂度；若待处理数据为第一类数据，则将第一类数据写入点击流数据仓库；若待处理数据为第二类数据，则对第二类数据执行至少一次处理操作，并将每次处理操作获得的明细数据和结果数据，写入点击流数据仓库。写入点击流数据仓库。写入点击流数据仓库。

【技术实现步骤摘要】
一种数据处理方法、装置、设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种数据处理方法、装置、设备及存储介质。

技术介绍

[0002]在大数据时代，由于数据的不断的迭代更新，用户通常会根据不同的需求对以表形式存储在系统中的数据进行数据查询，通过对海量数据的查询，便于用户做出更明智的业务决策。
[0003]目前数据查询包括离线数据查询和实时数据查询。离线数据查询一般基于Hadoop的数据仓库体系(Hadoop是一个由Apache基金会所开发的分布式系统基础架构)，通过不同的hive(hive是一种基于Hadoop的数据仓库工具)的任务调度查询不同的业务数据。但是，Hadoop数据仓库体系多用于对离线数据进行数据查询。当待查询数据的数量较多时，Hadoop数据仓库体系的数据查询效率较低。而实时数据查询一般基于实时数据仓库的实时计算引擎Flink进行数据查询。但是，现有的实时数据仓库的实时计算引擎Flink开发成本较高，数据校验过程较困难。
[0004]由上可知，在数据查询量较大的场景下，或者实时数据查询、计算、分析等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待处理数据，所述待处理数据包括第一类数据或第二类数据，所述第二类数据的复杂度高于所述第一类数据的复杂度；若所述待处理数据为所述第一类数据，则将所述第一类数据写入点击流数据仓库；若所述待处理数据为所述第二类数据，则对所述第二类数据执行至少一次处理操作，并将每次处理操作获得的明细数据和结果数据，写入所述点击流数据仓库。2.根据权利要求1所述的数据处理方法，其特征在于，还包括：接收用于获取目标数据的数据查询指令；所述目标数据包括所述第一类数据或所述第二类数据；响应于所述数据查询指令，从所述点击流数据仓库中获取所述目标数据；输出所述目标数据。3.根据权利要求2所述的数据处理方法，其特征在于，当所述目标数据为所述第二类数据时，所述响应于所述数据查询指令，从所述点击流数据仓库中获取所述目标数据，包括：响应于所述数据查询指令，从所述点击流数据仓库中获取所述目标数据的明细数据和结果数据。4.根据权利要求3所述的数据处理方法，其特征在于，还包括：接收用于对所述目标数据执行数据校验的数据校验指令；响应于所述数据校验指令，根据所述目标数据的明细数据和结果数据，对所述目标数据执行数据校验操作；所述数据校验操作用于校验所述目标数据的完整性。5.根据权利要求2所述的数据处理方法，其特征在于，当所述目标数据包括大于预设数量的多个第一类数据时，所述响应于所述数据查询指令，从所述点击流数据仓库中获取所述目标数据，包括：响应于所述数据查询指令，从所述点击流数据仓库中获取所述多个第一类数据；调用预先生成好的配置文件，将所述多个第一类...

【专利技术属性】
技术研发人员：康全忠，林业宁，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：