数据处理方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种数据处理方法、装置、设备及存储介质。该方法包括：获取消息队列中存储的实时业务数据；根据内存中存储的目标数据量以及所述实时业务数据，获得与目标维度信息对应的数据总量，所述目标数据量为由存储设备中获取的与所述目标维度信息对应的历史业务数据的数据量；根据所述目标维度信息对应的数据总量更新所述内存中与所述目标维度信息对应的历史业务数据的数据量。通过采用上述方法可以有效提高数据处理的效率和便捷性。方法可以有效提高数据处理的效率和便捷性。方法可以有效提高数据处理的效率和便捷性。

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质


[0001]本申请涉及计算机
，更具体地，涉及一种数据处理方法、装置、设备及存储介质。

技术介绍

[0002]目前，随着互联网技术的不断发展，对实时业务数据总量的回溯计算要求也不断提高。用户通常需要回溯一段时长内某种业务数据的数据量(如，某种疾病的患病数量，某种产品的销售数据，某个业务平台的登录数量以及某种广告的点击数量等)，以进行数据分析。由于在回溯过程中，会不断产生新的数据，因此，现有技术中是将历史业务数据和新的业务数据按照生成时间先后顺序存放至消息队列中，以利用实时流的计算方式进行计算，得到最终的需要回溯的业务数据的数据总量。但是现有技术中在需要回溯的数据量过大时，存在数据处理效率低下，且操作复杂的问题。

技术实现思路

[0003]有鉴于此，本申请实施例提出了一种数据处理方法、装置、设备及存储介质，能够有效提高数据处理的效率和便捷性。
[0004]第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：获取消息队列中存储的实时业务数据；根据内存中存储的目标数据量以及所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取消息队列中存储的实时业务数据；根据内存中存储的目标数据量以及所述实时业务数据，获得与目标维度信息对应的数据总量，所述目标数据量为预先获取的与所述目标维度信息对应的历史业务数据的数据量；根据所述目标维度信息对应的数据总量更新所述内存中与所述目标维度信息对应的历史业务数据的数据量。2.根据权利要求1所述的数据处理方法，其特征在于，根据内存中存储的目标数据量以及所述实时业务数据，获得与目标维度信息对应的数据总量之前，所述方法还包括：根据历史全量业务数据获得每种维度信息对应的历史业务数据的数据量；将每种维度信息对应的历史业务数据的数据量存储至存储设备，其中，每种维度信息对应的历史业务数据的数据量包括所述目标维度信息对应的历史业务数据的数据量，所述内存中存储的目标数据量为预先由所述存储设备中获取的与所述目标维度信息对应的历史业务数据的数据量。3.根据权利要求2所述的数据处理方法，其特征在于，所述根据历史全量业务数据获得每种维度信息对应的历史业务数据的数据量，包括：对历史全量业务数据进行批处理计算，得到与每种维度信息分别对应的历史业务数据的数据量。4.根据权利要求2所述的数据处理方法，其特征在于，所述存储设备包括以键值对的方式存储数据的分布式存储设备，将每种维度信息对应的历史业务数据的数据量存储至存储设备，包括：将每种维度信息对应的历史业务数据的数据量，以键值对的形式存储于所述分布式存储设备。5.根据权利要求2所述的数据处理方法，其特征在于，所述历史全量业务数据为在指定时刻之前的采集的业务数据，所述获取消息队列中存储的实时业务数据，包括：获取消息队列中存储的指定业务数据作为实时业务数据，所述指定业务数据的数据采集时刻在指定时刻之后。6.根据权利要求1至5任一项所述的数据处理方法，其特征在于，根据内存中存储的目标数据量以及所述实时业务数据，获得与目标维度信息对应的数据总量之前，所述方法还包括：若所述内存中未存储有目标维度信息对应的历史业务数据的数据量，则从存储设备中获取与所述目标维度信息对应的历史业务数据的数据量，并存储至所述内存中。7.根据权利要求6所述的数据处理方法，其特征在于，所述从存储设备中获取与所述目标维度信...

【专利技术属性】
技术研发人员：王冬，李文斌，陈文娟，赵利民，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：