本申请实施例公开了一种数据处理方法、装置、设备及存储介质。该方法包括：获取消息队列中存储的实时业务数据；根据内存中存储的目标数据量以及所述实时业务数据，获得与目标维度信息对应的数据总量，所述目标数据量为由存储设备中获取的与所述目标维度信息对应的历史业务数据的数据量；根据所述目标维度信息对应的数据总量更新所述内存中与所述目标维度信息对应的历史业务数据的数据量。通过采用上述方法可以有效提高数据处理的效率和便捷性。方法可以有效提高数据处理的效率和便捷性。方法可以有效提高数据处理的效率和便捷性。
【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质
[0001]本申请涉及计算机
，更具体地，涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
[0002]目前，随着互联网技术的不断发展，对实时业务数据总量的回溯计算要求也不断提高。用户通常需要回溯一段时长内某种业务数据的数据量(如，某种疾病的患病数量，某种产品的销售数据，某个业务平台的登录数量以及某种广告的点击数量等)，以进行数据分析。由于在回溯过程中，会不断产生新的数据，因此，现有技术中是将历史业务数据和新的业务数据按照生成时间先后顺序存放至消息队列中，以利用实时流的计算方式进行计算，得到最终的需要回溯的业务数据的数据总量。但是现有技术中在需要回溯的数据量过大时，存在数据处理效率低下，且操作复杂的问题。
技术实现思路
[0003]有鉴于此，本申请实施例提出了一种数据处理方法、装置、设备及存储介质，能够有效提高数据处理的效率和便捷性。
[0004]第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：获取消息队列中存储的实时业务数据；根据内存中存储的目标数据量以及所述实时业务数据，获得与目标维度信息对应的数据总量，所述目标数据量为预先获取的与所述目标维度信息对应的历史业务数据的数据量；根据所述目标维度信息对应的数据总量更新所述内存中与所述目标维度信息对应的历史业务数据的数据量。
[0005]第二方面，本申请实施例提供了一种数据处理装置，所述装置包括：数据获取模块、数据总量获得模块以及数据量更新模块。数据获取模块，用于获取消息队列中存储的实时业务数据；数据总量获得模块，用于根据内存中存储的目标数据量以及所述实时业务数据，获得与目标维度信息对应的数据总量，所述目标数据量为预先获取的与所述目标维度信息对应的历史业务数据的数据量；数据量更新模块，用于根据所述目标维度信息对应的数据总量更新所述内存中与所述目标维度信息对应的历史业务数据的数据量。
[0006]在一种可能的实施方式中，所述数据处理装置还包括数据量获得模块和第一存储模块。数据量获得模块，用于根据历史全量业务数据获得每种维度信息对应的历史业务数据的数据量；第一存储模块，用于将每种维度信息对应的历史业务数据的数据量存储至存储设备，其中，每种维度信息对应的历史业务数据的数据量包括所述目标维度信息对应的历史业务数据的数据量，所述内存中存储的目标数据量为预先由所述存储设备中获取的与所述目标维度信息对应的历史业务数据的数据量。
[0007]在一种可能的实施方式中，数据量获得模块还用于对历史全量业务数据进行批处理计算，得到与每种维度信息分别对应的历史业务数据的数据量。
[0008]在一种可能的实施方式中，第一存储模块还用于将每种维度信息对应的历史业务
数据的数据量，以键值对的形式存储于所述分布式存储设备。
[0009]在一种可能的实施方式中，所述历史全量业务数据为在指定时刻之前的采集的业务数据，数据获取模块还用于获取消息队列中存储的指定业务数据作为实时业务数据，所述指定业务数据的数据采集时刻在指定时刻之后。
[0010]在一种可能的实施方式中，所述数据处理装置还包括第二存储模块，第二存储模块用于在内存中若未存储目标维度信息对应的历史业务数据的数据量时，从存储设备中获取与所述目标维度信息对应的历史业务数据的数据量，并存储至所述内存中。
[0011]在一种可能的实施方式中，所述数据处理装置还包括确认模块，所述确认模块用于在所述内存中存储的与所述目标维度信息对应的标记值不为第一标记值时，确认所述内存中未存储有与目标维度信息对应的历史业务数据的数据量。
[0012]在一种可能的实施方式中，数据总量获得模块包括数据量获得单元和数据融合单元。数据量获得单元，用于根据所述实时业务数据得到与所述目标维度信息对应的实时业务数据的数据量；数据融合单元，用于将所述目标维度信息对应的实时业务数据的数据量与所述目标维度信息对应的历史业务数据的数据量进行融合，得到与目标维度信息对应数据总量。
[0013]在一种可能的实施方式中，所述数据处理装置还包括第一发送模块，用于向与所述内存关联的业务存储系统发送所述目标维度信息对应数据总量，以供查询。
[0014]在一种可能的实施方式中，所述数据处理装置还包括第二发送模块，用于向存储设备发送所述目标维度信息对应数据总量，以使所述存储设备在接收到所述目标维度信息对应数据总量时，保存该数据总量和接收到该数据总量的接收时刻。
[0015]第三方面，本申请实施例提供了一种电子设备，包括处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述处理器执行以实现上述的方法。
[0016]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行上述的方法。
[0017]第五方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质获取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的方法。
[0018]本申请实施例提供的一种数据处理方法、装置、设备及存储介质，方法包括：获取消息队列中存储的实时业务数据，根据内存中存储的目标数据量以及所述实时业务数据，获得与目标维度信息对应的数据总量，其中，所述目标数据量为由存储设备中获取的与所述目标维度信息对应的历史业务数据的数据量；通过上述方法，可以实现在数据回溯过程中，仅对实时业务数据进行实时流处理，从而可以有效提高数据处理的效率和便捷性。
附图说明
[0019]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1示出了利用Lambda架构进行数据处理的示意图；
[0021]图2示出了利用Kappa架构进行数据处理的示意图；
[0022]图3示出了本申请实施例提供的一种数据处理方法的流程示意图；
[0023]图4示出了利用本申请的数据处理方法进行数据处理的示意图；
[0024]图5示出了本申请实施例提供的另一种数据处理方法的流程示意图；
[0025]图6示出了本申请实施例提供的另一种数据处理方法的流程示意图；
[0026]图7示出了本申请实施例提供的又一种数据处理方法的流程示意图；
[0027]图8示出了本申请实施例提供的一种数据处理装置的连接框图；
[0028]图9示出了用于执行本申请实施例的方法的电子设备的结构框图。
具体实施方式
[0029]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取消息队列中存储的实时业务数据；根据内存中存储的目标数据量以及所述实时业务数据，获得与目标维度信息对应的数据总量，所述目标数据量为预先获取的与所述目标维度信息对应的历史业务数据的数据量；根据所述目标维度信息对应的数据总量更新所述内存中与所述目标维度信息对应的历史业务数据的数据量。2.根据权利要求1所述的数据处理方法，其特征在于，根据内存中存储的目标数据量以及所述实时业务数据，获得与目标维度信息对应的数据总量之前，所述方法还包括：根据历史全量业务数据获得每种维度信息对应的历史业务数据的数据量；将每种维度信息对应的历史业务数据的数据量存储至存储设备，其中，每种维度信息对应的历史业务数据的数据量包括所述目标维度信息对应的历史业务数据的数据量，所述内存中存储的目标数据量为预先由所述存储设备中获取的与所述目标维度信息对应的历史业务数据的数据量。3.根据权利要求2所述的数据处理方法，其特征在于，所述根据历史全量业务数据获得每种维度信息对应的历史业务数据的数据量，包括：对历史全量业务数据进行批处理计算，得到与每种维度信息分别对应的历史业务数据的数据量。4.根据权利要求2所述的数据处理方法，其特征在于，所述存储设备包括以键值对的方式存储数据的分布式存储设备，将每种维度信息对应的历史业务数据的数据量存储至存储设备，包括：将每种维度信息对应的历史业务数据的数据量，以键值对的形式存储于所述分布式存储设备。5.根据权利要求2所述的数据处理方法，其特征在于，所述历史全量业务数据为在指定时刻之前的采集的业务数据，所述获取消息队列中存储的实时业务数据，包括：获取消息队列中存储的指定业务数据作为实时业务数据，所述指定业务数据的数据采集时刻在指定时刻之后。6.根据权利要求1至5任一项所述的数据处理方法，其特征在于，根据内存中存储的目标数据量以及所述实时业务数据，获得与目标维度信息对应的数据总量之前，所述方法还包括：若所述内存中未存储有目标维度信息对应的历史业务数据的数据量，则从存储设备中获取与所述目标维度信息对应的历史业务数据的数据量，并存储至所述内存中。7.根据权利要求6所述的数据处理方法，其特征在于，所述从存储设备中获取与所述目标维度信...
【专利技术属性】
技术研发人员：王冬，李文斌，陈文娟，赵利民，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。