数据处理方法、装置、存储介质及计算机设备制造方法及图纸

本申请提供了一种数据处理方法、装置、存储介质及计算机设备。该方法包括：响应于逻辑更新指令，更新数据消费逻辑；以更新后的数据消费逻辑对实时新增数据进行消费，输出第一结果数据；第一结果数据包括实时新增数据及其消费结果；获取历史数据；以更新后的数据消费逻辑对历史数据中需要进行重新消费的目标源数据进行离线重新消费，输出第二结果数据；第二结果数据包括目标源数据及目标源数据的重新消费结果；根据第二结果数据对历史数据进行修正；将所第一结果数据与修正后的历史数据合并为全量数据输出。本申请能够在数据处理的过程中保证实时数据处理及时性的同时，保证数据的可靠性。可靠性。可靠性。

【技术实现步骤摘要】
数据处理方法、装置、存储介质及计算机设备


[0001]本申请涉及数据处理
，尤其涉及一种数据处理方法、装置、存储介质及计算机设备。

技术介绍

[0002]目前，在数据实时处理中，如果因需求变更或发生消费异常，需要修改数据消费逻辑，需要及时对历史数据进行修正，保证数据的可靠性。但对历史数据进行修正，需要占用庞大的计算资源和时间，影响实时数据的处理。

技术实现思路

[0003]本申请实施例提供了一种数据处理方法、装置、存储介质及计算机设备，能够在保证实时数据处理及时性的同时，保证数据的可靠性。
[0004]第一方面，本申请提供了一种数据处理方法，所述方法包括：
[0005]响应于逻辑更新指令，更新数据消费逻辑；
[0006]以更新后的数据消费逻辑对实时新增数据进行消费，输出第一结果数据；所述第一结果数据包括所述实时新增数据及其消费结果；
[0007]获取历史数据；
[0008]以所述更新后的数据消费逻辑对所述历史数据中需要进行重新消费的目标源数据进行离线重新消费，输出第二结果数据；所述第二结果数据包括所述目标源数据及所述目标源数据的重新消费结果；
[0009]根据所述第二结果数据对所述历史数据进行修正；
[0010]将所第一结果数据与修正后的历史数据合并为全量数据输出。
[0011]在其中一个实施例中，所述以更新后的数据消费逻辑对所述历史数据中的目标源数据进行离线重新消费，输出第二结果数据，包括：
[0012]根据所述更新后的数据消费逻辑确定所述历史数据中需要进行重新消费的目标源数据；
[0013]将所述目标源数据分为多组待处理数据；
[0014]在预设处理时间以所述更新后的数据消费逻辑依次对各组待处理数据进行重新消费，输出所述第二结果数据。
[0015]在其中一个实施例中，所述以更新后的数据消费逻辑对所述历史数据中的目标源数据进行离线重新消费，输出第二结果数据，包括：
[0016]根据所述更新后的数据消费逻辑确定所述历史数据中需要进行重新消费的目标源数据；
[0017]将所述目标源数据分为多组待处理数据；
[0018]根据预设间隔时间，以所述更新后的数据消费逻辑依次对各组待处理数据进行重新消费，输出所述第二结果数据。
[0019]在其中一个实施例中，所述以更新后的数据消费逻辑对所述历史数据中的目标源数据进行离线重新消费，输出第二结果数据，包括：
[0020]根据所述更新后的数据消费逻辑确定所述历史数据中需要进行重新消费的目标源数据；
[0021]在可用计算资源达到预设阈值时，以所述更新后的数据消费逻辑对所述目标源数据进行重新消费，输出所述第二结果数据。
[0022]在其中一个实施例中，所述根据所述第二结果数据对所述历史数据进行修正，包括：
[0023]将所述历史数据中的所述目标源数据及所述目标源数据的原消费结果替换为所述第二结果数据；
[0024]输出修正后的历史数据。
[0025]在其中一个实施例中，所述方法还包括：
[0026]根据所述全量数据更新历史数据。
[0027]第二方面，本申请还提供了一种数据处理装置，包括：
[0028]逻辑更新模块，用于响应于逻辑更新指令，更新数据消费逻辑；
[0029]实时消费模块，用于以更新后的数据消费逻辑对实时新增数据进行消费，输出第一结果数据；所述第一结果数据包括所述实时新增数据及其消费结果；
[0030]历史数据获取模块，用于获取历史数据；
[0031]重新消费模块，用于以所述更新后的数据消费逻辑对所述历史数据中需要进行重新消费的目标源数据进行重新消费，输出第二结果数据；所述第二结果数据包括所述目标源数据及所述目标源数据的重新消费结果；
[0032]数据修正模块，用于根据所述第二结果数据对所述历史数据进行修正；
[0033]全量数据生成模块，用于将所第一结果数据与修正后的历史数据合并为全量数据输出。
[0034]在其中一个实施例中，所述重新消费模块，包括：
[0035]目标源数据确定单元，用于根据所述更新后的数据消费逻辑确定所述历史数据中需要进行重新消费的目标源数据；
[0036]数据分组单元，用于将所述目标源数据分为多组待处理数据；
[0037]消费单元，用于在预设处理时间以所述更新后的数据消费逻辑依次对各组待处理数据进行重新消费，输出所述第二结果数据。
[0038]第三方面，本申请提供了一种存储介质，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述任一项实施例所述数据处理方法的步骤。
[0039]第四方面，本申请提供了一种计算机设备，包括：一个或多个处理器，以及存储器；
[0040]所述存储器中存储有计算机可读指令，所述一个或多个处理器执行时所述计算机可读指令时，执行如上述任一项实施例所述数据处理方法的步骤。
[0041]从以上技术方案可以看出，本申请实施例具有以下优点：
[0042]本申请提供的数据处理方法、装置、存储介质及计算机设备，在获取到逻辑更新指令时，响应于逻辑更新指令更新数据消费逻辑，以更新后的数据消费逻辑对实时新增数据
进行消费，输出第一结果数据，第一结果数据包括实时新增数据及其消费结果，保证实时新增数据能够及时处理；获取历史数据，以更新后的数据消费逻辑对历史数据中需要进行重新消费的目标原数据进行离线重新消费，输出第二结果数据，第二结果数据包括目标源数据及目标源数据的重新消费结果，采用离线处理的方式对历史数据进行消费，避免对实时新增数据的消费产生影响，根据第二结果数据对历史数据进行修正，将第一结果数据与修正后的历史数据合并为全量数据输出，使得全量数据既保证了实时新增数据的消费，又保证了全量数据中的历史数据已修正，无需增加更多的计算资源也能够兼顾数据处理的时效性和可靠性。
附图说明
[0043]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
[0044]图1为一个实施例中，数据处理方法的流程示意图；
[0045]图2为一个实施例中，以数据消费逻辑对历史数据中的目标源数据进行离线重新消费，输出第二结果数据步骤的流程示意图；
[0046]图3为另一个实施例中，以数据消费逻辑对历史数据中的目标源数据进行离线重新消费，输出第二结果数据步骤的流程示意图；
[0047]图4为又一个实施例中，以数据消费逻辑对历史数据中的目标源数据进行离线重新消费，输出第二结果数据步骤的流程示意图；
[0048]图5为一个实施例中，数据处理装置的结构框图；
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：响应于逻辑更新指令，更新数据消费逻辑；以更新后的数据消费逻辑对实时新增数据进行消费，输出第一结果数据；所述第一结果数据包括所述实时新增数据及其消费结果；获取历史数据；以所述更新后的数据消费逻辑对所述历史数据中需要进行重新消费的目标源数据进行离线重新消费，输出第二结果数据；所述第二结果数据包括所述目标源数据及所述目标源数据的重新消费结果；根据所述第二结果数据对所述历史数据进行修正；将所第一结果数据与修正后的历史数据合并为全量数据输出。2.根据权利要求1所述的数据处理方法，其特征在于，所述以更新后的数据消费逻辑对所述历史数据中的目标源数据进行离线重新消费，输出第二结果数据，包括：根据所述更新后的数据消费逻辑确定所述历史数据中需要进行重新消费的目标源数据；将所述目标源数据分为多组待处理数据；在预设处理时间以所述更新后的数据消费逻辑依次对各组待处理数据进行重新消费，输出所述第二结果数据。3.根据权利要求1所述的数据处理方法，其特征在于，所述以更新后的数据消费逻辑对所述历史数据中的目标源数据进行离线重新消费，输出第二结果数据，包括：根据所述更新后的数据消费逻辑确定所述历史数据中需要进行重新消费的目标源数据；将所述目标源数据分为多组待处理数据；根据预设间隔时间，以所述更新后的数据消费逻辑依次对各组待处理数据进行重新消费，输出所述第二结果数据。4.根据权利要求1所述的数据处理方法，其特征在于，所述以更新后的数据消费逻辑对所述历史数据中的目标源数据进行离线重新消费，输出第二结果数据，包括：根据所述更新后的数据消费逻辑确定所述历史数据中需要进行重新消费的目标源数据；在可用计算资源达到预设阈值时，以所述更新后的数据消费逻辑对所述目标源数据进行重新消费，输出所述第二结果数据。5.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述第...

【专利技术属性】
技术研发人员：何云飞，
申请(专利权)人：唯品会珠海电子商务有限公司，
类型：发明
国别省市：