数据处理方法、装置、计算机设备和计算机可读存储介质制造方法及图纸

本申请涉及一种数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，该方法包括：获取数据变更消息的采集配置信息、以及与业务库的实时业务数据变更事件对应的实时数据变更消息；在实时数据变更消息与采集配置信息匹配的情况下，将实时数据变更消息确定为目标消息；基于对目标消息进行解析处理得到的解析处理结果，对业务库对应的分析库进行增量数据更新。采用上述方法可以实现与实际分析场景关联的目标增量数据的实时采集，由于在数据更新过程中过滤掉了一部分非目标数据变更消息，大大降低了数据更新过程中的负载，有利于提高数据更新过程中的数据处理效率。率。率。

【技术实现步骤摘要】
数据处理方法、装置、计算机设备和计算机可读存储介质


[0001]本申请涉及计算机
，特别是涉及一种数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]随着大数据时代的来临，出现了越来越多的数据密集型业务，包括金融服务、电信数据管理等等，数据密集型业务的数据具有来源广、数量大、变化多的特点，为提高数据处理效率，流计算技术应运而生。
[0003]传统的基于流计算技术的数据处理方法，要求与数据处理任务匹配的数据处理流程能够通过一个流式处理链路进行表征，存在应用场景受限的缺点。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高扩展应用场景的数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种数据处理方法。所述方法包括：
[0006]获取与数据处理任务匹配的数据处理流程；
[0007]确定实现所述数据处理任务的任务节点集、以及所述任务节点集所包含的各任务节点之间的数据交互关系；每一所述任务节点关联至少一部分数据处理流程；所述至少一部分数据处理流程满足流式处理条件；
[0008]确定每一所述任务节点各自的流式处理链路；所述流式处理链路与所述任务节点关联的所述至少一部分数据处理流程匹配；
[0009]按照各所述任务节点之间的数据交互关系，基于各所述流式处理链路对所述数据处理任务的待处理数据进行数据处理，获得数据处理结果。
[0010]在一个实施例中，所述获取与数据处理任务匹配的数据处理流程，包括：
[0011]获取数据处理任务的待处理数据、确定所述待处理数据的数据类型；所述数据类型的种类为至少两种；
[0012]基于所述数据处理任务，确定每一所述数据类型的待处理数据各自的数据处理流程；
[0013]所述确定执行所述数据处理流程的任务节点集，包括：
[0014]确定每一所述数据处理流程各自对应的任务节点，获得包括各所述任务节点的任务节点集。
[0015]在一个实施例中，所述确定每一所述任务节点各自的流式处理链路，包括：
[0016]针对每一所述任务节点，从多个候选数据处理逻辑中确定至少两个目标处理逻辑；所述至少两个目标处理逻辑，与所述任务节点关联的所述至少一部分数据处理流程匹配；
[0017]确定包括各所述目标处理逻辑的流式处理链路。
[0018]在一个实施例中，所述确定包括各所述目标处理逻辑的流式处理链路，包括：
[0019]根据所述至少一部分数据处理流程，确定各所述目标处理逻辑之间的链接关系；
[0020]基于所述链接关系配置各所述目标处理逻辑之间的订阅关系，创建包括各所述目标处理逻辑的流式处理链路；所述流式处理链路中下一个目标处理逻辑订阅上一个目标处理逻辑的输出数据。
[0021]在一个实施例中，所述方法还包括：
[0022]响应于针对所述数据处理任务的任务更新事件，获取任务更新信息；
[0023]确定与所述任务更新信息匹配的更新流程，并基于所述更新流程对各所述任务节点进行节点维护。
[0024]在一个实施例中，所述基于所述更新流程对各所述任务节点进行节点维护，包括：
[0025]若所述更新流程中不存在与目标处理流程对应的目标更新流程，则删除与所述目标处理流程匹配的目标处理链路，并注销关联所述目标处理链路的目标任务节点；
[0026]若所述更新流程中包括与目标处理流程对应的目标更新流程，则基于所述目标更新流程，更新目标任务节点所关联的、与所述目标处理流程匹配的目标处理链路；
[0027]若所述更新流程中包括新增处理流程，则基于所述新增处理流程，在各所述任务节点的基础上配置所述新增处理流程匹配的新增任务节点。
[0028]第二方面，本申请提供了一种数据处理装置。所述装置包括：
[0029]获取模块，用于获取与数据处理任务匹配的数据处理流程；
[0030]任务节点集确定模块，用于确定实现所述数据处理任务的任务节点集、以及所述任务节点集所包含的各任务节点之间的数据交互关系；每一所述任务节点关联至少一部分数据处理流程；所述至少一部分数据处理流程满足流式处理条件；
[0031]流式处理链路确定模块，用于确定每一所述任务节点各自的流式处理链路；所述流式处理链路与所述任务节点关联的至少一部分所述数据处理流程匹配；
[0032]数据处理模块，用于按照各所述任务节点之间的数据交互关系，基于各所述流式处理链路对所述数据处理任务的待处理数据进行数据处理，获得数据处理结果。
[0033]在一个实施例中，所述获取模块具体用于：
[0034]获取数据处理任务的待处理数据、确定所述待处理数据的数据类型；所述数据类型的种类为至少两种；基于所述数据处理任务，确定每一所述数据类型的待处理数据各自的数据处理流程；
[0035]所述任务节点集确定模块具体用于：
[0036]确定每一所述数据处理流程各自对应的任务节点，获得包括各所述任务节点的任务节点集。
[0037]在一个实施例中，所述流式处理链路确定模块包括：
[0038]目标处理逻辑确定单元，用于针对每一所述任务节点，从多个候选数据处理逻辑中确定至少两个目标处理逻辑；所述至少两个目标处理逻辑，与所述任务节点关联的所述至少一部分数据处理流程匹配；
[0039]流式处理链路确定单元，用于确定包括各所述目标处理逻辑的流式处理链路。
[0040]在一个实施例中，所述流式处理链路确定单元具体用于：
[0041]根据所述至少一部分数据处理流程，确定各所述目标处理逻辑之间的链接关系；
[0042]基于所述链接关系配置各所述目标处理逻辑之间的订阅关系，创建包括各所述目标处理逻辑的流式处理链路；所述流式处理链路中下一个目标处理逻辑订阅上一个目标处理逻辑的输出数据。
[0043]在一个实施例中，所述数据处理装置还包括：
[0044]任务更新信息获取模块，用于响应于针对所述数据处理任务的任务更新事件，获取任务更新信息；
[0045]节点维护模块，用于确定与所述任务更新信息匹配的更新流程，并基于所述更新流程对各所述任务节点进行节点维护。
[0046]在一个实施例中，节点维护模块具体用于：
[0047]若所述更新流程中不存在与目标处理流程对应的目标更新流程，则删除与所述目标处理流程匹配的目标处理链路，并注销关联所述目标处理链路的目标任务节点；
[0048]若所述更新流程中包括与目标处理流程对应的目标更新流程，则基于所述目标更新流程，更新目标任务节点所关联的、与所述目标处理流程匹配的目标处理链路；
[0049]若所述更新流程中包括新增处理流程，则基于所述新增处理流程，在各所述任务节点的基础上配置所述新增处理流程匹配的新增任务节点。
[0050]第三方面，本申请还本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取与数据处理任务匹配的数据处理流程；确定实现所述数据处理任务的任务节点集、以及所述任务节点集所包含的各任务节点之间的数据交互关系；每一所述任务节点关联至少一部分数据处理流程；所述至少一部分数据处理流程满足流式处理条件；确定每一所述任务节点各自的流式处理链路；所述流式处理链路与所述任务节点关联的所述至少一部分数据处理流程匹配；按照各所述任务节点之间的数据交互关系，基于各所述流式处理链路对所述数据处理任务的待处理数据进行数据处理，获得数据处理结果。2.根据权利要求1所述的方法，其特征在于，所述获取与数据处理任务匹配的数据处理流程，包括：获取数据处理任务的待处理数据、确定所述待处理数据的数据类型；所述数据类型的种类为至少两种；基于所述数据处理任务，确定每一所述数据类型的待处理数据各自的数据处理流程；所述确定执行所述数据处理流程的任务节点集，包括：确定每一所述数据处理流程各自对应的任务节点，获得包括各所述任务节点的任务节点集。3.根据权利要求1所述的方法，其特征在于，所述确定每一所述任务节点各自的流式处理链路，包括：针对每一所述任务节点，从多个候选数据处理逻辑中确定至少两个目标处理逻辑；所述至少两个目标处理逻辑，与所述任务节点关联的所述至少一部分数据处理流程匹配；确定包括各所述目标处理逻辑的流式处理链路。4.根据权利要求3所述的方法，其特征在于，所述确定包括各所述目标处理逻辑的流式处理链路，包括：根据所述至少一部分数据处理流程，确定各所述目标处理逻辑之间的链接关系；基于所述链接关系配置各所述目标处理逻辑之间的订阅关系，创建包括各所述目标处理逻辑的流式处理链路；所述流式处理链路中下一个目标处理逻辑订阅上一个目标处理逻辑的输出数据。5.根据权利要求1至4中任意一项所述的方法，其特征在于，所述方法还包括：响应于针对所述数据处理任务的任务更新事件，获取任务更...

【专利技术属性】
技术研发人员：曾昭志，杨权，陈宏亮，
申请(专利权)人：深圳市科脉技术股份有限公司，
类型：发明
国别省市：