基于Kafka的数据处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种基于Kafka的数据处理方法、装置、计算机设备和存储介质。所述方法包括：基于第一命令行，确定数据处理规则对应的目标输入数据表，并确定与目标输入数据表具有绑定关系的目标输入消息主题；从目标输入消息主题中获取目标输入数据表；基于第二命令行，从目标输入数据表中读取输入数据；通过数据处理规则得到输出数据；在不存在输出数据对应的输出数据表及输出消息主题的情况下，新建输出数据表及与输出数据表绑定的输出消息主题，将输出数据存入输出消息主题中；或者，在存在输出数据表及输出消息主题的情况下，对输出消息主题中的输出数据表进行更新。采用本方法能够解决实时数据处理中的数据依赖问题，并提高数据处理规则的发布效率。据处理规则的发布效率。据处理规则的发布效率。

【技术实现步骤摘要】
基于Kafka的数据处理方法、装置、计算机设备和存储介质


[0001]本申请涉及实时数据处理领域，特别是涉及一种基于Kafka的数据处理方法、装置、计算机设备和存储介质。

技术介绍

[0002]在数据处理中，往往存在数据依赖的问题：也即在计算数据A时，由于数据A依赖于数据B，因此必须要在数据B产生后，才能够进行数据A的计算。
[0003]现有技术中，往往通过微批调度的方式处理数据依赖问题，也即以数小时或一天的间隔对数据进行批次处理。然而，在实时数据处理的环境下，通过微批调度的方式处理数据依赖问题会造成数据处理的实时性下降，不能满足业务需求。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种基于Kafka的数据处理方法、装置、计算机设备和存储介质。
[0005]第一方面，本申请提供了一种基于Kafka的数据处理方法。所述方法包括：
[0006]基于数据处理规则中的第一命令行，确定所述数据处理规则对应的目标输入数据表，并确定与所述目标输入数据表具有绑定关系的目标输入消息主题；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Kafka的数据处理方法，其特征在于，应用于数据处理引擎Flink，所述方法包括：基于数据处理规则中的第一命令行，确定所述数据处理规则对应的目标输入数据表，并确定与所述目标输入数据表具有绑定关系的目标输入消息主题；从Kafka的所述目标输入消息主题中获取所述目标输入数据表；基于所述数据处理规则中的第二命令行，从所述目标输入数据表中读取输入数据；通过所述数据处理规则对所述输入数据进行处理，得到输出数据；在不存在所述输出数据对应的输出数据表及输出消息主题的情况下，新建所述输出数据表，并指示Kafka创建与所述输出数据表绑定的所述输出消息主题，将所述输出数据存入所述输出数据表中，并将所述输出数据表存入所述输出消息主题中；或者，在存在所述输出数据对应的所述输出数据表及所述输出消息主题的情况下，基于所述输出数据，对所述输出消息主题中的所述输出数据表进行更新。2.根据权利要求1所述的方法，其特征在于，所述确定与所述目标输入数据表具有绑定关系的目标输入消息主题，包括：获取所述目标输入数据表的元数据，并从所述目标输入数据表的元数据中，确定与所述目标输入数据表绑定的目标输入消息主题；所述指示Kafka创建与所述输出数据表绑定的所述输出消息主题，包括：指示Kafka创建所述输出消息主题；在所述输出数据表的元数据中，记录所述输出数据表与所述输出消息主题的绑定关系。3.根据权利要求1所述的方法，其特征在于，所述数据处理规则包括第一数据处理规则，所述目标输入数据表包括原始数据表，所述通过所述数据处理规则对所述输入数据进行处理，得到输出数据，包括：根据所述第一数据处理规则中的统计维度字段名，从所述原始数据表的目标字段对应的维度表中，获取所述统计维度字段名对应的目标统计维度，并从所述目标统计维度中确定各目标统计区间，其中，所述维度表包括至少一个统计维度，所述统计维度包括至少一个统计区间；通过所述第一数据处理规则，对各所述目标统计区间在所述目标字段中对应的数据分别进行统计，得到输出数据。4.根据权利要求3所述的方法，其特征在于，所述基于数据处理规则中的第一命令行，确定数据处理规则对应的目标输入数据表之前，所述方法还包括：获取所述原始数据表的各字段对应的维度表；针对所述原始数据表的任一字段，将所述字段的所述维度表与所述原始数据表进行关联处理。5.根据权利要求3所述的方法，其特征在于，所述基于数据处理规则中的第一命令行，确定数据处理规则对应的目标输入数据表之前，所述方法还包括：从数据源中获取所述原始数据表；在不存在所述原始数据表对应的消息主题的情况下，新建原...

【专利技术属性】
技术研发人员：沈彬彬，袁阳，
申请(专利权)人：中电金信软件有限公司，
类型：发明
国别省市：