本申请涉及一种Flink计算任务的处理方法、装置、设备和存储介质。所述方法包括：获取当前Flink计算任务的任务配置数据；提取所述任务配置数据中各计算指标对应的指标配置数据；根据各所述计算指标的指标配置数据对各所述计算指标进行处理，以处理所述当前Flink计算任务，本申请通过对当前Flink计算任务的各计算指标进行配置，根据指标配置数据对当前Flink计算任务进行任务处理，实现了Flink计算任务的可配置化，解决了传统技术中采用硬编码的方式进行数据处理而带来的错误率高的问题，提高数据处理的效率，配置数据支持可修改，可灵活修改数据处理的逻辑。灵活修改数据处理的逻辑。灵活修改数据处理的逻辑。
【技术实现步骤摘要】
Flink计算任务的处理方法、装置、设备和存储介质
[0001]本申请涉及数据处理
，特别是涉及一种Flink计算任务的处理方法、装置、设备和存储介质。
技术介绍
[0002]目前本领域内传统做法是采用硬编码方式实现数据处理、业务开发以及计算等模块，具有个性化，灵活性，能解决复杂逻辑的业务需求。以编码、测试、发布的版本迭代过程完成业务需求。然而，传统做法至少存在以下缺陷与不足：
[0003]1、不同开发人员水平不一，编码存在冗余且错误率相对较高，对编码和测试的要求比较高，需要严格规范的代码评审机制作为辅助。
[0004]2、以编码、测试、发布的版本迭代过程，具有研发效率低，版本周期长，成本投入高等特点。
[0005]3、当数据处理逻辑需要修改时，则需要重新编写代码，步骤繁琐。
[0006]4、数据处理、计算的逻辑隐藏于代码实现中，不利于业务逻辑的理解与问题跟踪分析。
技术实现思路
[0007]基于此，有必要针对上述技术问题，提供一种Flink计算任务的处理方法、装置、设备和存储介质。
[0008]一种Flink计算任务的处理方法，方法包括：
[0009]获取当前Flink计算任务的任务配置数据；
[0010]提取任务配置数据中各计算指标对应的指标配置数据；
[0011]根据各计算指标的指标配置数据对各计算指标进行处理，以处理当前Flink计算任务。
[0012]在其中一个实施例中，上述的方法还包括：
[0013]对各计算指标对应的指标配置数据进行校验；
[0014]对校验后的数据进行解析，得到解析结果；
[0015]根据解析后的结果进行数据映射，得到多个算子；
[0016]根据各算子，创建当前Flink计算任务。
[0017]在其中一个实施例中，各上述的指标配置数据中包括统计字段、统计过滤条件以及各待处理数据集的集合信息，上述的根据各计算指标的指标配置数据对各计算指标进行处理，包括：
[0018]获取当前计算指标对应的待处理数据集的集合信息；
[0019]根据当前计算指标对应的待处理数据集的集合信息获取当前计算指标对应的待处理数据集；
[0020]根据当前计算指标对应的统计字段以及统计过滤条件对当前计算指标对应的待
处理数据集中的字段进行聚合处理。
[0021]在其中一个实施例中，上述的方法还包括：
[0022]获取实时数据流；
[0023]根据预先配置的预处理配置数据中的第一配置数据对实时数据流进行预处理，得到各待处理数据集；
[0024]根据预处理配置数据中的第二配置数据将各待处理数据集分类存储于预设的消息队列的各主题中；
[0025]上述的当前计算指标对应的待处理数据集的集合信息中包括消息队列的主题标识，根据各待处理数据集的集合信息获取各计算指标对应的待处理数据集，包括：
[0026]根据当前计算指标对应的待处理数据集的集合信息中的主题标识从消息队列的对应主题中获取当前计算指标对应的待处理数据集。
[0027]在其中一个实施例中，上述的任务配置数据中还包括输出通道的配置数据,方法还包括：
[0028]提取输出通道的配置数据中输出通道的标识信息；
[0029]将当前Flink计算任务的处理结果输出至输出通道的标识信息所指示的输出通道。
[0030]在其中一个实施例中，上述的第一配置数据中包括外部调用配置数据，方法还包括：
[0031]根据外部调用配置数据中的调用接口信息获取对应的外部数据；
[0032]根据预先配置的预处理配置数据中的第一配置数据对实时数据流进行预处理，得到各待处理数据集，包括：
[0033]根据外部数据对实时数据流进行预处理，得到各待处理数据集。
[0034]在其中一个实施例中，上述的方法还包括：
[0035]接收任务配置数据的目标计算指标的新增请求；
[0036]提取目标计算指标的指标配置数据；
[0037]将目标计算指标的指标配置数据与当前Flink计算任务关联性存储于预设数据库中。
[0038]一种Flink计算任务的处理装置，其特征在于，装置包括：
[0039]获取模块，用于获取当前Flink计算任务的任务配置数据；
[0040]提取模块，用于提取任务配置数据中各计算指标对应的指标配置数据；
[0041]处理模块，用于根据各计算指标的指标配置数据对各计算指标进行处理，以处理当前Flink计算任务。
[0042]一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
[0043]获取当前Flink计算任务的任务配置数据；
[0044]提取任务配置数据中各计算指标对应的指标配置数据；
[0045]根据各计算指标的指标配置数据对各计算指标进行处理，以处理当前Flink计算任务。
[0046]一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时
实现以下步骤：
[0047]获取当前Flink计算任务的任务配置数据；
[0048]提取任务配置数据中各计算指标对应的指标配置数据；
[0049]根据各计算指标的指标配置数据对各计算指标进行处理，以处理当前Flink计算任务。
[0050]上述Flink计算任务的处理方法、装置、设备和存储介质，通过获取当前Flink计算任务的任务配置数据；提取任务配置数据中各计算指标对应的指标配置数据；根据各计算指标的指标配置数据对各计算指标进行处理，以处理当前Flink计算任务，本申请通过对当前Flink计算任务的各计算指标进行配置，根据指标配置数据对当前Flink计算任务进行任务处理，实现了Flink计算任务的可配置化，解决了传统技术中采用硬编码的方式进行数据处理而带来的错误率高的问题，提高数据处理的效率，数据处理的逻辑体现于配置数据中，利于业务逻辑的理解与问题跟踪分析，配置数据支持可修改，可灵活修改数据处理的逻辑。
附图说明
[0051]图1为一个实施例中Flink计算任务的处理方法的应用环境图；
[0052]图2为一个实施例中Flink计算任务的处理方法的流程示意图；
[0053]图3为一个实施例中创建当前Flink计算任务的流程示意图；
[0054]图4为另一个实施例中根据各计算指标的指标配置数据对各计算指标进行处理的细化步骤流程示意图；
[0055]图5为一个实施例中生成待处理数据集得流程示意图；
[0056]图6为一个实施例中当前Flink计算任务的处理结果输出的流程示意图；
[0057]图7为一个实施例中新增任务指标的流程示意图；
[0058]图8为一个实施例中Flink计算任务的处理方法的应用环境示意图；
[0059]本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种Flink计算任务的处理方法，所述方法包括：获取当前Flink计算任务的任务配置数据；提取所述任务配置数据中各计算指标对应的指标配置数据；根据各所述计算指标的指标配置数据对各所述计算指标进行处理，以处理所述当前Flink计算任务。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对各所述计算指标对应的指标配置数据进行校验；对校验后的数据进行解析，得到解析结果；根据解析后的结果进行数据映射，得到多个算子；根据各所述算子，创建所述当前Flink计算任务。3.根据权利要求1所述的方法，其特征在于，各所述指标配置数据中包括统计字段、统计过滤条件以及各待处理数据集的集合信息，所述根据各所述计算指标的指标配置数据对各所述计算指标进行处理，包括：获取当前计算指标对应的待处理数据集的集合信息；根据所述当前计算指标对应的待处理数据集的集合信息获取所述当前计算指标对应的待处理数据集；根据所述当前计算指标对应的统计字段以及统计过滤条件对所述当前计算指标对应的待处理数据集中的字段进行聚合处理。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取实时数据流；根据预先配置的预处理配置数据中的第一配置数据对所述实时数据流进行预处理，得到各所述待处理数据集；根据所述预处理配置数据中的第二配置数据将各所述待处理数据集分类存储于预设的消息队列的各主题中；所述当前计算指标对应的待处理数据集的集合信息中包括所述消息队列的主题标识，所述根据各所述待处理数据集的集合信息获取各计算指标对应的待处理数据集，包括：根据所述当前计算指标对应的待处理数据集的集合信息中的主题标识从所述消息队列的对应主题中获取所述当前计算指标对应的待处理...
【专利技术属性】
技术研发人员：庞孟常，徐建，刘楠，
申请(专利权)人：南京星云数字技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。