【技术实现步骤摘要】
本专利技术涉及数据处理，特别地涉及一种数据指标处理方法、装置及电子设备。
技术介绍
1、随着大数据和云计算技术的快速发展，数据实时计算在多个领域，如金融、医疗、物联网等中的重要性日益凸显。现有的数据处理方法主要分为批处理和流处理两大类，批处理主要用于处理存储在数据库或文件系统中的静态数据，而流处理则用于处理实时生成的动态数据。apache hadoop和spark是批处理的代表，而apache flink和kafka则是流处理的代表。
2、传统的批处理计算模式已经无法满足对实时性、准确性和可扩展性的高要求。而现有的流处理计算模式基本需要在hadoop集群环境下配置、运行，不便于应用服务的管控。流式处理框架往往需要专业的hadoop技术人员根据业务场景需求开通流式计算管道，运营成本较高。
技术实现思路
1、本公开实施例提供了一种数据指标处理方法、装置及电子设备，可以实现远程发布任务到flink集群中，增强了数据指标处理过程的可控性。
2、根据本公开的一方面，提供了一种数据指标处理方法，包括：
3、定义数据指标信息，所述数据指标信息包括维度、度量以及计算逻辑；
4、至少根据所述数据指标信息生成flink任务的组件参数，所述组件参数包括数据源组件参数、计算组件参数及输出组件参数；
5、将包含所述组件参数的flink任务启动脚本发送至flink集群，以使flink集群根据所述组件参数以及监听的kafka集群中的业务数据，输出计算结
6、在一种实施方式中，所述方法还包括：
7、利用数据指标信息中的维度、度量以及预设数据格式，对获取的原始业务数据进行数据验证，得到验证业务数据；
8、将所述验证业务数据发送至kafka集群，以使所述kafka集群根据所述验证业务数据得到所述业务数据。
9、在一种实施方式中，所述方法还包括：生成所述数据指标信息对应的指标编码，所述指标编码用于表征所述数据指标信息的唯一性；
10、所述根据所述验证业务数据得到所述业务数据，包括：
11、根据指标编码以及kafka规则，基于所述验证业务数据得到所述业务数据。
12、在一种实施方式中，所述方法还包括：
13、根据数据指标信息中的维度、度量，生成指标存储表，并将所述指标存储表发送至存储引擎中。
14、在一种实施方式中，所述根据所述数据指标信息生成flink任务的组件参数，包括：
15、根据数据指标信息中的维度、度量，以及数据指标信息对应的kafka主题、kafka配置以及kafka连接信息，拼接得到所述数据源组件参数。
16、在一种实施方式中，所述根据所述数据指标信息生成flink任务的组件参数，包括：
17、根据数据指标信息中的维度、数据指标结果、指标存储表名称、指标存储表主键以及存储引擎的连接信息，拼接得到所述输出组件参数。
18、在一种实施方式中，所述根据所述数据指标信息生成flink任务的组件参数，包括：
19、根据所述数据指标信息中的维度、计算逻辑，拼接得到所述计算组件参数。
20、在一种实施方式中，所述flink任务启动脚本还包括yarn集群的身份验证文件，所述身份验证文件采用keytab文件。
21、根据本公开的另一方面，提供了一种数据指标处理装置，包括：
22、指标定义模块，用于定义数据指标信息，所述数据指标信息包括维度、度量以及计算逻辑；
23、组件参数生成模块，用于至少根据所述数据指标信息生成flink任务的组件参数，所述组件参数包括数据源组件参数、计算组件参数及输出组件参数；
24、发布模块，用于将包含所述组件参数的flink任务启动脚本发送至flink集群，以使flink集群根据所述组件参数以及监听的kafka集群中的业务数据，输出计算结果。
25、根据本公开的又一方面，提供了一种电子设备，包括：
26、至少一个处理器；以及
27、至少一个存储有计算机程序的存储器，
28、所述处理器调用所述计算机程序使所述处理器执行前述根据本公开的一方面的方法。
29、上述技术特征可以各种适合的方式组合或由等效的技术特征来替代，只要能够达到本专利技术的目的。
30、本公开实施例中提供的一个或多个技术方案，通过定义数据指标信息，基于数据指标信息生成flink任务的组件参数，再将组件参数传入到客户端应用服务系统的flink任务启动脚本中，发送至flink集群，实现远程发布任务到使用yarn作为资源管理器的flink集群上，使得整个流式处理过程不需要专业的hadoop技术人员根据业务场景需求开通流式计算管道，直接由客户端应用服务系统的使用人员开通及操作，就可以实现数据指标的实时计算，大大减少了运营成本，增强了系统的可控性。
本文档来自技高网...【技术保护点】
1.一种数据指标处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：生成所述数据指标信息对应的指标编码，所述指标编码用于表征所述数据指标信息的唯一性；
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述数据指标信息生成Flink任务的组件参数，包括：
6.根据权利要求4所述的方法，其特征在于，所述根据所述数据指标信息生成Flink任务的组件参数，包括：
7.根据权利要求1所述的方法，其特征在于，所述根据所述数据指标信息生成Flink任务的组件参数，包括：
8.根据权利要求1所述的方法，其特征在于，所述Flink任务启动脚本还包括Yarn集群的身份验证文件，所述身份验证文件采用keytab文件。
9.一种数据指标处理装置，其特征在于，包括：
10.一种电子设备，其特征在于，包括：
【技术特征摘要】
1.一种数据指标处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：生成所述数据指标信息对应的指标编码，所述指标编码用于表征所述数据指标信息的唯一性；
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述数据指标信息生成flink任务的组件参数，包括：
6.根...
【专利技术属性】
技术研发人员：蒋楠，刘陈宇，黄才生，李森，李德华，宋建光，
申请(专利权)人：中国石油化工股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。