一种指标中心制造技术

本发明专利技术公开一种指标中心，涉及数据处理技术领域

【技术实现步骤摘要】
一种指标中心


[0001]本专利技术涉及数据处理
，特别是涉及一种指标中心
。

技术介绍

[0002]数据仓库
(DataWarehouse
，
DW
或
DWH)
，是为企业所有级别的决策制定过程提供所有类型数据支持的战略集合，它是单个数据存储
。
出于分析性报告和决策支持目的而创建，为需要业务智能的企业，提供指导业务流程改进
、
监视时间
、
成本
、
质量以及控制
。
[0003]在互联网机构或金融机构的
IT
部门中，都有数据仓库
(
简称数仓
)
的落地实践
。
数据在数仓中都是分门别类的存储
。
应用程序根据自身需要，定制开发逻辑获取数仓资源
。
[0004]数据分析和决策需要依赖于量化的指标，而指标又来源于不同的业务场景
、
数据源和计算口径，因此需要有一套方法和工具来规范定义
、
开发和维护指标
。
指标中心作为一种数据指标管理系统，它可以将指标的组成部分解耦拆分，并在逻辑表中进行规范性的定义
。
在此基础上，后续可以按照一定规则进行自由拼装，实现自定义指标的功能
。
通过元数据中心
、
数据仓库或数据湖等方式来存储和提取指标，可以提高数据的可用性和响应速度，同时支持数据的可视化展示和分析
。
[0005]传统数仓的概念是由
ETL
工具进行数据过滤和清洗加工，将离散在各处的数据进行整合，将数据存储在数据仓库中，如图1所示
。
[0006]现有方案虽然改进了传统
ETL
数仓概念，主要宗旨是将指标规范化并与业务属性相结合，并且能够将公司级数据统合到一个系统中，方便非专业人员的使用，但是现有的指标中心存在以下问题：
[0007]1)
数据源的获取以
SQL
为主，缺乏其他形式的数据收集方案；
[0008]2)ETL
制作过程门槛较高，缺少成熟的低代码方案；
[0009]3)
系统性能比较低，无法经受较大规模的访问；
[0010]4)
仅仅保存数据集，缺少建模以及报表展示的功能
。

技术实现思路

[0011]为解决现有技术存在的上述问题，本专利技术提供了一种指标中心
。
[0012]为实现上述目的，本专利技术提供了如下方案：
[0013]一种指标中心，包括：
[0014]指标管理平台，用于创建指标，并将创建的指标存储在平台数据库中，实现平台数据库的维护配置；
[0015]指标驱动引擎应用，用于监测所述平台数据库中存储的指标进行监测，并根据所述指标管理平台在所述平台数据库的维护配置触发指标数据处理流程；
[0016]数据处理相关组件，植入有指标数据处理应用，用于向目标数据源发起数据请求，并根据配置对获取的指标数据进行处理，得到指标信息；
[0017]指标统合平台，用于根据设定条件对所述指标信息进行统合，以生成报表信息
。
[0018]可选地，所述指标管理平台使用指标管理页面对指标进行创建；在指标创建过程中进行的编辑信息包括数据源信息
、
触发器信息和数据处理流程信息
。
[0019]可选地，所述指标驱动引擎应用对平台数据库数据进行监测的过程中，当达到触发条件时，则自动调用指标处理流程，同时通过
API
的方式进行本地或第三方调用
。
[0020]可选地，所述指标驱动引擎应用使用自动任务组件
xxl
‑
job
对指标处理流程进行触发，并在指标处理流程的过程中选择执行方式；所述执行方式包括依赖执行方式和非依赖执行方式
。
[0021]可选地，所述指标数据处理应用包括：
[0022]多源数据收集应用，用于根据配置的数据源信息从外部获取源数据；在获取源数据的过程中，通过指标管理平台保存的配置信息，调用其他指标数据作为变量，实现源数据的动态化需求；
[0023]低代码平台应用，在数据处理过程中存在固定的处理逻辑，采用所述处理逻辑处理数据，并在数据处理后使用
Sink
将处理后的数据存入
Redis
中等待进一步处理；固定的处理逻辑包括：行转列
、
列转行以及单列拆分为多行
。
[0024]多语言数据处理应用，用于在数据处理过程中通过编写代码的方式对数据进行指标化处理；
[0025]数据建模应用，用于实现指标的结构化
。
[0026]可选地，所述多源数据收集应用集成的功能包括：读取数据库
、API、
消息队列和文件；其中，数据库使用
JDBC
进行获取，
API
使用与
API
对应的组件进行处理
。
[0027]可选地，多语言数据处理应用使用
graalvm
作为
JVM
，以支持多种编程语言在
JVM
中运行；在多语言数据处理应用中，使用
Python
解释器执行脚本处理的备选方案，将执行结果存入
Redis
；在编写脚本时利用
Redis
中保存的执行结果
。
[0028]可选地，指标的结构化的实现过程为：将处理后的指标结果集使用算法进行处理，得到一个
DDL
数据；首次执行时，数据建模应用在数据仓库中进行建表，以实现基于指标管理平台的配置决定在数据仓库中数据维度的目的
。
[0029]可选地，所述指标统合平台根据客户需求定制化展示生成的报表信息
。
[0030]可选地，所述指标统合平台还用于使用
Redis
数据得到指标结果
。
[0031]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0032]本专利技术提供的指标中心中，指标管理平台创建指标，并将创建的指标存储在平台数据库中，以实现平台数据库的维护配置；指标驱动引擎应用监测平台数据库中存储的指标进行监测，并根据指标管理平台在平台数据库的维护配置触发指标数据处理流程；植入有指标数据处理应用的数据处理相关组件，向目标数据源发起数据请求，并根据配置对获取的指标数据进行处理，得到指标信息；指标统合平台根据设定条件对指标信息进行统合，以生成报表信息，进而能够降低运维成本和数据一致性的解决方案要求，为简单场景提供一站式解决方案
。
附图说明
[0033]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种指标中心，其特征在于，包括：指标管理平台，用于创建指标，并将创建的指标存储在平台数据库中，实现平台数据库的维护配置；指标驱动引擎应用，用于监测所述平台数据库中存储的指标进行监测，并根据所述指标管理平台在所述平台数据库的维护配置触发指标数据处理流程；数据处理相关组件，植入有指标数据处理应用，用于向目标数据源发起数据请求，并根据配置对获取的指标数据进行处理，得到指标信息；指标统合平台，用于根据设定条件对所述指标信息进行统合，以生成报表信息
。2.
根据权利要求1所述的指标中心，其特征在于，所述指标管理平台使用指标管理页面对指标进行创建；在指标创建过程中进行的编辑信息包括数据源信息
、
触发器信息和数据处理流程信息
。3.
根据权利要求1所述的指标中心，其特征在于，所述指标驱动引擎应用对平台数据库数据进行监测的过程中，当达到触发条件时，则自动调用指标处理流程，同时通过
API
的方式进行本地或第三方调用
。4.
根据权利要求3所述的指标中心，其特征在于，所述指标驱动引擎应用使用自动任务组件
xxl
‑
job
对指标处理流程进行触发，并在指标处理流程的过程中选择执行方式；所述执行方式包括依赖执行方式和非依赖执行方式
。5.
根据权利要求4所述的指标中心，其特征在于，所述指标数据处理应用包括：多源数据收集应用，用于根据配置的数据源信息从外部获取源数据；在获取源数据的过程中，通过指标管理平台保存的配置信息，调用其他指标数据作为变量，实现源数据的动态化需求；低代码平台应用，在数据处理过程中存在固定的处理逻辑，采用所述处理逻辑处理数据，并在数据处理后使用
Sink
将处理后的数据存入
Redis

【专利技术属性】
技术研发人员：杨佳玮，郝春苗，陈向阳，李轩，
申请(专利权)人：奇点浩翰数据技术北京有限公司，
类型：发明
国别省市：