指标数据的管理方法及装置制造方法及图纸

本发明专利技术实施例公开了一种指标数据的管理方法及装置，通过定义各类外部数据源，提供一个统一接口，以获取外部多种数据源的连接信息；根据所述连接信息获取对应数据源的表格元信息；根据所述连接信息和所述表格元信息加载数据，并利用数据的明细信息构建多维数据集，形成在线分析处理所需的聚合数据，其中聚合数据的数据范围是根据指标数据的类型与区间来确定的；根据指标查询信息，利用聚合索引从所述聚合数据中获取目标数据。本发明专利技术能够大幅提高获取聚合数据的速度，在指标查询方面获得极大的效率提升，以解决相关技术中所存在的海量数据的指标查询效率低的问题。数据的指标查询效率低的问题。数据的指标查询效率低的问题。

【技术实现步骤摘要】
指标数据的管理方法及装置


[0001]本申请涉及互联网
，具体而言，涉及一种指标数据的管理方法、装置、计算机设备和存储介质。

技术介绍

[0002]现代商业分析系统注重使用指标(Metric)来做决策分析，而指标的概念以往一般依附于Tableau、PowerBI等BI工具，没有形成独立的应用软件平台，随着指标的重要性与日俱增，独立的指标平台应运而生。
[0003]指标平台是基于大数据之上的数据聚合与分析平台，以各项指标的形式来展示数据变化与波动。业界的指标平台多基于Hadoop大数据平台，存在数据加载缓慢、计算资源扩展较差、性能瓶颈等问题。另一方面，指标平台所提供的异动分析能力大多是商业产品的独家能力，并不具备通用性。
[0004]针对相关技术中所存在的海量数据的指标查询效率低的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供一种指标数据的管理方法、装置、计算机设备和存储介质，用以解决相关技术中存在海量数据的指标查询效率低的问题。
[0006]为了实现上述目的，本专利技术实施例的第一方面，提供一种指标数据的管理方法，包括：
[0007]定义各类外部数据源，提供一个统一接口，以获取外部多种数据源的连接信息；
[0008]根据所述连接信息获取对应数据源的表格元信息；
[0009]根据所述连接信息和所述表格元信息加载数据，并利用数据的明细信息构建多维数据集，形成在线分析处理所需的聚合数据，其中聚合数据的数据范围是根据指标数据的类型与区间来确定的；
[0010]根据指标查询信息，利用聚合索引从所述聚合数据中获取目标数据。
[0011]可选地，在第一方面的一种可能实现方式中，其特征在于，所述方法还包括：
[0012]根据查询到的目标数据，以及对应的时间区间，获取历史或者未来一段时间范围内的异常指标或者预测指标。
[0013]可选地，在第一方面的一种可能实现方式中，其特征在于，所述方法还包括：
[0014]根据业务需求选择不同的在线分析处理数据库，以实现对预计算引擎的替换。
[0015]可选地，在第一方面的一种可能实现方式中，其特征在于，在根据所述连接信息和所述表格元信息加载数据之前，包括：
[0016]对待监测指标设置定时更新任务；
[0017]在间隔预设时间后，根据对应数据源的连接信息和表格元信息加载最新数据构建多维数据集，形成在线分析处理所需的聚合数据；
[0018]基于更新后的聚合数据快速获取最新目标结果。
[0019]本专利技术实施例的第二方面，提供一种指标数据的管理装置，包括：
[0020]数据源模块，用于定义各类外部数据源，提供一个统一接口，以获取外部多种数据源的连接信息；
[0021]数据目录模块，用于根据所述连接信息获取对应数据源的表格元信息；
[0022]查询引擎模块，用于根据所述连接信息和所述表格元信息加载数据，并利用数据的明细信息构建多维数据集，形成在线分析处理所需的聚合数据，其中聚合数据的数据范围是根据指标数据的类型与区间来确定的；根据指标查询信息，利用聚合索引从所述聚合数据中获取目标数据。
[0023]指标应用模块，用于对指标数据执行至少一个处理操作，所述处理操作包括添加、删除、修改。
[0024]可选地，在第二方面的一种可能实现方式中，其特征在于，所述装置还包括：
[0025]算法分析模块，用于根据查询到的目标数据，以及对应的时间区间，获取历史或者未来一段时间范围内的异常指标或者预测指标。
[0026]可选地，在第二方面的一种可能实现方式中，其特征在于，所述指标应用模块还用于执行如下步骤：
[0027]与数据源模块协作，对数据源进行定义和保存；
[0028]与数据目录模块协作，加载原始数据目录信息；
[0029]被动或者主动与查询引擎模块配合，获取获取聚合数据后交付算法分析模块计算分析，并通过OpenAPI或图表来输出结果可选地，在第一方面的一种可能实现方式中，所述方法还包括：
[0030]根据查询到的目标数据，以及对应的时间区间，获取历史或者未来一段时间范围内的异常指标或者预测指标。
[0031]本专利技术实施例的第三方面，提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。
[0032]本专利技术实施例的第四方面，提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本专利技术第一方面及第一方面各种可能设计的所述方法的步骤。
[0033]本专利技术提供的指标数据的管理方法、装置、计算机设备和存储介质，通过定义各类外部数据源，提供一个统一接口，以获取外部多种数据源的连接信息；根据所述连接信息获取对应数据源的表格元信息；根据所述连接信息和所述表格元信息加载数据，并利用数据的明细信息构建多维数据集，形成在线分析处理所需的聚合数据，其中聚合数据的数据范围是根据指标数据的类型与区间来确定的；根据指标查询信息，利用聚合索引从所述聚合数据中获取目标数据。本专利技术能够大幅提高获取聚合数据的速度，在指标查询方面获得极大的效率提升，以解决相关技术中所存在的海量数据的指标查询效率低的问题。
附图说明
[0034]图1为指标数据的管理方法的第一种实施方式的示意图；
[0035]图2、3为指标数据的管理装置的第一种实施方式的结构图。
具体实施方式
[0036]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0037]本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
[0038]应当理解，在本专利技术的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本专利技术实施例的实施过程构成任何限定。
[0039]应当理解，在本专利技术中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0040]应当理解，在本专利技术中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种指标数据的管理方法，其特征在于，包括：定义各类外部数据源，提供一个统一接口，以获取外部多种数据源的连接信息；根据所述连接信息获取对应数据源的表格元信息；根据所述连接信息和所述表格元信息加载数据，并利用数据的明细信息构建多维数据集，形成在线分析处理所需的聚合数据，其中聚合数据的数据范围是根据指标数据的类型与区间来确定的；根据指标查询信息，利用聚合索引从所述聚合数据中获取目标数据。2.根据权利要求1所述的指标数据的管理方法，其特征在于，所述方法还包括：根据查询到的目标数据、以及对应的时间区间，获取历史或者未来一段时间范围内的异常指标或者预测指标。3.根据权利要求1所述的指标数据的管理方法，其特征在于，所述方法还包括：根据业务需求选择不同的在线分析处理数据库，以实现对预计算引擎的替换。4.根据权利要求1所述的指标数据的管理方法，其特征在于，在根据所述连接信息和所述表格元信息加载数据之前，包括：对待监测指标设置定时更新任务；在间隔预设时间后，根据对应数据源的连接信息和表格元信息加载最新数据构建多维数据集，形成在线分析处理所需的聚合数据；基于更新后的聚合数据快速获取最新目标结果。5.一种指标数据的管理装置，其特征在于，包括：数据源模块，用于定义各类外部数据源，提供一个统一接口，以获取外部多种数据源的连接信息；数据目录模块，用于根据所述连接信息获取对应数据源的表...

【专利技术属性】
技术研发人员：刘一帆，李扬，韩卿，
申请(专利权)人：上海跬智信息技术有限公司，
类型：发明
国别省市：