指标数据的生成方法、系统、电子设备和存储介质技术方案

本发明专利技术公开了一种指标数据的生成方法、系统、电子设备和存储介质。该生成方法包括：获取用户的至少一个指标查询请求；从指标名对应的初始数据源中获取维度名满足维度值的基础查询数据；基于基础查询数据生成第一指标数据，并将指标查询请求和基础查询数据一一对应的存储于缓存数据库。本发明专利技术使用通用数据源进行指标开发，不需要再为每个指标都分别建立单独的汇总表，从而降低数据源维护和治理成本，根据自定义的指标查询请求灵活拼接查询脚本，降低了新指标开发成本和开发门槛；将查询过的指标数据进行缓存，当在出现相同的指标查询请求时直接从缓存数据库中查询，提高了查询效率。提高了查询效率。提高了查询效率。

【技术实现步骤摘要】
指标数据的生成方法、系统、电子设备和存储介质


[0001]本专利技术涉及大数据
，特别涉及一种指标数据的生成方法、系统、电子设备和存储介质。

技术介绍

[0002]指标是针对具体业务场景而开发的规范化数据，是一种常用的数据形式，为企业的决策提供指导。面对企业里丰富多样的业务需求，大量的指标需要进行开发以供BI人员、业务团队以及管理层查询使用。除了对指标进行规范化管理以外，根据用户需求灵活开发指标并快速生成结果是指标平台的重要目标。
[0003]指标平台为指标数据提供了录入、管理、查询和展示功能，目前，指标平台传统的做法是：为每个指标分别设计一张汇总表作为数据源，每次指标查询只需要对该表进行简单的过滤和聚合即可。指标与表的一一对应，可以避免多表连接，提高查询效率，但缺点在于，数据源表的数量过大，对指标的数据源的维护与治理需要耗费较多人力，而且生成新指标的代价较大，每次生成新指标时，都需要数据团队专门生成一张新表并进行数据同步等，难以满足业务飞速发展下的大量新指标构建的需求。

技术实现思路

[0004]本专利技术要解决的技术问题是为了克服现有技术中指标的数据源维护成本高、指标开发耗费人力多的缺陷，提供一种指标数据的生成方法、系统、电子设备和存储介质。
[0005]本专利技术是通过下述技术方案来解决上述技术问题：
[0006]根据本专利技术的第一方面，提供一种指标数据的生成方法，所述生成方法包括：
[0007]获取用户的至少一个指标查询请求；所述指标查询请求包括指标名、维度名和对应的维度值；
[0008]从所述指标名对应的初始数据源中获取所述维度名满足所述维度值的基础查询数据；
[0009]基于所述基础查询数据生成第一指标数据，并将所述指标查询请求和所述基础查询数据一一对应的存储于缓存数据库。
[0010]较佳地，所述基于所述基础查询数据生成第一指标数据的步骤之后，还包括：
[0011]判断所述指标名的类型是否为基础事务类型；
[0012]若是，则从所述缓存数据库中获取与目标维度相对应的第一汇总查询数据；所述目标维度为所述指标查询请求中的所有维度中的至少一个维度；
[0013]若否，则从所述初始数据源中获取与所述目标维度相对应的第二汇总查询数据；
[0014]基于所述第一汇总查询数据或者所述第二汇总查询数据生成第二指标数据。
[0015]较佳地，所述从所述指标名对应的初始数据源中获取所述维度名满足所述维度值的基础查询数据的步骤，包括：
[0016]根据每个所述指标查询请求构建对应的查询脚本；
[0017]基于每个所述查询脚本从所述初始数据源中获取所述维度名满足所述维度值的所述基础查询数据。
[0018]较佳地，所述基础查询数据包括指标值，所述基于所述基础查询数据生成第一指标数据的步骤，包括：
[0019]对所述指标值进行预处理；所述预处理包括聚合计算和数据去重；
[0020]根据不同的所述维度名对预处理后的基础查询数据进行分组，得到所述第一指标数据；
[0021]和/或，所述维度名包括日期，所述基于所述基础查询数据生成第一指标数据的步骤，还包括：
[0022]根据所述日期的时间先后对所述基础查询数据的指标值进行排序。
[0023]较佳地，所述生成方法还包括：
[0024]获取待同步的原始数据；所述原始数据包括全量数据和增量数据；
[0025]将所述全量数据或者所述增量数据同步至所述初始数据源。
[0026]较佳地，所述从所述指标名对应的初始数据源中获取所述维度名满足所述维度值的基础查询数据的步骤之前，还包括：
[0027]判断所述指标查询请求是否已存在于所述缓存数据库中；
[0028]若是，则从所述缓存数据库中获取与所述指标查询请求对应的第一指标数据。
[0029]较佳地，所述基于所述汇总查询数据生成第二指标数据的步骤之后还包括：
[0030]将所述第二指标数据以预设图表进行显示；所述预设图表包括明细宽表、柱状图、趋势图和饼状图中的至少一种。
[0031]根据本专利技术的第二方面，提供一种指标数据的生成系统，所述生成系统包括获取模块、查询模块和生成模块：
[0032]所述获取模块用于获取用户的至少一个指标查询请求；所述指标查询请求包括指标名、维度名和对应的维度值；
[0033]所述查询模块用于从所述指标名对应的初始数据源中获取所述维度名满足所述维度值的基础查询数据；
[0034]所述生成模块用于基于所述基础查询数据生成第一指标数据，并将所述指标查询请求和所述基础查询数据一一对应的存储于缓存数据库。
[0035]根据本专利技术的第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并用于在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本专利技术的指标数据的生成方法。
[0036]根据本专利技术的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术的指标数据的生成方法。
[0037]在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本专利技术各较佳实施例。
[0038]本专利技术的积极进步效果在于：
[0039]使用多个指标共存的通用数据源进行指标开发，不需要再为每个指标都分别建立单独的汇总表作为数据源，大大减少数据源表的数量，从而降低数据源维护和治理成本，可以根据自定义的指标查询请求灵活拼接查询脚本，并通过查询脚本在数据源表中执行查
询，进而得到指标数据，降低了新指标开发成本和开发门槛，增加指标开发的灵活性。建立缓存数据库将查询过的指标数据进行缓存，当出现相同的指标查询请求时直接从缓存数据库中查询，大大减少了查询的数据量，提高了查询效率；并且不同的指标查询请求可以同步执行，极大的保证了查询效率，进而提高了指标数据的生成效率。
附图说明
[0040]图1为本专利技术实施例1的指标数据的生成方法的流程示意图。
[0041]图2为本专利技术实施例1的指标数据的生成方法中的缓存表。
[0042]图3为本专利技术实施例1的指标数据的生成方法中呈现第一指标数据的明细表。
[0043]图4为本专利技术实施例1的指标数据的生成方法中呈现第二指标数据的明细宽表。
[0044]图5为本专利技术实施例1的指标数据的生成方法中呈现第二指标数据的柱状图。
[0045]图6为本专利技术实施例1的指标数据的生成方法中呈现第二指标数据的趋势图。
[0046]图7为本专利技术实施例1的指标数据的生成方法中呈现第二指标数据的饼状图。
[0047]图8为本专利技术实施例2的指标数据的生成系统的结构示意图。
[0048]图9为本专利技术实施例3的电子设备的结构示意图。
具体实施方式
[0049]下面通过实施例的方式进一步说明本专利技术，但并不因此将本专利技术限制在所述的实施例范围之中。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种指标数据的生成方法，其特征在于，所述生成方法包括：获取用户的至少一个指标查询请求；所述指标查询请求包括指标名、维度名和对应的维度值；从所述指标名对应的初始数据源中获取所述维度名满足所述维度值的基础查询数据；基于所述基础查询数据生成第一指标数据，并将所述指标查询请求和所述第一指标数据一一对应的存储于缓存数据库。2.根据权利要求1所述的指标数据的生成方法，其特征在于，所述基于所述基础查询数据生成第一指标数据的步骤之后，还包括：判断所述指标名的类型是否为基础事务类型；若是，则从所述缓存数据库中获取与目标维度相对应的第一汇总查询数据；所述目标维度为所述指标查询请求中的所有维度中的至少一个维度；若否，则从所述初始数据源中获取与所述目标维度相对应的第二汇总查询数据；基于所述第一汇总查询数据或者所述第二汇总查询数据生成第二指标数据。3.根据权利要求1所述的指标数据的生成方法，其特征在于，所述从所述指标名对应的初始数据源中获取所述维度名满足所述维度值的基础查询数据的步骤，包括：根据每个所述指标查询请求构建对应的查询脚本；基于每个所述查询脚本从所述初始数据源中获取所述维度名满足所述维度值的所述基础查询数据。4.根据权利要求1所述的指标数据的生成方法，其特征在于，所述基础查询数据包括指标值，所述基于所述基础查询数据生成第一指标数据的步骤，包括：对所述指标值进行预处理；所述预处理包括聚合计算和数据去重；根据不同的所述维度名对预处理后的基础查询数据进行分组，得到所述第一指标数据；和/或，所述维度名包括日期，所述基于所述基础查询数据生成第一指标数据的步骤，还包括：根据所述日期的时间先后对所述基础查询数据的指标值进行排序。5.根据权利要求1所述的...

【专利技术属性】
技术研发人员：陈晓琪，吴克贤，马江山，胡依婷，赖淼麟，吴曼曼，
申请(专利权)人：上海蒜芽信息科技有限公司，
类型：发明
国别省市：