业务指标计算方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种业务指标计算方法、装置、计算机设备和存储介质。所述方法包括：响应于业务数据的统计表无需存储或统计表的预测数据量大于预设阈值，从日志消息队列中获取原始日志，并对原始日志进行过滤处理后得到监控日志的流数据；其中，监控日志为用于记录业务数据的日志；对监控日志的流数据进行解析处理后得到指标计算数据，并根据指标计算数据生成指标计算流数据；其中，指标计算数据为业务数据中计算业务指标所需的数据；调用流式计算引擎，根据预先配置的计算逻辑规则，对指标计算流数据进行计算，得到业务指标。采用本方法能够防止程序开发工作量大、浪费业务数据库的存储空间和业务指标计算速度慢。储空间和业务指标计算速度慢。储空间和业务指标计算速度慢。

【技术实现步骤摘要】
业务指标计算方法、装置、计算机设备和存储介质


[0001]本申请涉及大数据处理
，特别是涉及一种业务指标计算方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着互联网的持续发展，企业需要及时的对业务指标进行计算和统计，以实时有效地掌握业务的发展情况，以及快速客观的评估业务运营状况。
[0003]然而，传统业务指标计算方法中业务指标的获取方案强依赖业务数据的统计表，从而造成程序开发工作量大、浪费业务数据库的存储空间或者业务指标计算速度慢等问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够防止程序开发工作量大、浪费业务数据库的存储空间和业务指标计算速度慢的业务指标计算方法、装置、计算机设备和存储介质。
[0005]第一方面，提供一种业务指标计算方法，所述方法包括：
[0006]响应于业务数据的统计表无需存储或统计表的预测数据量大于预设阈值，从日志消息队列中获取原始日志，并对原始日志进行过滤处理后得到监控日志的流数据；其中，监控日志为用于记录业务数据的日志；
[0007]对监控日志的流数据进行解析处理后得到指标计算数据，并根据指标计算数据生成指标计算流数据；其中，指标计算数据为业务数据中计算业务指标所需的数据；
[0008]调用流式计算引擎，根据预先配置的计算逻辑规则，对指标计算流数据进行计算，得到业务指标。
[0009]在其中一个实施例中，上述方法还包括：响应于统计表需存储或预测数据量小于预设阈值，从业务数据库中获取业务数据，并根据业务数据生成统计表；将统计表同步至分析数据库，并对同步至分析数据库的统计表进行数据提取，得到指标计算数据；根据计算逻辑规则，对指标计算数据进行计算，得到业务指标。
[0010]在其中一个实施例中，上述方法还包括：将业务指标存入至指标结果消息队列；从指标结果消息队列中读取业务指标，并将业务指标写入指标分析引擎。
[0011]在其中一个实施例中，上述方法还包括：调用指标分析引擎，对业务指标进行统计分析，生成并展示业务指标统计表。
[0012]在其中一个实施例中，上述方法还包括：调用指标分析引擎，对业务指标和业务指标阈值进行比较分析，生成比较分析结果；根据比较分析结果，判断是否进行告警。
[0013]在其中一个实施例中，根据指标计算数据生成指标计算流数据，包括：根据指标计算数据生成待处理流数据；对待处理流数据进行数据清洗，得到结构化日志数据；根据结构化日志数据，生成指标计算流数据。
[0014]在其中一个实施例中，方法还包括：响应于计算逻辑规则的配置操作，读取计算逻辑规则。
[0015]第二方面，提供了一种业务指标计算装置，所述装置包括过滤处理模块、解析处理模块和流式计算模块。
[0016]其中，过滤处理模块用于响应于业务数据的统计表无需存储或统计表的预测数据量大于预设阈值，从日志消息队列中获取原始日志，并对原始日志进行过滤处理后得到监控日志的流数据；其中，监控日志为用于记录业务数据的日志；解析处理模块用于对监控日志的流数据进行解析处理后得到指标计算数据，并根据指标计算数据生成指标计算流数据；其中，指标计算数据为业务数据中计算业务指标所需的数据；流式计算模块用于调用流式计算引擎，根据预先配置的计算逻辑规则，对指标计算流数据进行计算，得到业务指标。
[0017]第三方面，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行所述计算机程序时实现上述方法实施例中任一方法的步骤。
[0018]第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中任一方法的步骤。
[0019]上述业务指标计算方法、装置、计算机设备和存储介质，通过响应于业务数据的统计表无需存储或统计表的预测数据量大于预设阈值，从日志消息队列中获取原始日志，并对原始日志进行过滤处理后得到监控日志的流数据；而后，对监控日志的流数据进行解析处理后得到指标计算数据，并根据指标计算数据生成指标计算流数据；接着，调用流式计算引擎，根据预先配置的计算逻辑规则，对指标计算流数据进行计算，得到业务指标，也就避免了程序开发工作量大和浪费业务数据库的存储空间，提高了业务指标计算速度、算力和效率。
附图说明
[0020]图1为一个传统技术示例中业务指标计算的流程示意图；
[0021]图2为一个实施例中业务指标计算的应用环境图；
[0022]图3为一个实施例中业务指标计算方法的第一流程示意图；
[0023]图4为一个实施例中根据指标计算数据生成指标计算流数据的步骤的流程示意图；
[0024]图5为一个实施例中业务指标计算方法的第二流程示意图；
[0025]图6为一个实施例中业务指标计算方法的第三流程示意图；
[0026]图7为一个实施例中业务指标计算方法的第四流程示意图；
[0027]图8为一个具体示例中业务指标计算的流程示意图；
[0028]图9为一个实施例中业务指标计算装置的结构框图；
[0029]图10为一个实施例中计算机设备的内部结构图。
具体实施方式
[0030]为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本申请的公开内容更加透彻全面。
[0031]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
[0032]可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一电阻称为第二电阻，且类似地，可将第二电阻称为第一电阻。第一电阻和第二电阻两者都是电阻，但其不是同一电阻。
[0033]可以理解，以下实施例中的“连接”，如果被连接的电路、模块、单元等相互之间具有电信号或数据的传递，则应理解为“电连接”、“通信连接”等。
[0034]在此使用时，单数形式的“一”、“一个”和“所述/该”也可以包括复数形式，除非上下文清楚指出另外的方式。还应当理解的是，术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在，但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。
[0035]在传统技术中，如图1所示，服务器仅能直接根据业务数据库中的业务数据生成业务数据的统计表；而后，将业务数据的统计表同步至分析数据库中；接着，指标系统根据同步至分析数据库中业务数据的统计表的指标计算数据计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种业务指标计算方法，其特征在于，所述方法包括：响应于业务数据的统计表无需存储或所述统计表的预测数据量大于预设阈值，从日志消息队列中获取原始日志，并对所述原始日志进行过滤处理后得到监控日志的流数据；其中，所述监控日志为用于记录所述业务数据的日志；对所述监控日志的流数据进行解析处理后得到指标计算数据，并根据所述指标计算数据生成指标计算流数据；其中，所述指标计算数据为所述业务数据中计算业务指标所需的数据；调用流式计算引擎，根据预先配置的计算逻辑规则，对所述指标计算流数据进行计算，得到所述业务指标。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：响应于所述统计表需存储或所述预测数据量小于预设阈值，从业务数据库中获取所述业务数据，并根据所述业务数据生成所述统计表；将所述统计表同步至所述分析数据库，并对同步至所述分析数据库的所述统计表进行数据提取，得到所述指标计算数据；根据所述计算逻辑规则，对所述指标计算数据进行计算，得到所述业务指标。3.根据权利要求1至2任意一项所述的方法，其特征在于，所述方法还包括：将所述业务指标存入至指标结果消息队列；从所述指标结果消息队列中读取所述业务指标，并将所述业务指标写入指标分析引擎。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：调用所述指标分析引擎，对所述业务指标进行统计分析，生成并展示业务指标统计表。5.根据权利要求3所述的方法，其特征在于，所述方法还包括：调用所述指标分析引擎，对所述业务指标和业务指标阈值进行比较分析...

【专利技术属性】
技术研发人员：黄成康，
申请(专利权)人：上海数禾信息科技有限公司，
类型：发明
国别省市：