应用服务指标监控方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种应用服务指标监控方法、装置、计算机设备和存储介质。该方法包括：采集多个应用服务中的每个应用服务的时间序列指标数据；通过Flink计算引擎对各个时间序列指标数据按照对应的预设聚合规则进行聚合处理，获得聚合指标数据；判断聚合指标数据是否触发告警规则库中的告警规则，若触发，则生成告警信息并输出。采用本方法替代了使用调用链数据计算指标的全链路监控框架，能够大大缩容使用调用链数据计算聚合指标的旧框架的服务器资源，使得计算资源占用更少，释放更多的服务器资源；同时也实现了更加实时、准确、高效对应用服务进行性能监控。

【技术实现步骤摘要】
应用服务指标监控方法、装置、计算机设备和存储介质
本申请涉及计算机
，特别是涉及一种应用服务指标监控方法、装置、计算机设备和存储介质。
技术介绍
随着微服务架构的流行，服务按照不同的维度进行拆分，一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上，这些软件模块，有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器，横跨多个不同的数据中心。因此，就需要一些可以帮助理解系统行为、用于分析性能问题的工具，以便发生故障的时候，能够快速定位和解决问题。全链路监控组件就在这样的问题背景下产生了。调用链是全链路监控组件的核心，对应用服务进行监控可以通过从调用链数据中聚合计算出包括QPS、响应事件、失败数、异常数等指标来实现应用服务的监控。尽管使用调用链数据具有其优点，比如信息全面，通过落盘调用信息，可以获取到详细的应用服务的使用情况等。但是也存在诸多缺点，例如：由于业务访问量大，不可能每次调用信息都落盘，需要设置落盘的采样率，因此从调用链信息计算业务指标不是完全准确的；由于使用调用链数据计算指标的计算量非常大，导致占用过多的服务器资源计算资源；在流量高峰时如果计算不及时容易造成指标数据延迟。
技术实现思路
基于此，有必要针对上述技术问题，提供一种应用服务指标监控方法、装置、计算机设备和存储介质，能够实现更加实时、准确、高效对应用服务进行性能监控。第一方面，提供了一种应用服务指标监控方法，所述方法包括：采集多个应用服务中的每个应用服务的时间序列指标数据；通过Flink计算引擎对各个所述时间序列指标数据按照对应的预设聚合规则进行聚合处理，获得聚合指标数据；判断所述聚合指标数据是否触发告警规则库中的告警规则，若触发，则生成告警信息并输出。进一步地，所述通过Flink计算引擎对各个所述时间序列指标数据按照对应的预设聚合规则进行聚合处理，获得聚合指标数据，包括：对各所述时间序列指标数据中的各个指标数据进行清洗过滤，获得多个有效指标数据；在聚合规则库中读取与多个所述有效指标数据匹配的预设聚合规则，按照所述预设聚合规则中的聚合维度，构建各所述有效指标数据对应的聚合模型以及所述聚合模型中的用于聚合计算的聚合键；对各所述聚合模型对应的有效指标数据按照聚合键进行数据分区，并对数据分区后的具有相同聚合键的所述有效指标数据进行聚合计算，得到聚合指标数据。进一步地，所述对各所述时间序列指标数据中的各个指标数据进行清洗过滤，获得多个有效指标数据，包括：对各所述时间序列指标数据中的各个指标数据转换为标准指标数据；根据预设的白名单和黑名单，对各所述标准指标数据进行过滤，获得多个有效指标数据。优选地，所述根据预设的白名单和黑名单，对各所述标准指标数据进行过滤，获得多个有效指标数据，包括：获取各所述标准指标数据的哈希值；对各所述标准指标数据的哈希值在所述白名单对应的哈希表进行匹配，对匹配成功的所述标准指标数据的哈希值在所述黑名单对应的哈希表中进行过滤，得到多个有效指标数据。进一步地，所述对数据分区后的具有相同聚合键的所述有效指标数据进行聚合计算，得到聚合指标数据，包括：在预设时间窗口内对具有相同聚合键的所述有效指标数据进行去重，对去重后的所述有效指标数据进行聚合计算，得到聚合指标数据。进一步地，所述聚合计算包括求和操作、求平均操作、求最小操作和/或求最大操作。进一步地，所述方法还包括：根据各所述指标数据的属性信息，对各所述指标数据创建对应类型的计算任务，所述属性信息包括是否为秒级指标、和/或是否为预设重要级别指标、和/或是否为查询热度指标，不同类型的计算任务由不同的Flink集群执行；所述通过Flink计算引擎对各个所述时间序列指标数据按照对应的预设聚合规则进行聚合处理，获得聚合指标数据，包括：根据所述计算任务的类型，将所述计算任务调度至对应的Flink集群上，以执行对各个所述时间序列指标数据按照对应的预设聚合规则进行聚合处理，获得聚合指标数据。进一步地，所述判断所述聚合指标数据是否触发告警规则库中的告警规则，包括：判断所述聚合指标数据是否满足所述告警规则中的阈值条件；和/或判断所述聚合指标数据与所述聚合指标数据的历史聚合指标数据的比较结果是否满足所述告警规则中的比较阈值条件；和/或判断所述聚合指标数据与其存在正比关系的聚合指标数据之间的比值是否满足所述告警规则中的比值阈值条件。进一步地，所述方法还包括：判断所述聚合指标数据与其存在关联关系的聚合指标数据是否同时触发各自对应的告警规则，若是，则生成告警信息并输出。第二方面，提供了一种应用服务指标监控装置，所述装置包括：指标采集模块，用于采集多个应用服务中的每个应用服务的时间序列指标数据；指标聚合模块，用于通过Flink计算引擎对各个所述时间序列指标数据按照对应的预设聚合规则进行聚合处理，获得聚合指标数据；监控告警模块，用于判断所述聚合指标数据是否触发告警规则库中的告警规则，若触发，则生成告警信息并输出。进一步地，所述指标聚合模块包括：清洗过滤单元，用于对各所述时间序列指标数据中的各个指标数据进行清洗过滤，获得多个有效指标数据；构建单元，用于在聚合规则库中读取与多个所述有效指标数据匹配的预设聚合规则，按照所述预设聚合规则中的聚合维度，构建各所述有效指标数据对应的聚合模型以及所述聚合模型中的用于聚合计算的聚合键；分区单元，用于对各所述聚合模型对应的有效指标数据按照聚合键进行数据分区；聚合单元，用于对数据分区后的具有相同聚合键的所述有效指标数据进行聚合计算，得到聚合指标数据。进一步地，所述清洗过滤单元具体用于：对各所述时间序列指标数据中的各个指标数据转换为标准指标数据；根据预设的白名单和黑名单，对各所述标准指标数据进行过滤，获得多个有效指标数据。优选地，所述清洗过滤单元具体用于：获取各所述标准指标数据的哈希值；对各所述标准指标数据的哈希值在所述白名单对应的哈希表进行匹配，对匹配成功的所述标准指标数据的哈希值在所述黑名单对应的哈希表中进行过滤，得到多个有效指标数据。进一步地，所述聚合单元具体用于：在预设时间窗口内对具有相同聚合键的所述有效指标数据进行去重，对去重后的所述有效指标数据进行聚合计算，得到聚合指标数据。进一步地，所述装置还包括任务创建模块，所述任务创建模块用于：根据各所述指标数据的属性信息，对各所述指标数据创建对应类型的计算任务，所述属性信息包括是否为秒级指标、和/或是否为预设重要级别指标、和/或是否为查询热度指标，不同类型的计算任务由不同的Flink集群执行；所述指标聚合模块具体用于：根据所述计算任务的类型，将所述计算任务调度至对应的Flink集群上，通过所述Flink集群对各个所述时间序列本文档来自技高网...

【技术保护点】
1.一种应用服务指标监控方法，其特征在于，所述方法包括：/n采集多个应用服务中的每个应用服务的时间序列指标数据；/n通过Flink计算引擎对各个所述时间序列指标数据按照对应的预设聚合规则进行聚合处理，获得聚合指标数据；/n判断所述聚合指标数据是否触发告警规则库中的告警规则，若触发，则生成告警信息并输出。/n

【技术特征摘要】
1.一种应用服务指标监控方法，其特征在于，所述方法包括：
采集多个应用服务中的每个应用服务的时间序列指标数据；
通过Flink计算引擎对各个所述时间序列指标数据按照对应的预设聚合规则进行聚合处理，获得聚合指标数据；
判断所述聚合指标数据是否触发告警规则库中的告警规则，若触发，则生成告警信息并输出。


2.根据权利要求1所述的方法，其特征在于，所述通过Flink计算引擎对各个所述时间序列指标数据按照对应的预设聚合规则进行聚合处理，获得聚合指标数据，包括：
对各所述时间序列指标数据中的各个指标数据进行清洗过滤，获得多个有效指标数据；
在聚合规则库中读取与多个所述有效指标数据匹配的预设聚合规则，按照所述预设聚合规则中的聚合维度，构建各所述有效指标数据对应的聚合模型以及所述聚合模型中的用于聚合计算的聚合键；
对各所述聚合模型对应的有效指标数据按照聚合键进行数据分区，并对数据分区后的具有相同聚合键的所述有效指标数据进行聚合计算，得到聚合指标数据。


3.根据权利要求2所述的方法，其特征在于，所述对各所述时间序列指标数据中的各个指标数据进行清洗过滤，获得多个有效指标数据，包括：
对各所述时间序列指标数据中的各个指标数据转换为标准指标数据；
根据预设的白名单和黑名单，对各所述标准指标数据进行过滤，获得多个有效指标数据；
优选地，所述根据预设的白名单和黑名单，对各所述标准指标数据进行过滤，获得多个有效指标数据，包括：
获取各所述标准指标数据的哈希值；
对各所述标准指标数据的哈希值在所述白名单对应的哈希表进行匹配，对匹配成功的所述标准指标数据的哈希值在所述黑名单对应的哈希表中进行过滤，得到多个有效指标数据。


4.根据权利要求2所述的方法，其特征在于，所述对数据分区后的具有相同聚合键的所述有效指标数据进行聚合计算，得到聚合指标数据包括：
在预设时间窗口内对具有相同聚合键的所述有效指标数据进行去重，对去重后的所述有效指标数据进行聚合计算，得到聚合指标数据。


5.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括...

【专利技术属性】
技术研发人员：孙晓磊，
申请(专利权)人：广州品唯软件有限公司，
类型：发明
国别省市：广东;44