基于云原生数仓的业务监控方法及系统技术方案

本发明专利技术公开基于云原生数仓的业务监控方法及监控系统，涉及互联网技术领域，其中该方法包括：将各个业务领域产生的数据同步到云原生数仓中，基于预先设定的指标计算配置数据从云原生数仓中查询对应的数据并进行指标计算，生成指标数据；根据预设报警规则对所述指标数据进行运算，获取报警信息，并在所述报警信息达到预设的报警阈值时，通知报警接收人。本发明专利技术公开的基于云原生数仓的业务监控方法及监控系统，对比传统方法，解决了增量指标迭代周期长、指标数据分散、指标计算无法保证实时性的问题。

【技术实现步骤摘要】
基于云原生数仓的业务监控方法及系统
本专利技术涉及互联网
，尤其涉及基于云原生数仓的业务监控方法及系统。
技术介绍
互联网的飞速发展使得互联网的使用越来越普遍，互联网不仅成为企业内部的沟通桥梁，也是企业和外部进行各类业务往来的重要管道。随着互联网的服务模式和产品结构在不断创新与完善，互联网业务也在不断的发展。互联网业务充分发挥了互联网在生产要素配置中的优化和集成作用，将互联网的创新成果深度融合于经济社会各领域之中，形成更广泛的以互联网为基础设施和实现工具的经济发展新形态，与此同时，针对互联网业务的监控技术应时而生。但是，各业务领域的指标数据总量巨大，难以实时汇聚整合，无法提供统一、实时的查询分析能力，使得指标数据分散，一定程度形成数据孤岛，同时，数据源多样化，需定制处理转化逻辑，指标数据自行上报，较为繁琐，并且没有统一的指标生产路径，指标迭代需要定期排期开发，导致增量指标迭代周期长，同时指标数据生产受限于数据量以及计算能力，无法保证指标数据生产的实时性。基于上述问题，如何实现实时业务指标数据生产、实时报警和实时业务报表，进本文档来自技高网...

【技术保护点】
1.一种基于云原生数仓的业务监控方法，其特征在于，包括：/n将各个业务领域产生的数据同步到云原生数仓中；/n基于预先设定的指标计算配置数据从云原生数仓中查询对应的数据并进行指标计算，生成指标数据；/n根据预设报警规则对所述指标数据进行运算，获取报警信息，并在所述报警信息达到预设的报警阈值时，通知报警接收人。/n

【技术特征摘要】
1.一种基于云原生数仓的业务监控方法，其特征在于，包括：
将各个业务领域产生的数据同步到云原生数仓中；
基于预先设定的指标计算配置数据从云原生数仓中查询对应的数据并进行指标计算，生成指标数据；
根据预设报警规则对所述指标数据进行运算，获取报警信息，并在所述报警信息达到预设的报警阈值时，通知报警接收人。


2.根据权利要求1所述的基于云原生数仓的业务监控方法，其特征在于，所述指标计算配置数据包括指标基本属性配置和指标生产调度配置，其中所述指标生产调度配置用于定义数据查询逻辑和指标计算逻辑。


3.根据权利要求2所述的基于云原生数仓的业务监控方法，其特征在于，各个业务领域产生的数据包括但不限于日志数据和业务数据库中的数据；
利用所述云原生数仓内置的数据同步工具，将所述各个业务领域产生的数据清洗并同步到所述云原生数仓中；
其中，数据同步过程包括数据值的同步和数据结构的同步。


4.根据权利要求2或3所述的基于云原生数仓的业务监控方法，其特征在于，基于所述指标计算配置数据从云原生数仓中查询对应的数据并进行指标计算的方法包括：
按照指标生产调度配置所定义的数据查询逻辑，从云原生数仓中查询满足指标基本属性配置的数据；
对所述满足指标基本属性配置的数据，按照所述指标生产调度配置所定义的指标计算逻辑进行指标计算，生成指标数据。


5.根据权利要求4所述的基于云原生数仓的业务监控方法，其特征在于，根据预设报警规则对所述指标数据按照业务领域分类进行运算，并且分别获取不同业务领域对应的报警信息；
所述报警接收人包括个人、虚拟临时群组、组织结构、通用动态资源...

【专利技术属性】
技术研发人员：黄宏贵，
申请(专利权)人：上海数禾信息科技有限公司，
类型：发明
国别省市：上海;31