基于云原生数仓的业务监控方法及系统技术方案

本发明专利技术公开基于云原生数仓的业务监控方法及监控系统，涉及互联网技术领域，其中该方法包括：将各个业务领域产生的数据同步到云原生数仓中，基于预先设定的指标计算配置数据从云原生数仓中查询对应的数据并进行指标计算，生成指标数据；根据预设报警规则对所述指标数据进行运算，获取报警信息，并在所述报警信息达到预设的报警阈值时，通知报警接收人。本发明专利技术公开的基于云原生数仓的业务监控方法及监控系统，对比传统方法，解决了增量指标迭代周期长、指标数据分散、指标计算无法保证实时性的问题。

【技术实现步骤摘要】
基于云原生数仓的业务监控方法及系统
本专利技术涉及互联网
，尤其涉及基于云原生数仓的业务监控方法及系统。
技术介绍
互联网的飞速发展使得互联网的使用越来越普遍，互联网不仅成为企业内部的沟通桥梁，也是企业和外部进行各类业务往来的重要管道。随着互联网的服务模式和产品结构在不断创新与完善，互联网业务也在不断的发展。互联网业务充分发挥了互联网在生产要素配置中的优化和集成作用，将互联网的创新成果深度融合于经济社会各领域之中，形成更广泛的以互联网为基础设施和实现工具的经济发展新形态，与此同时，针对互联网业务的监控技术应时而生。但是，各业务领域的指标数据总量巨大，难以实时汇聚整合，无法提供统一、实时的查询分析能力，使得指标数据分散，一定程度形成数据孤岛，同时，数据源多样化，需定制处理转化逻辑，指标数据自行上报，较为繁琐，并且没有统一的指标生产路径，指标迭代需要定期排期开发，导致增量指标迭代周期长，同时指标数据生产受限于数据量以及计算能力，无法保证指标数据生产的实时性。基于上述问题，如何实现实时业务指标数据生产、实时报警和实时业务报表，进而无法及时地发现互联网业务问题，并且为业务痛点做复盘、分析提供实时的数据支撑，成为互联网业务监控过程中必须要解决的问题。
技术实现思路
本专利技术的目的在于提供基于云原生数仓的业务监控方法及系统，基于云原生数仓(云原生数据仓库)实现了对业务指标进行实时地聚合、计算和生产，进而及时地发现互联网业务问题，并且为业务痛点做复盘、分析提供实时的数据支撑。为了实现上述目的，本专利技术提供如下技术方案：一种基于云原生数仓的业务监控方法，其特征在于，包括：将各个业务领域产生的数据同步到云原生数仓中；基于预先设定的指标计算配置数据从云原生数仓中查询对应的数据并进行指标计算，生成指标数据；根据预设报警规则对所述指标数据进行运算，获取报警信息，并在所述报警信息达到预设的报警阈值时，通知报警接收人。较佳地，所述指标计算配置数据包括指标基本属性配置和指标生产调度配置，其中所述指标生产调度配置用于定义数据查询逻辑、指标计算逻辑。进一步地，各个业务领域产生的数据包括但不限于日志数据和业务数据库中的数据；利用所述云原生数仓内置的数据同步工具，将所述各个业务领域产生的数据清洗并同步到所述云原生数仓中；其中，数据同步过程包括数据值的同步和数据结构的同步。进一步地，基于所述指标计算配置数据从云原生数仓中查询对应的数据并进行指标计算的方法包括：按照指标生产调度配置所定义的数据查询逻辑，从云原生数仓中查询满足指标基本属性配置的数据；对所述满足指标基本属性配置的数据，按照所述指标生产调度配置所定义的指标计算逻辑进行指标计算，生成指标数据。较佳地，根据预设报警规则对所述指标数据按照业务领域分类进行运算，并且分别获取不同业务领域对应的报警信息；所述报警接收人包括个人、虚拟临时群组、组织结构、通用动态资源以及定制化的接收人。进一步地，所述基于云原生数仓的业务监控方法还包括：将所述指标数据的实时显示，以及利用报表工具基于所述指标数据实时生成报表。一种基于云原生数仓的业务监控系统，包括配置模块、云原生数仓、指标计算模块及监控模块，其中，所述配置模块用于设定指标计算配置数据；所述云原生数内置有多个数据同步工具，所述数据同步工具用于将各个业务领域产生的数据清洗并同步到所述云原生数仓中；所述指标计算模块包括多个指标计算单元，每个所述指标计算单元用于执行一个或多个指标计算任务，所述指标计算任务包括：基于所述指标计算配置数据从云原生数仓中查询对应的数据并进行指标计算，生成指标数据；所述监控模块用于根据预设报警规则对所述指标数据进行运算，获取报警信息，并在所述报警信息达到预设的报警阈值时，通知报警接收人。优选地，不同的指标计算单元被配置为执行不同的指标计算任务，且所述指标计算模块支持横向扩展。较佳地，所述监控模块包括多个监控单元群组，每个监控单元群组包括一个或多个监控单元；所述监控单元群组分别用于运算不同业务领域的指标数据，并且分别获取不同业务领域对应的报警信息。一种计算机可读存储介质，具有存储在其上的计算机可读程序指令，所述计算机可读程序指令用于执行上述基于云原生数仓的业务监控方法。与现有技术相比，本专利技术提供的基于云原生数仓的业务监控方法及系统具有以下有益效果：本专利技术提供的基于云原生数仓的业务监控方法，将各个业务领域产生的数据同步到云原生数仓中，云原生数仓采用云原生技术架构，实现了存储计算分离，计算资源与存储资源能按需动态扩缩，能解决业务增长和波动的计算存储资源瓶颈问题，同时最大限度降低成本。然后基于预先设定的指标计算配置数据从云原生数仓中查询对应的数据并进行指标计算，生成指标数据，实时生成指标计算配置数据，可以节省运行时间，同时统一查询数据的格式、内容及基准，方便后续处理。最后根据预设报警规则对所述指标数据进行运算，获取报警信息，并在所述报警信息达到预设的报警阈值时，通知报警接收人，设置预设报警规则可以将与系统正常运行相关的数据纳入监测，设定报警阈值可以过滤一些非严重警告信息，专注于会对系统运行产生重大影响的严重警告信息，可以提高维护效率，降低维护所需的人力物力。本专利技术提供的基于云原生数仓的业务监控系统，采用了上述基于云原生数仓的业务监控方法，缩短了增量指标的迭代周期，集中管理指标数据，避免形成数据孤岛，同时保证整个业务监控系统的实时性，及时地发现互联网业务问题，并且为业务痛点做复盘、分析提供实时的数据支撑。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术实施例中基于云原生数仓的业务监控方法的整体流程示意图；图2为本专利技术实施例中将各个业务领域产生的数据同步到云原生数仓中的过程示意图；图3为本专利技术实施例中基于指标计算配置数据从云原生数仓中查询对应的数据并进行指标计算的过程示意图；图4为本专利技术实施例中指标计算单元的扩展方式示意图；图5为本专利技术实施例中监控模块的工作方式示意图；图6为本专利技术实施例中建议的系统模块关系图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本专利技术保护的范围。实施例一请参阅图1，本专利技术实施例提供一种基于云原生数仓的业务监控方法，包括：将各个业务领域产生的数据同步到云原生数仓中；基于预先设定的指标计算配置数据从云原生数仓中查询对本文档来自技高网...

【技术保护点】
1.一种基于云原生数仓的业务监控方法，其特征在于，包括：/n将各个业务领域产生的数据同步到云原生数仓中；/n基于预先设定的指标计算配置数据从云原生数仓中查询对应的数据并进行指标计算，生成指标数据；/n根据预设报警规则对所述指标数据进行运算，获取报警信息，并在所述报警信息达到预设的报警阈值时，通知报警接收人。/n

【技术特征摘要】
1.一种基于云原生数仓的业务监控方法，其特征在于，包括：
将各个业务领域产生的数据同步到云原生数仓中；
基于预先设定的指标计算配置数据从云原生数仓中查询对应的数据并进行指标计算，生成指标数据；
根据预设报警规则对所述指标数据进行运算，获取报警信息，并在所述报警信息达到预设的报警阈值时，通知报警接收人。


2.根据权利要求1所述的基于云原生数仓的业务监控方法，其特征在于，所述指标计算配置数据包括指标基本属性配置和指标生产调度配置，其中所述指标生产调度配置用于定义数据查询逻辑和指标计算逻辑。


3.根据权利要求2所述的基于云原生数仓的业务监控方法，其特征在于，各个业务领域产生的数据包括但不限于日志数据和业务数据库中的数据；
利用所述云原生数仓内置的数据同步工具，将所述各个业务领域产生的数据清洗并同步到所述云原生数仓中；
其中，数据同步过程包括数据值的同步和数据结构的同步。


4.根据权利要求2或3所述的基于云原生数仓的业务监控方法，其特征在于，基于所述指标计算配置数据从云原生数仓中查询对应的数据并进行指标计算的方法包括：
按照指标生产调度配置所定义的数据查询逻辑，从云原生数仓中查询满足指标基本属性配置的数据；
对所述满足指标基本属性配置的数据，按照所述指标生产调度配置所定义的指标计算逻辑进行指标计算，生成指标数据。


5.根据权利要求4所述的基于云原生数仓的业务监控方法，其特征在于，根据预设报警规则对所述指标数据按照业务领域分类进行运算，并且分别获取不同业务领域对应的报警信息；
所述报警接收人包括个人、虚拟临时群组、组织结构、通用动态资源...

【专利技术属性】
技术研发人员：黄宏贵，
申请(专利权)人：上海数禾信息科技有限公司，
类型：发明
国别省市：上海;31