数据监控方法及系统技术方案

本申请公开了一种数据监控方法，该方法包括：接收监控任务配置信息，所述配置信息包括所述监控任务的数据源和执行周期；同步所述配置信息，并根据所述配置信息调度监控任务；根据所述调度执行当前的所述监控任务，包括按照所述监控任务的所述执行周期对所述数据源中的数据进行监控，并将执行所述监控任务的中间数据和结果数据写入数据库；根据所述数据库中的所述结果数据展示监控结果。本申请还公开了一种数据监控系统、电子装置和计算机可读存储介质。由此，能够降低使用成本和开发成本。

【技术实现步骤摘要】
数据监控方法及系统
本申请涉及数据处理
，尤其涉及一种数据监控方法、系统、电子装置及计算机可读存储介质。
技术介绍
目前市面上没有统一的数据监控服务产品。体制化不成熟的公司通常使用PHP、Python等语言做定制开发，可能导致各个业务组监控任务相互独立，开发成本高，监控代码与业务耦合维护成本高、不利于扩展维护。而体系化成熟的公司通常使用Java、Golang等语言将监控做成一个服务，但是会将监控与数据平台等其他系统一起绑定开发，监控相对脚本化，导致更新迭代缓慢，系统过于沉重，且规划不利于监控扩展，对于支持多数据源监控不友好。另外，由于没有统一监控规划导致监控混乱，出现重复监控与监控遗漏，监控责任主体不明，不利于规范公司数据生产流程，不利于准确监控数据生产是否正常完成。并且，现有数据监控实现方式一般是将监控逻辑写入代码中，如果监控逻辑变更就需要改对应代码。后续修改迭代必须依赖程序员开发，开发周期长。如果不同数据源但是监控逻辑相同代码没法重复使用。使用者必须同时了解监控逻辑和配置中心配置规则才能使用，系统成本高。需要说本文档来自技高网...

【技术保护点】
1.一种数据监控方法，其特征在于，所述方法包括：/n接收监控任务配置信息，所述配置信息包括所述监控任务的数据源和执行周期；/n同步所述配置信息，并根据所述配置信息调度监控任务；/n根据所述调度执行当前的所述监控任务，包括按照所述监控任务的所述执行周期对所述数据源中的数据进行监控，并将执行所述监控任务的中间数据和结果数据写入数据库；及/n根据所述数据库中的所述结果数据展示监控结果。/n

【技术特征摘要】
1.一种数据监控方法，其特征在于，所述方法包括：
接收监控任务配置信息，所述配置信息包括所述监控任务的数据源和执行周期；
同步所述配置信息，并根据所述配置信息调度监控任务；
根据所述调度执行当前的所述监控任务，包括按照所述监控任务的所述执行周期对所述数据源中的数据进行监控，并将执行所述监控任务的中间数据和结果数据写入数据库；及
根据所述数据库中的所述结果数据展示监控结果。


2.根据权利要求1所述的数据监控方法，其特征在于，所述接收监控任务配置信息包括：
接收用户在配置页面为所需的监控任务选择的配置信息；
根据所述配置信息生成对应的配置记录；
将所述配置记录保存至数据库的配置表中。


3.根据权利要求2所述的数据监控方法，其特征在于，所述同步所述配置信息包括：
定时读取所述配置表中保存的第一组配置记录；
将所述第一组配置记录与系统缓存的第二组配置记录进行对比，以根据所述第一组配置记录更新所述第二组配置记录。


4.根据权利要求3所述的数据监控方法，其特征在于，所述根据所述配置信息调度监控任务包括：
根据所述系统缓存中的所述第二组配置记录更新监控任务队列；
根据所述监控任务队列中每个所述监控任务的所述执行周期提交执行所述监控任务。


5.根据权利要求1所述的数据监控方法，其特征在于，所述对所述数据源中的数据进行监控包括：
从预先创建的链接池中获取所述数据源对应的数据源链接；
调用所述数据源链接从所述数据源中读取所述监控任务所需的数据并进行处理。
<...

【专利技术属性】
技术研发人员：周岳，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：上海;31