数据运维监控方法及装置制造方法及图纸

本发明专利技术公开了一种数据运维监控方法及装置，其中装置包括：基础元数据监控管理模块用于提供基础元数据的监控管理，对外提供基础元数据配置引擎和基础元数据管理引擎；监控管理包括数据库表与字段的监控管理、元数据对象与对象属性的监控管理、界面与界面元素的监控管理和查询视图的监控管理等；统计元数据监控管理模块用于提供对统计元数据的监控管理，对外提供统计元数据管理界面和统计元数据管理引擎；监控管理包括主题监控管理、主题模型监控管理、公有维度监控管理、私有维度监控管理、维度层级监控管理、度量监控管理和度量方式监控管理等。本发明专利技术实施例能够减少人工开发操作，实现对业务应用数据的自动化运维监控，提供运维支撑效率。

【技术实现步骤摘要】

本专利技术实施例涉及网络通信
，尤其涉及一种数据运维监控方法及装置。
技术介绍
随着计算机和网络通信的发展，数据承载和数据应用迅速普及，针对数据服务、业务应用的运维也显得日益重要。数据中心的运维范围包含两个层面，针对CPU、硬盘、网络等通用数据的运维，以及针对各业务应用的私有数据的运维。在针对私有业务应用数据的运维层面，传统的实现方式是针对每种业务应用数据均经过数据指标定义、数据监控和统计展示分析、数据采集、数据清洗和数据展示界面等开发步骤，随着业务应用的逐步扩展，每种业务数据均重复上述开发工作而投入的工作量逐步增大，最终导致人力成本逐步提升而难以支撑。
技术实现思路
本专利技术实施例提供一种数据运维监控方法及装置，减少人工开发操作，实现对业务应用数据的自动化运维监控，提供运维支撑效率。第一方面，本专利技术实施例还提供一种数据运维监控装置，包括:基础元数据监控管理模块，用于提供基础元数据的监控管理，对外提供基础元数据配置引擎和基础元数据管理引擎；所述监控管理包括数据库表与字段的监控管理、元数据对象与对象属性的监控管理、界面与界面元素的监控管理和查询视图的监控管理中的至少一种；统计元数据监控管理模块，用于提供对统计元数据的监控管理，对外提供统计元数据管理界面和统计元数据管理引擎；所述监控管理包括主题监控管理、主题模型监控管理、公有维度监控管理、私有维度监控管理、维度层级监控管理、度量监控管理和度量方式监控管理中的至少一种。第二方面，本专利技术实施例提供了一种数据运维监控方法，包括:提供基础元数据的监控管理，对外提供基础元数据配置引擎和基础元数据管理引擎；所述监控管理包括数据库表与字段的监控管理、元数据对象与对象属性的监控管理、界面与界面元素的监控管理和查询视图的监控管理中的至少一种；提供对统计元数据的监控管理，对外提供统计元数据管理界面和统计元数据管理引擎；所述监控管理包括主题监控管理、主题模型监控管理、公有维度监控管理、私有维度监控管理、维度层级监控管理、度量监控管理和度量方式监控管理中的至少一种。本专利技术实施例通过基础元数据监控管理模块提供基础元数据的监控管理功能，并对外提供基础元数据配置引擎和基础元数据管理引擎；所述监控管理包括数据库表与字段的监控管理、元数据对象与对象属性的监控管理、界面与界面元素的监控管理和查询视图的监控管理中的至少一种；通过统计元数据监控管理模块提供对统计元数据的监控管理，并对外提供统计元数据管理界面和统计元数据管理引擎；所述监控管理包括主题监控管理、主题模型监控管理、公有维度监控管理、私有维度监控管理、维度层级监控管理、度量监控管理和度量方式监控管理中的至少一种。本专利技术实施例所述提供的装置能够减少人工开发操作，实现对业务应用数据的自动化运维监控，提供运维支撑效率。【附图说明】图1A为本专利技术实施例一提供的数据运维监控装置的结构示意图；图1B为本专利技术实施例一提供的数据运维监控装置中的基础元数据监控管理模块所执行的操作流程示意图；图1C为本专利技术实施例一提供的数据运维监控装置中的统计元数据监控管理模块所执行的操作流程示意图；图1D为本专利技术实施例一提供的数据运维监控装置中的任务调度过程示意图；图1E为本专利技术实施例一提供的数据运维监控装置中的角色控制流程示意图；图2为本专利技术实施例二提供的数据运维监控方法的流程示意图。【具体实施方式】下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1A为本专利技术实施例一提供的数据运维监控装置的结构示意图，如图1A所示，具体包括:基础元数据监控管理模块11和统计元数据监控管理模块12 ;所述基础元数据监控管理模块11用于提供基础元数据的监控管理，对外提供基础元数据配置引擎和基础元数据管理引擎；所述监控管理包括数据库表与字段的监控管理、元数据对象与对象属性的监控管理、界面与界面元素的监控管理和查询视图的监控管理中的至少一种；所述统计元数据监控管理模块12用于提供对统计元数据的监控管理，对外提供统计元数据管理界面和统计元数据管理引擎；所述监控管理包括主题监控管理、主题模型监控管理、公有维度监控管理、私有维度监控管理、维度层级监控管理、度量监控管理和度量方式监控管理中的至少一种。具体来说，如图1B所示，所述基础元数据监控管理模块11是对基础监控数据的管理，具体包括数据库表(例如，支持关系型数据库与非关系型的数据库)与字段的管理、元数据对象与对象属性的管理、界面与界面元素的管理、查询视图的管理。并以RESTFUL软件架构风格的形式对外提供元数据配置引擎、元数据管理引擎。如图1C所示，所述统计元数据监控管理模块12是针对统计主题、维度与度量的管理，包括主题管理、主题模型管理、公有维度管理、私有维度管理、维度层级管理、度量管理、度量方式管理。一方面以RESTFUL接口形式对外提供统计元数据管理界面，另一方面提供统计元数据管理引擎，将统计元数据配置信息传给ETL引擎。本实施例通过基础元数据监控管理模块提供基础元数据的监控管理功能，并对外提供基础元数据配置引擎和基础元数据管理引擎；通过统计元数据监控管理模块提供对统计元数据的监控管理，并对外提供统计元数据管理界面和统计元数据管理引擎。本实施例所述提供的装置能够减少人工开发操作，实现对业务应用数据的自动化运维监控，提供运维支撑效率。示例性的，在上述实施例的基础上，所述装置还包括:主题表管理模块13 ;所述主题表管理模块13用于提供主题表初始索引配置、主题表自动创建、自动升级、数据留存、版本管理与版本恢复功能和支持关系型数据库中的至少一种功能；针对主题表的访问历史记录进行分析和索引优化。具体的，所述主题表管理模块13基于上述统计元数据管理引擎，进行主题表的管理，同时提供主题表自动创建、自动升级、数据留存、版本管理与版本恢复功能，并支持各种关系型数据库。还提供主题表初始索引配置功能，并提供针对主题表的访问历史记录与分析，自动或人工进行索引后期优化。提供主题表其他层面性能优化与分析功能。示例性的，在上述实施例的基础上，所述装置还包括:数据处理模块14 ;所述数据处理模块14用于采用商业智能平台SpagoBI的抽取转换加载ETL组件对数据进行抽取和清洗；采用商业智能平台SpagoBI的商业智能BI组件对数据采用统计图表进行展现。具体的，所述数据处理模块14基于商业智能平台SpagoBI的抽取转换加载ETL组件实现实现基础元数据的获取、数据转换、数据清洗、数据归并、数据存储、数据流转监控等功能，达到数据清洗的自动化。并对源码进行修改，将ETL工具与元数据、主题表配置进行整合，提供给用户界面级配置工具，降低配置开发难度与人员水平。示例性的，在上述实施例的基础上，所述装置还包括:任务管理模块15 ;所述任务管理模块15用于提供任务管理配置、任务调度和任务监控功能；所述任务管理配置包括任务执行实体管理、任务执行实体归类管理、任务轮训时长管理、任务重试管理及任务执行日志管理中的至少一种，所述任务调度包括多线程任务处理和/或任务追赶，所述任务监控包括监控任务启动、任务停止本文档来自技高网...

【技术保护点】
一种数据运维监控装置，其特征在于，包括：基础元数据监控管理模块，用于提供基础元数据的监控管理，对外提供基础元数据配置引擎和基础元数据管理引擎；所述监控管理包括数据库表与字段的监控管理、元数据对象与对象属性的监控管理、界面与界面元素的监控管理和查询视图的监控管理中的至少一种；统计元数据监控管理模块，用于提供对统计元数据的监控管理，对外提供统计元数据管理界面和统计元数据管理引擎；所述监控管理包括主题监控管理、主题模型监控管理、公有维度监控管理、私有维度监控管理、维度层级监控管理、度量监控管理和度量方式监控管理中的至少一种。

【技术特征摘要】

【专利技术属性】
技术研发人员：王树勋，
申请(专利权)人：北京锐安科技有限公司，
类型：发明
国别省市：北京;11