基于应用系统画像的统一监控平台及实现方法技术方案

本发明专利技术公开了一种基于应用系统画像的统一监控平台及实现方法，属于多个云平台的监控管理领域，本发明专利技术要解决的技术问题为由于历史原因的重复建设而积累的监控系统分散，监控数据种类多，格式不统一，缺少统一的视图展现，无法辅助运维人员进行故障分析，技术方案为：该监控平台包括，数据抽取处理模块，用于从原有的监控系统或业务系统直接采集数据，并进行处理；应用系统画像模块，用于系统画像，系统画像处理数据根据业务需求在监控平台进行Web端展现；数据采集模块，用于覆盖原有各云平台厂商的监控数据，原有的各云平台中未包含的数据按照规范进行新的采集；数据标准化处理模块，用于实现日志数据和指标数据的接入、解析、筛选、过滤及存储。过滤及存储。过滤及存储。

【技术实现步骤摘要】
基于应用系统画像的统一监控平台及实现方法


[0001]本专利技术涉及多个云平台的监控管理领域，具体地说是一种基于应用系统画像的统一监控平台及实现方法。

技术介绍

[0002]政务云建设包含对外的公有云和内部办公等用到的私有云，在政务云的建设过程中，采购的各云服务商提供的云管理平台比较多，其对应的资源管理和监控平台也是由各个云服务商建设提供，既有通用的基础监控，如硬件、网络、存储资源监控等，也有专项监控，如业务系统监控、数据库监控、各种中间件监控等。各系统拥有独立的管理方式和展现方式，导致在故障发生时，缺少统一的视图汇总各类数据，无法有效辅助运维人员进行故障分析。运维人员无法直观地判断异常指标间的关联关系，需要各个系统反复查看，人为进行数据整合和分析判断，效率低下。

技术实现思路

[0003]本专利技术的技术任务是提供一种基于应用系统画像的统一监控平台及实现方法，来解决由于历史原因的重复建设而积累的监控系统分散，监控数据种类多，格式不统一，缺少统一的视图展现，无法有效辅助运维人员进行故障分析的问题。
[0004]本专利技术的技术任务是按以下方式实现的，一种基于应用系统画像的统一监控平台，该监控平台包括，
[0005]数据抽取处理模块，用于从原有的监控系统或业务系统直接采集数据，并进行处理；
[0006]应用系统画像模块，用于系统画像，系统画像处理数据根据业务需求在监控平台进行Web端展现，同时按照业务定义发送到告警工单系统；
[0007]数据采集模块，用于覆盖原有各云平台厂商的监控数据，原有的各云平台中未包含的数据按照规范进行新的采集；
[0008]数据标准化处理模块，用于实现日志数据和指标数据的接入、解析、筛选、过滤及存储。
[0009]作为优选，所述数据抽取处理模块的工作过程具体如下：
[0010](1)、通过数据采集接口从原有的监控系统中抽取数据；
[0011](2)、对抽取的数据进行数据采集格式化处理及分类别存储，并进行数据清洗、去重及压缩处理；
[0012](3)、对各类数据签化处理；
[0013](4)、将处理后的数据发送到应用系统画像模进行处理；
[0014](5)、根据业务维度和时间维度对数据进行分析汇总；
[0015](6)、将处理后的数据发送到告警工单系统进行告警判断分析，同时根据监控业务需求在统一监控平台页面进行展现。
[0016]作为优选，所述应用系统画像模块利用采集到的信息进行归类及标签化处理，具体如下：
[0017]结合CMDB的资产数据和业务调用关系数据进行关联处理：具体如下：
[0018]通过采集CMDB的资产配置数据和业务关系数据，获取业务系统的多层次拓扑关系；
[0019]将不同对象的关键指标关联到业务拓扑的具体节点；
[0020]通过流处理框架的实时聚合计算，最终汇聚出业务拓扑图上的各种关键指标数据，实现了报表可配置化，监控场景定制化功能，摆脱了监控场景变化对于系统研发人员的依赖；
[0021]建模后进行标签化处理：对各种硬件和软件按照物理类属性、配置类属性、运行数据类属性、运维数据类属性及智能化属性对应用画像系统进行标签化处理；其中，硬件包括网络、云服务器及云服物理主机；软件包括操作系统、数据库及中间件。
[0022]更优地，所述标签化处理分为手工打标签及机器打标签；
[0023]其中，手工打标签是根据运维经验和规范设置标签字典，在采集数据的时候通过数据关联字典查询形成，例如设备厂家信息为物理存在的，不可修改的属性，云服务器的ip地址是配置属性；
[0024]机器打标签是通过性能数据和应用访问关联关系进行标签化，例如根据日志信息、性能数据、故障频率对设备(软件)通过关键词提取、聚类分析，然后标签化，例如稳定性，访问频率；机器打标签通过手工矫正。
[0025]更优地，标签化处理后的数据按照标签、数及值排序，按照分析场景进行聚合及归一化处理，形成有序、规范的数据。
[0026]作为优选，所述Web端利用基础表格、报表及Echart组件进行定制化场景展示数据，提供直观、生动、可交互、可高度个性化定制的数据可视化图表；
[0027]其中，数据可视化图表支持图与图之间的混搭，应用相关数据沉淀成各种维度的分析报表；数据可视化图表包括折线图、柱状图、散点图、饼图、k线图、用于统计的盒形图、用于地理数据可视化的地图、热力图及线图、用于数据关系可视化的关系图、treemap、多维数据可视化的平行坐标、用于BI的漏斗图及仪表盘。
[0028]作为优选，所述数据采集模块采集的信息包括基础命令信息、平台信息及中间件信息；基础命令信息包括curl、ping及snmp；平台信息包括openstack、vmware及ceph；中间件信息包括oracle、mysql及Nginx。
[0029]一种基于应用系统画像的统一监控平台的实现方法，该实现方法步骤如下：
[0030]S1、定义标准接口，实现现有的云平台的数据标准化，展现标准化；具体为：，通过定义统一接口和数据采集实现对政务云中多个平台的统一监控管理；包含对负载均衡设备、网络设备、服务器、存储设备、安全设备、数据库、中间件及应用软件等IT资源的全面监控管理；
[0031]S2、根据定制的标准，通过浪潮的数据湖产品和现有云平台的数据进行对接，采集需要进行监管的云平台历史数据，采集数据包含平台基础信息，软件硬件性能数据；数据分发到应用系统画像模块和告警工单系统处理；
[0032]S3、部署应用系统画像模块，将采集的数据进行聚合计算、标签化处理；数据标签
化以后分发到数据标准化处理模块和告警工单系统；
[0033]S4、部署web端，实现数据的统一展现。
[0034]作为优选，利用开源组件skywalking加上浪潮的数据湖产品采集海量的调用链日志信息存入Elasticsearch，通过流处理框架实时分析调用链日志的上下游关系和关键指标的聚合计算，最终通过Echarts定制开发前端实现调用链拓扑关系的展示，并支持下钻到具体服务查看关键指标趋势和告警信息。
[0035]一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行时，实现如上述的基于应用系统画像的统一监控平台的实现方法。
[0036]本专利技术的基于应用系统画像的统一监控平台及实现方法具有以下优点：
[0037](一)本专利技术主要应用于解决重复建设，已有系统分散，监控指标分析单一无法做到业务关联分析，场景化分析不足的问题，实现统一监控，高效运维的目的；
[0038](二)本专利技术把分散于多个系统中的数据形成统一视图，建立业务视角的指标分析，解决指标的单一展现问题，实现指标的纵深交互分析，分析场景定制和场景固化功能；运用成熟的数据可视化工具、业务拓扑图来实现跨系统指标的统一监控视图，通过业务系统画像来实现业务指标和基础指本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于应用系统画像的统一监控平台，其特征在于，该监控平台包括，数据抽取处理模块，用于从原有的监控系统或业务系统直接采集数据，并进行处理；应用系统画像模块，用于系统画像，系统画像处理数据根据业务需求在监控平台进行Web端展现；数据采集模块，用于覆盖原有各云平台厂商的监控数据，原有的各云平台中未包含的数据按照规范进行新的采集；数据标准化处理模块，用于实现日志数据和指标数据的接入、解析、筛选、过滤及存储。2.根据权利要求1所述的基于应用系统画像的统一监控平台，其特征在于，所述数据抽取处理模块的工作过程具体如下：(1)、通过数据采集接口从原有的监控系统中抽取数据；(2)、对抽取的数据进行数据采集格式化处理及分类别存储，并进行数据清洗、去重及压缩处理；(3)、对各类数据签化处理；(4)、将处理后的数据发送到应用系统画像模进行处理；(5)、根据业务维度和时间维度对数据进行分析汇总；(6)、将处理后的数据发送到告警工单系统进行告警判断分析，同时根据监控业务需求在统一监控平台页面进行展现。3.根据权利要求1所述的基于应用系统画像的统一监控平台，其特征在于，所述应用系统画像模块利用采集到的信息进行归类及标签化处理，具体如下：结合CMDB的资产数据和业务调用关系数据进行关联处理：具体如下：通过采集CMDB的资产配置数据和业务关系数据，获取业务系统的多层次拓扑关系；将不同对象的关键指标关联到业务拓扑的具体节点；通过流处理框架的实时聚合计算，最终汇聚出业务拓扑图上的各种关键指标数据；建模后进行标签化处理：对各种硬件和软件按照物理类属性、配置类属性、运行数据类属性、运维数据类属性及智能化属性对应用画像系统进行标签化处理；其中，硬件包括网络、云服务器及云服物理主机；软件包括操作系统、数据库及中间件。4.根据权利要求3所述的基于应用系统画像的统一监控平台，其特征在于，所述标签化处理分为手工打标签及机器打标签；其中，手工打标签是根据运维经验和规范设置标签字典，在采集数据的时候通过数据关联字典查询形成；机器打标签是通过性能数据和应用访问关联关系进行标签化，机器打标签通过手工矫正。5.根据权利要求4所述的基于应用系统画像的统一监控平台，其特征在于，标签化处理后的数据按照标签、数及值排序，按照分析场...

【专利技术属性】
技术研发人员：孙继赟，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：