设备综合监控系统架构技术方案

本发明专利技术公开了一种设备综合监控系统架构，所述设备综合监控系统架构包括数据采集层、数据处理层、数据展示层；所述数据采集层包括数据采集引擎、数据采集脚本、监控配置文件的自动生成；所述数据处理层包含CMDB库数据处理模块、业务引擎和数据采集引擎监控配置文件传输模块、数据采集引擎和业务引擎的采集数据传输模块、告警数据的分析处理模块；本发明专利技术告警数据量巨大，需要有良好的告警采集处理手段确保实时性；各专业、各厂家告警字段定义不同，梳理告警需要有大量的工作；扁平化的管理结构，在告警标准化的基础上，统一处理各个专业的告警，需要明确告警关联及预处理规则；明确告警、IT资源和业务的关联关系，建立起告警影响性分析的模型。

Equipment integrated monitoring system architecture

The invention discloses a device integrated monitoring system architecture, the integrated equipment monitoring system architecture includes data acquisition layer, data processing layer and data presentation layer; the data acquisition layer includes data acquisition, data acquisition, monitoring script engine configuration file is automatically generated; the data processing layer contains CMDB library data processing module business, engine and data acquisition engine configuration file transfer module, data acquisition engine and business engine data transmission module, alarm data analysis and processing module; the invention alarms a huge amount of data, need to have a good alarm means to ensure real-time acquisition and processing; the professional manufacturers, alarm field definition, alarm to comb there is a lot of work; flat management structure, based on the alarm standard, each professional to unity The police need to make clear the rules of alert Association and preprocessing, and make clear the relation between alarm, IT resources and business, and establish the model of alarm impact analysis.

【技术实现步骤摘要】
设备综合监控系统架构
本专利技术涉及电信、电力、金融领域设备的数据采集、处理、汇总，具体的说是涉及一种设备综合监控系统架构。
技术介绍
伴随企业信息化进程不断深入，企业IT系统日渐复杂，IT系统的运营、维护和监管难度不断加大。与此同时，企业业务对IT系统的依赖性越来越强，IT已经成为很多业务流程的核心部分甚至是某些业务赖以运行的基础。同时，传统分专业和应急式的监控管理架构已不能适应越来越多用户的要求，需要有集中化、端到端的监控管理解决方案。多专业、层次化、以及设备类型的多样化，造成管理信息内容差别较大，数据量过大，企业缺乏有效的技术手段掌控全网全专业健康情况，急需告警标准化、分析、压缩、关联和收敛能力。面向业务和面向业务客户感知运营的转变，要求有针对故障涉及的IT资源和服务的分析，便于确定故障影响范围，快速处理故障。国内监控系统存在的一些问题；现状一：IT运维成本偏高据专业调查，企业最关心的是IT运维成本过高。原因是在过去的5年中,很多企业都实施了很多IT系统,使到IT运行越来越复杂,也越来越难管理。IT运维成本过高的一个原因是IT运维的自动化做得还不够好,依靠手工流程来管理,不但使到运维效率不高,而且人力成本更是花费惊人。现状二：处在“救火式”的IT运维控制目前，国内在IT运维过程中,IT员工大多数只是处在被动低效率手工救火的状态,只有当事件已经发生并已造成业务影响时才能发现和着手处理。现状三：简单的自动化程度起了“反作用”尽管IT运维管理的技术在不断进步,但实际上很多IT运维人员并没有真正解脱出来，主要原因是目前的自动化不高而导致的。目前的技术虽然能够获取IT设备、服务器、网络流量,甚至数据库的警告信息,但成千上万条警告信息堆积在一起更本没法判断问题的根源在哪里。现状四：各子公司或子系统信息孤岛，无法共享数据这个问题主要是发生在拥有许多子公司或者子系统的企业，每个子公司或者子系统都是独立的，都单独建设和维护自己的核心业务系统，都各自配备开发人员和维护人员。
技术实现思路
针对现有技术中的不足，本专利技术要解决的技术问题在于提供了一种设备综合监控系统架构。为解决上述技术问题，本专利技术通过以下方案来实现：设备综合监控系统架构，所述设备综合监控系统架构包括数据采集层、数据处理层、数据展示层；所述数据采集层包括数据采集引擎、数据采集脚本、监控配置文件的自动生成；-所述数据采集引擎实现对至少包括系统CPU、磁盘、网络方面参数的基本系统监测，监测至少包括SMTP、POP3、HTTP各种基本的服务类型，通过插件的安装和监测脚本自定义用户针对自己的应用程序实现监测，并针对大量的监测主机和多个对象部署层次化的监测架构；-所述数据采集脚本设置为自定义脚本采集，针对不同设备进行不同的脚本处理；-所述监控配置文件描述了数据采集引擎以何种方式执行数据采集脚本，以及传递给脚本的各个性能参数；所述数据处理层包含CMDB库数据处理模块、业务引擎和数据采集引擎监控配置文件传输模块、数据采集引擎和业务引擎的采集数据传输模块、告警数据的分析处理模块；-所述CMDB库数据处理模块包含系统能监控的设备的类型、型号、协议、监控命令、阀值信息，另外一部分为企业私有数据，包含设备的名称、ip、所处位置；-所述配置文件传输模块读取数据库的配置信息，生成监控配置文件，并将业务引擎里的文件传送至数据采集引擎；-所述采集数据传输模块将数据采集引擎获取的数据经过处理加工传送至业务引擎；-所述告警数据的分析处理模块采集告警数据，并将告警数据过滤、压缩、分析，减少告警次数，并结合告警的发送规则通知运维人员；所述数据展示层包含数据的展示，该数据的展示即电脑终端页面的展示；所述设备综合监控系统架构的流程操作步骤如下：步骤一、CMDB录入及页面展示：a、系统初始化：系统提供用户、角色、权限、各类报表展示基础服务，以及提供各种设备的类型、型号、监控协议，监控处理脚本命令为后续监控做好基础数据；b、CMDB梳理：系统提供手机及电脑端页面入口，企业将梳理好的现有基础设施配置信息，基础设施配置信息包含设备名称、ip、设备型号、业务分类、地理位置，基础设施配置信息通过web页面录入到系统中，形成企业自己的CMDB信息库，根据设备的类型信息对设备本身的常用核心监控性能参数进行监控；c、运维规则定义：设备告警及巡检规则的定义，根据实际需要定时或实时接收设备告警，及每天由系统帮助完成所有设备的巡检；d、数据呈现：根据基础配置及采集到的数据，再呈现到前端页面，供企业用户直观，快速的查找和使用系统中的各种实时、历史性能数据；步骤二、系统标准化：系统接收到用户录入的各种配置信息，梳理成格式存储到数据库，以供后续设备添加监控，及生成各类报表使用；步骤三、读取生成配置文件：a、将数据采集引擎和业务引擎分别放置到不同的设备上，先在业务引擎上读取设备相关的配置信息，并按照数据采集引擎能够识别的数据格式生成文件，并传送至数据采集引擎上；b、设备配置信息包含设备的ip、设备名称、采集的频率、时间、需要的性能数据项及采集该项该使用何种监控命令；步骤四、FTP上传：数据采集引擎和业务引擎通讯采用ftp协议；步骤五、格式化：a、设备监控配置文件一旦上传至采集服务器，即可开始对设备进行自定义监控，采集到的信息需要格式化步骤对数据进行处理；b、采集到的信息格式化处理后放入到业务数据库中，供业务逻辑层展示设备的实时、历史数据，以及对告警模块提供原始数据；步骤六、告警引擎分析处理：设备告警需要保证告警的实时性、准确性，原始的告警需要告警引擎过滤、压缩，分析系列步骤得到真正的根源告警；步骤7、告警发送：获取到的告警需要实时或者定时的通过邮件、短信或者微信的方式通知运维人员，需要将告警和告警策略结合。2.根据权利要求1所述的设备综合监控系统架构，其特征在于：所述自定义脚本采集根据设备类型的不同，采用不同的数据及通讯协议与设备进行交互，设备直接通过脚本通信或需要加入转换设备进行间接通讯。3.根据权利要求1所述的设备综合监控系统架构，其特征在于：所述采集数据传输模块的数据处理过程如下：步骤一，解析数据：将每一个设备监控项的数据，以及每一个监控项反馈的数据，解析成带有关系的数据存放至业务数据库中；步骤二，数据存储：中心采集服务器将处理的数据和业务数据库里面的基础CMDB库信息进行比对，结合业务需要，丰富处理的数据，放入至业务数据表中，供业务引擎调用。4.根据权利要求3所述的设备综合监控系统架构，其特征在于，在步骤二中，数据存储主要分为三个流向：a)告警数据：系统提供单独的告警处理模块，根据监控项状态值，判断设备是否有告警，告警处理模块对告警数据进行分析、加工、发送邮件、短信、微信给运维人员；b)实时数据：实时数据为了便于展示系统中任意设备的实时状态，快速了解系统设备的整体运行状况；c)历史数据：历史数据为运维工作，系统升级提供数据支撑，追溯设备运行状态。相对于现有技术，本专利技术的有益效果是：实时性：告警数据量巨大，需要有良好的告警采集处理手段确保实时性；标准化：各专业、各厂家告警字段定义不同，梳理告警需要有大量的工作；集中化：扁平化的管理结构，在告警标准化的基础上，统一处理各个专业的告警，需要明确告警关联及预处理规则；影响本文档来自技高网...

【技术保护点】
设备综合监控系统架构，其特征在于：所述设备综合监控系统架构包括数据采集层（1）、数据处理层（2）、数据展示层（3）；所述数据采集层（1）包括数据采集引擎（9）、数据采集脚本（8）、监控配置文件的自动生成；‑所述数据采集引擎（9）实现对至少包括系统CPU、磁盘、网络方面参数的基本系统监测，监测至少包括SMTP、POP3、HTTP各种基本的服务类型，通过插件的安装和监测脚本自定义用户针对自己的应用程序实现监测，并针对大量的监测主机和多个对象部署层次化的监测架构；‑所述数据采集脚本（8）设置为自定义脚本采集，针对不同设备进行不同的脚本处理；‑所述监控配置文件描述了数据采集引擎以何种方式执行数据采集脚本，以及传递给脚本的各个性能参数；所述数据处理层（2）包含CMDB库数据处理模块、业务引擎和数据采集引擎（9）监控配置文件传输模块（12）、数据采集引擎（9）和业务引擎的采集数据传输模块、告警数据的分析处理模块；‑所述CMDB库数据处理模块包含系统能监控的设备的类型、型号、协议、监控命令、阀值信息，另外一部分为企业私有数据，包含设备的名称、ip、所处位置；‑所述配置文件传输模块（12）读取数据库的配置信息，生成监控配置文件，并将业务引擎里的文件传送至数据采集引擎（9）；‑所述采集数据传输模块将数据采集引擎（9）获取的数据经过处理加工传送至业务引擎；‑所述告警数据的分析处理模块采集告警数据，并将告警数据过滤、压缩、分析，减少告警次数，并结合告警的发送规则通知运维人员；所述数据展示层（3）包含数据的展示，该数据的展示即电脑终端页面的展示；所述设备综合监控系统架构的流程操作步骤如下：步骤一、CMDB录入及页面展示：a、系统初始化：系统提供用户、角色、权限、各类报表展示基础服务，以及提供各种设备的类型、型号、监控协议，监控处理脚本命令为后续监控做好基础数据；b、CMDB梳理：系统提供手机及电脑端页面入口，企业将梳理好的现有基础设施配置信息，基础设施配置信息包含设备名称、ip、设备型号、业务分类、地理位置，基础设施配置信息通过web页面（13）录入到系统中，形成企业自己的CMDB信息库，根据设备的类型信息对设备本身的常用核心监控性能参数进行监控；c、运维规则定义：设备告警及巡检规则的定义，根据实际需要定时或实时接收设备告警，及每天由系统帮助完成所有设备的巡检；d、数据呈现：根据基础配置及采集到的数据，再呈现到前端页面，供企业用户直观，快速的查找和使用系统中的各种实时、历史性能数据；步骤二、系统标准化：系统接收到用户录入的各种配置信息，梳理成格式存储到数据库，以供后续设备添加监控，及生成各类报表使用；步骤三、读取生成配置文件：a、将数据采集引擎（9）和业务引擎分别放置到不同的设备上，先在业务引擎上读取设备相关的配置信息，并按照数据采集引擎（9）能够识别的数据格式生成文件，并传送至数据采集引擎（9）上；b、设备配置信息包含设备的ip、设备名称、采集的频率、时间、需要的性能数据项及采集该项该使用何种监控命令；步骤四、FTP上传：数据采集引擎（9）和业务引擎通讯采用ftp协议；步骤五、格式化：a、设备监控配置文件一旦上传至采集服务器，即可开始对设备进行自定义监控，采集到的信息需要格式化步骤对数据进行处理；b、采集到的信息格式化处理后放入到业务数据库中，供业务逻辑层展示设备的实时、历史数据，以及对告警模块提供原始数据；步骤六、告警引擎分析处理：设备告警需要保证告警的实时性、准确性，原始的告警需要告警引擎过滤、压缩，分析系列步骤得到真正的根源告警；步骤7、告警发送：获取到的告警需要实时或者定时的通过邮件、短信或者微信的方式通知运维人员，需要将告警和告警策略结合。...

【技术特征摘要】
1.设备综合监控系统架构，其特征在于：所述设备综合监控系统架构包括数据采集层（1）、数据处理层（2）、数据展示层（3）；所述数据采集层（1）包括数据采集引擎（9）、数据采集脚本（8）、监控配置文件的自动生成；-所述数据采集引擎（9）实现对至少包括系统CPU、磁盘、网络方面参数的基本系统监测，监测至少包括SMTP、POP3、HTTP各种基本的服务类型，通过插件的安装和监测脚本自定义用户针对自己的应用程序实现监测，并针对大量的监测主机和多个对象部署层次化的监测架构；-所述数据采集脚本（8）设置为自定义脚本采集，针对不同设备进行不同的脚本处理；-所述监控配置文件描述了数据采集引擎以何种方式执行数据采集脚本，以及传递给脚本的各个性能参数；所述数据处理层（2）包含CMDB库数据处理模块、业务引擎和数据采集引擎（9）监控配置文件传输模块（12）、数据采集引擎（9）和业务引擎的采集数据传输模块、告警数据的分析处理模块；-所述CMDB库数据处理模块包含系统能监控的设备的类型、型号、协议、监控命令、阀值信息，另外一部分为企业私有数据，包含设备的名称、ip、所处位置；-所述配置文件传输模块（12）读取数据库的配置信息，生成监控配置文件，并将业务引擎里的文件传送至数据采集引擎（9）；-所述采集数据传输模块将数据采集引擎（9）获取的数据经过处理加工传送至业务引擎；-所述告警数据的分析处理模块采集告警数据，并将告警数据过滤、压缩、分析，减少告警次数，并结合告警的发送规则通知运维人员；所述数据展示层（3）包含数据的展示，该数据的展示即电脑终端页面的展示；所述设备综合监控系统架构的流程操作步骤如下：步骤一、CMDB录入及页面展示：a、系统初始化：系统提供用户、角色、权限、各类报表展示基础服务，以及提供各种设备的类型、型号、监控协议，监控处理脚本命令为后续监控做好基础数据；b、CMDB梳理：系统提供手机及电脑端页面入口，企业将梳理好的现有基础设施配置信息，基础设施配置信息包含设备名称、ip、设备型号、业务分类、地理位置，基础设施配置信息通过web页面（13）录入到系统中，形成企业自己的CMDB信息库，根据设备的类型信息对设备本身的常用核心监控性能参数进行监控；c、运维规则定义：设备告警及巡检规则的定义，根据实际需要定时或实时接收设备告警，及每天由系统帮助完成所有设备的巡检；d、数据呈现：根据基础配置及采集到的数据，再呈现到前端页面...

【专利技术属性】
技术研发人员：杨德云，张宇宁，黎源，
申请(专利权)人：深圳市思博创科技有限公司，
类型：发明
国别省市：广东,44