一种可视化智能运维方法及平台技术

本发明专利技术公开了一种可视化智能运维方法及平台。本方法为：1)采集各网络安全设备中的各种结构类型协议数据的填充情况；2)根据每个时间段采集的各种结构类型协议数据的填充情况计算该时间段的特征向量；3)利用步骤2)得到的各特征向量进行模型训练，得到一决策模型；4)计算当前采集的协议数据的填充情况的特征向量，并将其输入该决策模型进行有效性评估。本发明专利技术能智能分析设备的数据质量，从而主动、及时发现问题，促使研发人员高效解决，保证设备提供网络安全服务的质量。

Visual intelligent operation and maintenance method and platform

The invention discloses a visual intelligent operation and maintenance method and a platform. The method is as follows: 1) collection filled with various types of structure data of each protocol in network security device; 2) feature vectors are calculated for the time period for each time period according to the filling of various types of structure data acquisition agreement; 3) by step 2) all the feature vectors for model training, get a decision model; 4) feature vector filling the current protocol data acquisition, and the input of the decision-making model of effectiveness evaluation. The invention can intelligently analyze the data quality of the equipment, so as to find out the problem initiatively and timely, and promote the research and development personnel to solve the problem effectively, and ensure the quality of the network security service provided by the equipment.

【技术实现步骤摘要】

：本专利技术涉及计算机数据通信领域，特别是对网络数据采集的效率进行了智能的运维管理，以保证网络数据采集的有效性。
技术介绍
：随着近几年互联网和移动互联网用户的大量增长，需要大量高质量网络安全设备来予以保障。对网络设备的运行维护、实时监控更加重要。在IT运维监控系统中，将对企业的网络设备运行数据进行采集和处理，使得企业可以掌握和管理所有IT资源的运行情况。然而，现有的运维监控软件对设备的监控不够直观，对设备处理的数据质量无法智能的进行提示告警。目前全国各地网络设备资源的显现度低，现场设备运行维护人员的工作往往具有难度大和工作量大的问题。目前运行维护人员的工作方式大多为被动响应式的，容易造成发现设备出现问题的时间比较滞后，不容易及时发现设备出现的一些小问题以及数据质量下降的一些问题，易造成问题积累而产生大问题出现大影响。现场接入网络的设备数量大，设备的性能参数和软硬件环境不完全相同，现场运维人员的工作仍主要采用手动监控方式，技术门槛较高，效率低下，很难及时发现和预见问题的发生。手动监控是一种离线的、片面的、以点见面式的检查方式，不能够持续对设备运行状态进行监控。更难以对整体系统的运行进行调优工作。另外，现场网络设备的监控需要通过大量的命令语句来进行管理和监控运行状态，有一定的技术难度，运行维护人员遇到问题往往过度依赖厂家。而厂家支持部门的人力资源严重不足，运行维护人员的工作负荷也过重，目前往往处于既要应对发现的明显问题的支持解决，又要面临不断改进服务和提高数据质量、分析故障原因的压力。本专利技术旨在解决上述网络安全设备监控存在的缺陷，提出了一种智能分析设备数据质量和工作状态运行监控的可视化方法。
技术实现思路
：本专利技术提供了一种对网络安全设备数据质量进行可视化智能监控的平台，同时能够对设备运行状态监控告警，解决了目前运行维护监控存在的缺陷，为企业降低了设备维护和数据质量改进成本。本专利技术的技术方案为：一种可视化智能运维方法，其步骤为：1)采集各网络安全设备中的各种结构类型协议数据的填充情况；2)根据每个时间段采集的各种结构类型协议数据的填充情况计算该时间段的特征向量；其中，该特征向量M为协议数据种类数，Nj为第j类协议数据的总条数，xi为第j类协议数据中的第i条协议数据的填充情况；3)利用步骤2)得到的各特征向量进行模型训练，得到一决策模型；4)计算当前采集的协议数据的填充情况的特征向量，并将其输入该决策模型进行有效性评估。进一步的，进行有效性评估的方法为：如果当前采集的协议数据的填充情况的特征向量与最近一段时期的特征向量变化超过设定阈值，则判定当前采集的协议数据失效。进一步的，采用贝叶斯模型、SVM模型或人工神经网络模型对步骤2)得到的各特征向量进行模型训练，得到该决策模型。进一步的，步骤1)中采集的数据还包括可视化智能运维服务器的即时运行状态信息。进一步的，所述即时运行状态信息包括cpu使用率、内存使用率、磁盘占用率、硬盘io状态以及设定的关键进程服务是否正在运行。一种可视化智能运维平台，其特征在于，包括实时数据采集模块、数据存储模块、数据智能分析处理模块和运行日志管理模块；其中，所述实时数据采集模块，设置于各网络安全设备中，用于采集各网络安全设备中的各种结构类型协议数据的填充情况；所述数据存储模块，设置于可视化智能运维服务器，用于存储实时数据采集模块采集的数据；所述数据智能分析处理模块，用于根据每个时间段采集的各种结构类型协议数据的填充情况计算该时间段的特征向量；然后利用各特征向量进行模型训练，得到一决策模型；以及计算当前采集的协议数据的填充情况的特征向量，并将其输入该决策模型进行有效性评估；其中，该特征向量M为协议数据种类数，Nj为第j类协议数据的总条数，xi为第j类协议数据中的第i条协议数据的填充情况；所述运行日志管理模块，用于根据数据智能分析处理模块的分析结果，对数据存储模块中的数据进行维护。进一步的，还包括一数据缓冲管理模块，设置于可视化智能运维服务器，用于缓存实时数据采集模块采集的数据。进一步的，还包括一监控模块，用于以可视化展示界面形式显示可视化智能运维服务器的即时运行状态信息。该平台主要采用如下技术方案：组成该智能运维平台的模块主要有六大模块构成：实时数据采集模块、数据缓冲管理模块、数据存储模块、数据智能分析处理模块、运行日志管理模块和监控模块。(1)、实时数据采集模块。该模块主要解决了目前运行维护人员手动命令式的对运行状态进行监控和设备数量大造成监控不及时不到位问题的缺陷。另外，该模块的另一重要功能是实现对设备(即网络安全设备)数据质量(即数据填充的情况)的采集。本文提到的网络安全设备是一种提供网络内容安全数据采集的设备。它工作在互联网应用层，设备分析网络流中各种协议，并根据需要进行协议数据的部分采集。该实时采集模块对安全设备采集到的协议数据进行监控记录。该模块将对每一台设备的运行状态和设备处理数据的各字段填充日志进行实时采集。(2)、数据缓冲管理模块。该模块主要是针对设备数量众多，实时采集的数据多，可能造成后续模块处理效率不匹配的问题。该模块首先对采集的数据进行预处理，将各台设备的数据进行缓冲收集。(3)、数据存储模块。该模块主要实现对运维数据的存储，形成运维数据中心。针对目前运行维护过程中对设备的运行状态和数据质量的监控工作不持续，对数据质量下降不易及时发现的问题，该数据中心会存储一定期限的历史数据。(4)、数据智能分析处理模块。该模块主要解决目前对数据质量的监控过度依赖有一定经验的运维人员，发现数据质量问题比较滞后的现状。该模块的一大重要特点是采用了人工智能模型对数据进行智能分析，然后进行数据质量警告。(5)、运行日志管理模块。该模块设计的功能实现对设备运行状态进行记录管理，维护数据存储模块中数据。(6)、监控模块。该模块以可视化展示界面形式显示网络安全设备的运行指标(cpu、磁盘、内存使用率，磁盘I/O状态以及监控软件运行状态的参数项)和数据质量指标(智能分析模块分析后给出的各种协议数据是否数据质量下降的情况)。由以上技术方案可知，本专利技术具有如下有益效果：本监控可视化平台，可自动、不间断、直观地监控网络安全设备的运行状态，能智能分析设备的数据质量，从而主动、及时发现问题，促使研发人员高效解决，保证设备提供网络安全服务的质量。同时，该平台可以参考历史记录数据进行智能分析，推断出数据质量下降具体的数据类别，大大减少发现问题解决问题的周期。附图说明图1为系统网络拓扑图；图2为本专利技术的可视化智能运维平台结构框架说明图；图3为本专利技术的数据智能分析处理模块工作流结构图；图4为数据采集模块采集数据和数据预处理示例。具体实施例方式：以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。图1是该可视化运维平台的物理网络拓扑图。通过拓扑图该系统可以将各个地市的设备运维工作信息收集进入运维系统进行处理和运维数据可视化。图2是可视化智能运维平台的结构框架图。该运维平台的搭建需要在各地市的设备上安装部署运维数据采集模块，用来对安全设备的工作状态和服务器的运行状态进行实时数据采集。该采集模块用来采集安全设备的工作状态，即一段时间内设备本文档来自技高网...

【技术保护点】
一种可视化智能运维方法，其步骤为：1)采集各网络安全设备中的各种结构类型协议数据的填充情况；2)根据每个时间段采集的各种结构类型协议数据的填充情况计算该时间段的特征向量；其中，该特征向量M为协议数据种类数，Nj为第j类协议数据的总条数，xi为第j类协议数据中的第i条协议数据的填充情况；3)利用步骤2)得到的各特征向量进行模型训练，得到一决策模型；4)计算当前采集的协议数据的填充情况的特征向量，并将其输入该决策模型进行有效性评估。

【技术特征摘要】
1.一种可视化智能运维方法，其步骤为：1)采集各网络安全设备中的各种结构类型协议数据的填充情况；2)根据每个时间段采集的各种结构类型协议数据的填充情况计算该时间段的特征向量；其中，该特征向量M为协议数据种类数，Nj为第j类协议数据的总条数，xi为第j类协议数据中的第i条协议数据的填充情况；3)利用步骤2)得到的各特征向量进行模型训练，得到一决策模型；4)计算当前采集的协议数据的填充情况的特征向量，并将其输入该决策模型进行有效性评估。2.如权利要求1所述的方法，其特征在于，进行有效性评估的方法为：如果当前采集的协议数据的填充情况的特征向量与最近一段时期的特征向量变化超过设定阈值，则判定当前采集的协议数据失效。3.如权利要求2所述的方法，其特征在于，采用贝叶斯模型、SVM模型或人工神经网络模型对步骤2)得到的各特征向量进行模型训练，得到该决策模型。4.如权利要求1所述的方法，其特征在于，步骤1)中采集的数据还包括可视化智能运维服务器的即时运行状态信息。5.如权利要求4所述的方法，其特征在于，所述即时运行状态信息包括cpu使用率、内存使用率、磁盘占用率、硬盘io状态以及设定的关键进程服务是否正在运行。6.一种可视化智能运维平台，其特征在于，包括实时数据采集模块、数据存储模块、数据智能分析处理模块和运行日志管理模块；其中，所述实时数据采集模块，设置于各网络安全设备中，用...

【专利技术属性】
技术研发人员：赵立波，
申请(专利权)人：北京锐安科技有限公司，
类型：发明
国别省市：北京;11