基于大数据自动化运维平台的运维方法及系统技术方案

本发明专利技术涉及基于大数据自动化运维平台的运维方法及系统

【技术实现步骤摘要】
基于大数据自动化运维平台的运维方法及系统


[0001]本专利技术属于设备运维
，具体涉及基于大数据自动化运维平台的运维方法及系统
。

技术介绍

[0002]数据中心是全球协作的特定设备网络，用来在
i nternet
网络基础设施上传递
、
加速
、
展示
、
计算
、
存储数据信息
。
数据中心将会成为企业竞争的资产，商业模式也会因此发生改变
。
随着数据中心应用的广泛化，人工智能
、
网络安全等也相继出现，更多的用户都被带到了网络和手机的应用中
。
随着计算机和数据量的增多，人们也可以通过不断学习积累提升自身的能力，是迈向信息化时代的重要标志
。
[0003]目前，对数据中心网络设备进行运维通常是采用人工巡检的方式，人工巡检依赖于人工经验，进而导致现有方案的运维效率较低
。

技术实现思路

[0004]本专利技术的目的就在于为了解决上述问题而提供一种结构简单，设计合理的基于大数据自动化运维平台的运维方法及系统
。
[0005]本专利技术通过以下技术方案来实现上述目的：
[0006]本专利技术第一方面提供了一种基于大数据自动化运维平台的运维方法，该方法包括，
[0007]实时采集并记录各地运维平台的各种性能数据；
[0008]基于采集得到的各地运维平台的各种性能数据进行数据预处理与数据分析，获得影响因素特征数据；
[0009]基于所述影响因数特征数据与历史建立所述预测模型；
[0010]实时采集当地运维平台的各种性能数据，基于所述预测模型获得所述运维平台的预警信息
。
[0011]作为本专利技术的进一步优化方案，其中，所述性能数据包括
CPU
使用率数据
、
内存使用情况数据
、
磁盘
IO
数据
、
网络
IO
数据
、
服务运行状态数据，同时，可以通过采集系统和应用的日志信息，基于所述日志信息获得错误信息
、
警告信息
。
[0012]作为本专利技术的进一步优化方案，采集得到的各种性能数据基于时间排序，当获得错误信息
、
警告信息后，基于错误信息
、
警告信息出现的时间点，获得错误信息
、
警告信息出现的时间点之前的时间段的性能数据，获得相邻时间点之间的各种性能数据的变化量，基于各种性能数据的变化量建立所述预测模型
。
[0013]作为本专利技术的进一步优化方案，获得已知的所有错误信息与警告信息的类型，基于所有错误信息与警告信息的类型建立相应的输出标签，建立错误信息
、
警告信息与各种性能数据在相邻时间点之间的变化量的关系
。
[0014]作为本专利技术的进一步优化方案，采集各种性能数据的变化量数据，将所述变化量
数据输入至所述预测模型中，基于所述预测模型的结果，判断是否需要向运维人员发送预警信息
。
[0015]本专利技术第二方面提供了一种基于大数据自动化运维平台的运维系统，该系统包括存储器
、
处理器及存储在所述存储器上并可在所述处理器上运行的基于大数据自动化运维平台的运维方法程序，所述基于大数据自动化运维平台的运维方法程序被所述处理器执行时实现如上所述的基于大数据自动化运维平台的运维方法的步骤
。
[0016]本专利技术的有益效果在于：本专利技术可以通过采集历史数据，对历史数据进行处理，建立并利用神经网络模型，基于性能数据的变化量来构建一个预警预测模型
。
这种方法充分利用了时间序列信息和性能数据之间的关联性，有助于更准确地预测系统的故障和警告
。
附图说明
[0017]图1是本专利技术的基于大数据自动化运维平台的运维方法的步骤流程示意图
。
具体实施方式
[0018]下面结合附图对本申请作进一步详细描述，有必要在此指出的是，以下具体实施方式只用于对本申请进行进一步的说明，不能理解为对本申请保护范围的限制，该领域的技术人员可以根据上述申请内容对本申请作出一些非本质的改进和调整
。
[0019]如图1所示，基于大数据自动化运维平台的运维方法，该方法包括，
[0020]实时采集并记录各地运维平台的各种性能数据；
[0021]基于采集得到的各地运维平台的各种性能数据进行数据预处理与数据分析，获得影响因素特征数据；
[0022]基于所述影响因数特征数据与历史建立所述预测模型；
[0023]实时采集当地运维平台的各种性能数据，基于所述预测模型获得所述运维平台的预警信息
。
[0024]其中，所述性能数据包括
CPU
使用率数据
、
内存使用情况数据
、
磁盘
IO
数据
、
网络
IO
数据
、
服务运行状态数据，同时，可以通过采集系统和应用的日志信息，基于所述日志信息获得错误信息
、
警告信息
。
[0025]进一步的，从各地的系统中收集历史的性能数据，如
CPU
使用率
、
内存使用率
、
网络流量
、
磁盘
I/O
等，同时收集系统日志以获取错误信息；数据清洗
(
删除重复和无效的数据，处理缺失值
)、
数据标准化或归一化
(
因为神经网络对输入数据的尺度比较敏感
)、
特征工程
(
如计算性能指标的移动平均等
)
；通过描述性统计分析
、
相关性分析
、
可视化分析等方式，了解数据的基本分布和特征间的关系，选择影响系统稳定性的关键特征；使用训练数据集
(
包括特征和标签
)
训练神经网络模型
。
可以使用
TensorFlow,PyTorch
等深度学习库进行模型训练
。
[0026]进一步的，采集得到的各种性能数据基于时间排序，当获得错误信息
、
警告信息后，基于错误信息
、
警告信息出现的时间点，获得错误信息
、
警告信息出现的时间点之前的时间段的性能数据，获得相邻时间点之间的各种性能数据的变化量，基于各种性能数据的变化量建立所述预测模型
。
[0027]在实际的实用中，采集各地历史的性能数据和相应的错误或警告信息；将性能数
据基于时间排序；根据错误或警告信息的时间点，匹配相应的性能数据；计算相邻时间点之间的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于大数据自动化运维平台的运维方法，其特征在于，该方法包括，实时采集并记录各地运维平台的各种性能数据；基于采集得到的各地运维平台的各种性能数据进行数据预处理与数据分析，获得影响因素特征数据；基于所述影响因数特征数据与历史建立所述预测模型；实时采集当地运维平台的各种性能数据，基于所述预测模型获得所述运维平台的预警信息
。2.
根据权利要求1所述的基于大数据自动化运维平台的运维方法，其特征在于：其中，所述性能数据包括
CPU
使用率数据
、
内存使用情况数据
、
磁盘
IO
数据
、
网络
IO
数据
、
服务运行状态数据，同时，可以通过采集系统和应用的日志信息，基于所述日志信息获得错误信息
、
警告信息
。3.
根据权利要求2所述的基于大数据自动化运维平台的运维方法，其特征在于：采集得到的各种性能数据基于时间排序，当获得错误信息
、
警告信息后，基于错误信息
、
警告...

【专利技术属性】
技术研发人员：李文俊，王标，王建欣，王楚君，郑立华，李晓彬，罗政，
申请(专利权)人：南方电网数字平台科技广东有限公司，
类型：发明
国别省市：