国网云中应用的一种基于大数据运维日志的方法技术

本发明专利技术公开了国网云中应用的一种基于大数据运维日志的方法，还包括：1）采集日志信息并进行日志预处理，具体包括采集日志信息并用脚本对日志信息解析转换成统一格式，用SQL语言代码对日志信息进行清洗去重，和获取以IP地址为主字段的记录用于用户识别；2）统计一段时间的日志流量，运用时间序列分析法进行日志流量统计，预测日志流量的走势，为后续的日志流量预测模型提供数据；日志流量预测模型加载所述日志流量值并运行，并生成流量走势图，实时的预测日志流量；3）将步骤2）中生成的流量走势图通过展示界面可视化呈现。本发明专利技术在统一日志搜索中心对日志字段进行搜索，能够快速的定位错误，实现对日志流量的提前预测和预警。

A method based on large data operation and maintenance log for application of State Grid cloud

The invention discloses a cloud application in network also includes methods, data maintenance based on log log: 1) pretreatment of the collected information and log, including the collection and use of log log information script information analysis into a unified format, using SQL language code to log information and access to clean. The IP address based field record for user identification; 2) log traffic statistics for a period of time, using time series analysis method for log log traffic flow statistics, forecast the trend, to provide the data model for the prediction of subsequent log traffic flow forecasting model; log loading the log flow value and run, and generate traffic trends the real-time flow chart, prediction of log; 3) step 2) generated in the flow chart shows through visualization interface. The invention searches the log field in the unified log search center, which can quickly locate the error and realize the prediction and early warning of the log flow.

【技术实现步骤摘要】
国网云中应用的一种基于大数据运维日志的方法
本专利技术涉及计算机
，具体的说，是国网云中应用的一种基于大数据运维日志的方法。
技术介绍
“国网云”包括生产控制云、企业管理云和公共服务云，分别为国家电网公司的生产控制、企业管理及对外服务提供相应的技术支撑，而“国网云”平台则是管理、调控、支撑这三朵云的核心。大数据(bigdata)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据运维日志主要来自于机器数据，机器数据主要是指来自服务器、存储、网络中的传统接口数据，也常常被认为是机器生产的数据，机器生成的数据是发展最快、最复杂同时也是最宝贵的那部分大数据，但是现有的大数据挖掘和数据分析基本上都是建立在人的行为和商业运作产生的数据上，当服务器出错时，运维人员需要进入每一台服务器上应用的安装目录，找到日志路径，筛选日志产生的时间，再进入日志文本中查找关键字，找到报错的日志信息。这样运维人员需要经过繁琐的操作和筛选，才能将定位出错的位置,并且传统的日志服务器缺少实时过滤和深入分析日志能力，存在不能实时的分析和展示当前状况以及预测未来情况的问题。
技术实现思路
本专利技术的目的在于提供国网云中应用的一种基于大数据运维日志的方法，用于解决现有技术中运维日志出错时运维人员需要进入服务器出错日志的根目录查找关键词，筛选数据量较大、工作繁琐、效率不高以及不能预测未来日志流量是否超出预警值的问题。为了达到上述目的，本专利技术通过下述技术方案实现：国网云中应用的一种基于大数据运维日志的方法，包括搭建大数据运维日志的硬件环境、软件环境和集群环境，还包括：1)采集日志信息并进行日志预处理，具体包括：1.1)从软硬件设备采集日志信息，并采用shell脚本、python脚本或Apache脚本中的任意一种对所述日志信息解析后转换成统一的日志格式，所述日志信息包括计算机信息、系统信息、进程信息、磁盘信息、服务信息和应用信息；1.2)用SQL语言提取日志中的用户名和IP地址，生成用于识别用户的表格实现日志清洗去重，所述SQL语言的代码为：index＝splunk_monitoringsourcetype＝tcp//获取索引和日志类型deduphost//去掉重复此主机的日志tablelocaladdresslocalportremotehostnameremoteportprocessnameusername//统计该日志字段的值，并生成表格；1.3)由所述表格中提取的用户名和IP地址识别用户，并生成以IP地址为主字段的记录实现日志用户识别；2)统计一段时间的日志流量，并据此预测出日志流量的走势并生成流量走势图展示给用户，具体包括：统计一段时间的日志流量，运用时间序列分析法进行日志流量统计，预测日志流量的走势，为后续的日志流量预测模型提供数据；日志流量预测模型加载所述日志流量值并运行，并生成流量走势图，实时的预测日志流量；3)将步骤2)中生成的流量走势图通过展示界面可视化呈现。大数据运维日志分为日志预处理、日志流量预测、展示界面三大块，通过脚本对日志进行解析后转换成统一的日志格式，经过日志的清洗和合并，提取以IP地址为主字段的记录实现日志用户识别，再通过时间序列分析法对日志流量进行统计，再采用日志流量预测模型进行预测，日志流量预测模型采用卡尔曼滤波算法模型，通过运行日志预处理后的信息，运行模型，最后生成展示界面。当运维人员发现预测的流量继续向上，并且将要超过以前的历史流量高点时，可考虑在现有带宽的基础上进行扩容，实现对灾难的提前预警。进一步的优选，所述展示界面还包括用于展示服务器运行情况的服务器监控模块，所述服务器监控模块分析本地服务器产生的日志信息，并显示当前服务器的动态实现监控本地服务器以及采用splunk指定要访问云上服务器，通过远程桌面连接云上服务器，收集云上服务器的数据至本地，从最新的日志数据中，提取出最新的服务器空间状况，实现云上服务器的实时监控。splunk是机器数据的引擎，使用splunk可收集、索引和利用所有应用程序、服务器和设备(物理、虚拟和云中)生成的快速移动型计算机数据，从一个位置搜索并分析所有实时和历史数据，实时的通过服务器产生的日志信息，观察计算的各项指标动态，不仅方便维护，更能防止服务器宕机，在服务器有多台的时候，利用splunk收集和处理实时的日志数据，能将不同服务器之间的数据都收集在一起，通过提取到每台服务器的日志，分析其动态，是可行且非常方便的。云上的服务器通过远程桌面连接，可以通过splunk指定接收服务器地址，同样可将云上服务器的数据收集到本地来，一个界面就能看到所有云上服务器的状态，从而实现本地服务器和云上服务器的实时监控。进一步的优选，所述展示界面还包括用于搜索日志信息的日志搜索模块，所述日志搜索模块将所有的日志实时的收集到一起，建立起一个统一的搜索中心，通过调用splunk的应用组件创建输入框实现对日志的检索，将各个服务器的日志汇总显示，并建立数据索引owa；在所述数据索引owa中输入关键字和错误出现的时间，实现对在线预览文档的OfficeWebApps服务器进行日志的搜索排错。通过建立日志统一搜索中心后，避免了到每台服务器中，周而复始的进服务器找目录，并且日志都是实时收集不存在延时问题。只需输入关键字和错误出现的时间，就能够快速的定位错误，从而快速的进行下一步操作解决错误，既方便又快捷。进一步的优选，所述步骤2.1)中的收集信息包括：2.1.1)收集计算机信息，通过调用WinHostMon：computer脚本实现对windows中计算机信息的日志收集，其中包括计算机名、所属域信息，将splunk_monitoring作为存储的索引，类型为computer，日志设置为每300秒刷新一次；2.1.2)收集操作系统信息，通过调用WinHostMon：os脚本实现对操作系统信息的收集，其中包括操作系统版本、总的内存容量和剰余内存容量，存储的索引为splunk_monitoring,类别为operatingSystem，设置300秒刷新一次系统信息日志；2.1.3)收集进程信息，通过调用WinHostMon：processor脚本实现对进程信息的收集，其中包括进程名、所占用的空间大小，存储的索引为：splunk_monitoring，类型为processor，设置10秒刷新一次进程日志；2.1.4)收集磁盘信息，通过调用WinHostMon：disT脚本实现对磁盘信息的收集，存储在索引splunk_monitoring的disT类型目录下，其中包括磁盘名、磁盘的总容量、磁盘剩余容量，设置每10秒刷新一次；2.1.5)收集服务信息，通过调用WinHostMon：service脚本，实现对服务信息的收集，并将日志存储在索引splunk_monitoring的service类型目录下，其中包括服务名、服务进程ID，日志设置每300秒刷新一次；2.1.6)收集应用信息，通过调用WinHostMon：application脚本，实现对应用信息的收集，并将日志存储在索引splunk_monitoring的application类型目录下，其中包括应用程序名、错误类型、错误描述，日志设本文档来自技高网...

【技术保护点】
国网云中应用的一种基于大数据运维日志的方法，包括搭建大数据运维日志的硬件环境、软件环境和集群环境，其特征在于，还包括：1）采集日志信息并进行日志预处理，具体包括：1.1）从软硬件设备采集日志信息，并采用shell脚本、python脚本或Apache脚本中的任意一种对所述日志信息解析后转换成统一的日志格式，所述日志信息包括计算机信息、系统信息、进程信息、磁盘信息、服务信息和应用信息；1.2）用SQL语言提取日志中的用户名和IP地址，生成用于识别用户的表格实现日志清洗去重，所述SQL语言的代码为：index=splunk_monitoring sourcetype=tcp //获取索引和日志类型dedup host //去掉重复此主机的日志table localaddress localport remotehostname remoteport processname username //统计该日志字段的值，并生成表格；1.3）由所述表格中提取的用户名和IP地址识别用户，并生成以IP地址为主字段的记录实现日志用户识别；2）统计一段时间的日志流量，并据此预测出日志流量的走势并生成流量走势图展示给用户，具体包括：统计一段时间的日志流量，运用时间序列分析法进行日志流量统计，预测日志流量的走势，为后续的日志流量预测模型提供数据；日志流量预测模型加载所述日志流量值并运行，并生成流量走势图，实时的预测日志流量；3）将步骤2）中生成的流量走势图通过展示界面可视化呈现。...

【技术特征摘要】
1.国网云中应用的一种基于大数据运维日志的方法，包括搭建大数据运维日志的硬件环境、软件环境和集群环境，其特征在于，还包括：1）采集日志信息并进行日志预处理，具体包括：1.1）从软硬件设备采集日志信息，并采用shell脚本、python脚本或Apache脚本中的任意一种对所述日志信息解析后转换成统一的日志格式，所述日志信息包括计算机信息、系统信息、进程信息、磁盘信息、服务信息和应用信息；1.2）用SQL语言提取日志中的用户名和IP地址，生成用于识别用户的表格实现日志清洗去重，所述SQL语言的代码为：index=splunk_monitoringsourcetype=tcp//获取索引和日志类型deduphost//去掉重复此主机的日志tablelocaladdresslocalportremotehostnameremoteportprocessnameusername//统计该日志字段的值，并生成表格；1.3）由所述表格中提取的用户名和IP地址识别用户，并生成以IP地址为主字段的记录实现日志用户识别；2）统计一段时间的日志流量，并据此预测出日志流量的走势并生成流量走势图展示给用户，具体包括：统计一段时间的日志流量，运用时间序列分析法进行日志流量统计，预测日志流量的走势，为后续的日志流量预测模型提供数据；日志流量预测模型加载所述日志流量值并运行，并生成流量走势图，实时的预测日志流量；3）将步骤2）中生成的流量走势图通过展示界面可视化呈现。2.根据权利要求1所述的国网云中应用的一种基于大数据运维日志的方法，其特征在于，所述展示界面还包括用于展示服务器运行情况的服务器监控模块，所述服务器监控模块分析本地服务器产生的日志信息，并显示当前服务器的动态实现监控本地服务器以及采用splunk指定要访问云上服务器，通过远程桌面连接云上服务器，收集云上服务器的数据至本地，从最新的日志数据中，提取出最新的服务器空间状况，实现云上服务器的实时监控。3.根据权利要求1所述的国网云中应用的一种基于大数据运维日志的方法，其特征在于，所述展示界面还包括用于搜索日志信息的日志搜索模块，所述日志搜索模块将所有的日志实时的收集到一起，建立起一个统一的搜索中心，通过调用splunk的应用组件创建输入框实现对日志的检索，将各个服务器的日志汇总显示，并建立数据索引owa；在所述数据索引owa中输入关键字和错误出现的时间，实现对在线预览文档的OfficeWebApps服务器进行日志的搜索排错。4.根据权利要求1所述的国网云中应用的一种基于大数据运维日志的方法，其特征在于，所述步骤2.1）中的收集信息包括：2.1.1）收集计算机信息，通过调用WinHostMon：computer脚本实现对windows中计算机信息的日志收集，其中包括计算机名、所属域等信息，将splunk_monitoring作为存储的索引，类型为computer，日志设置为每300秒刷新一次；2.1.2）收集操作系统信息，通过调用WinHostMon：os脚本实现对操作系统信息的收集，其中包括操作系统版本、总的内存容量和剰余内存容量，存储的索引为splunk_monitoring,...

【专利技术属性】
技术研发人员：王萍，胡聪，吴斌，马永，张禾良，蔡梦臣，吴尚，徐敏，方圆，倪平波，张捷，胡州明，欧渊，杨帆，吴磊，左发先，
申请(专利权)人：国网安徽省电力公司信息通信分公司，四川中电启明星信息技术有限公司，
类型：发明
国别省市：安徽,34