一种基于多源异构数据融合的信息系统性能立体监测方法技术方案

本发明专利技术涉及一种基于多源异构数据融合的信息系统性能立体监测方法，包括：（1）采集信息系统的性能指标监测数据；（2）将获取的多源异构指标数据进行数据融合处理；（3）将融合处理后的指标数据通过信息系统性能评价模型检测各性能指标数据的异常信息，并对异常信息进行故障根因定位；（4）对各指标的下一时刻数据值做出预测，提前感知系统的性能态势；（5）将故障信息接入告警平台并统一格式化处理，然后通过关联挖掘策略对告警信息进行同类挖掘、合并压缩，最后将压缩后的告警信息发送给相关人员处理。本发明专利技术通过多元化信息系统性能数据采集平台实现信息系统性能的多方位监测。

A Stereo Monitoring Method of Information System Performance Based on Multi-source Heterogeneous Data Fusion

The invention relates to a three-dimensional performance monitoring method of information system based on multi-source heterogeneous data fusion, which includes: (1) collecting performance indicators monitoring data of information system; (2) fusing the acquired multi-source heterogeneous indicators data; (3) detecting abnormal information of performance indicators data through the performance evaluation model of information system. And locate the fault cause of the abnormal information; (4) predict the next time data value of each index to perceive the performance situation of the system in advance; (5) connect the fault information to the alarm platform and format it uniformly, then mine and compress the alarm information by association mining strategy, and finally send the compressed alarm information to the relevant personnel for processing. \u3002 The invention realizes multi-direction monitoring of information system performance through a pluralistic information system performance data acquisition platform.

【技术实现步骤摘要】
一种基于多源异构数据融合的信息系统性能立体监测方法
本专利技术涉及态势感知及性能监测领域，具体涉及一种基于多源异构数据融合的信息系统性能立体监测方法。
技术介绍
随着信息系统建设规模的不断扩大、技术难度和密集程度不断提升、云计算、大数据等新技术不断创新和应用、信息化架构面临深刻变革，信息系统运行监控工作面临巨大挑战。在业务依赖加深、管理要求提升、技术更新迭代、运行成本攀升等形式下，当前的信息系统运行监控工具的支撑能力亟需进行质的提升，如何快速、准确的识别潜在风险是当下迫切需要解决的问题。
技术实现思路
本专利技术的目的在于提供一种基于多源异构数据融合的信息系统性能立体监测方法，通过多元化信息系统性能数据采集平台实现信息系统性能的多方位监测。为实现上述目的，本专利技术采用了以下技术方案：一种基于多源异构数据融合的信息系统性能立体监测方法，包括以下步骤：(1)采集信息系统的性能指标监测数据；(2)将获取的多源异构指标数据进行数据融合处理；(3)将融合处理后的指标数据通过信息系统性能评价模型检测各性能指标数据的异常信息，并对异常信息进行故障根因定位；(4)对各指标的下一时刻数据值做出预测，提前感知系统的性能态势；(5)将故障信息接入告警平台并统一格式化处理，然后通过关联挖掘策略对告警信息进行同类挖掘、合并压缩，最后将压缩后的告警信息发送给相关人员处理。上述方案中，所述性能指标包括基础资源型指标、网络性能指标、应用性能指标等。上述方案中，所述基础资源型指标包括CPU占比、内存占比等；所述网络性能指标包括网络吞吐量、网络延时及连接建立时间等；所述应用性能指标包括并发连接数、应用响应时间及服务端重置率等。上述方案中，所述步骤(2)中，将获取的性能指标进行数据融合处理，具体步骤如下：(1)统一格式化处理：对多源异构数据进行统一数据标识和统一存储格式；(2)数据值处理：包括缺失值填充和异常值检测、处理；(3)数据脱敏和存储：包括对数据进行脱敏处理和数据分类存储。上述方案中，所述步骤(3)，信息系统性能评价模型包括异常检测模块和故障定位模块，所述异常检测模块，用于自动检测各性能指标的异常情况，若出现指标异常则提交给故障定位模块进行故障根因识别；所述故障定位模块，用于根据指标与事件间的关联关系，进行因果推导，并最终锁定疑似根因事件位置。上述方案中，步骤(3)中，所述检测各性能指标数据的异常信息包括固定阈值检测法和动态阈值检测法；所述固定阈值检测法用于波动平稳的普通指标数据，通过在服务器端设定合适范围的恒定阈值，若当前指标数据值超过该阈值范围，则视为出现异常；所述动态阈值检测法，用于具有明显趋势性、周期性的指标的数据，通过采用指数平滑法学习数据原本的趋势性，再将性能指标的时间序列数据按天进行分段，并设定动态时间窗口，然后将不同周期中同一时间窗口的数据视为服从正态分布，再按3σ原则对不同时间窗口的数据设定不同的动态阈值。进一步的，所述故障定位模块包括关联分析子模块和故障诊断树子模块；所述关联分析子模块，用于挖掘与异常指标相关联的其他指标和事件，挖掘出的事件集合中往往包含导致指标异常的根因事件，进而辅助问题定位；所述故障诊断树子模块，用于根据以往对异常指标逐层诊断、逐级探查问题根因的知识经验所形成的故障诊断树，对当前异常指标的疑似根因进行深层挖掘并最终锁定。上述方案中，步骤(4)中，所述对各指标的下一时刻数据值做出预测通过指标数据预测模型进行预测，具体包括以下步骤：(41)利用ARIMA模型对序列数据建模，获取其线性成分的预测值；(42)利用LSTM模型对其建模，获取非线性成分的预测值；(43)将ARIMA模型的预测值和非线性成分的预测值进行相加得到最终预测结果。1由上述技术方案可知，本专利技术通过多元化信息系统性能数据采集平台采集信息系统不同类型和不同维度的性能指标数据，实现多方位实时监测。对采集到的多源异构数据进行数据融合处理，包括数据统一格式化处理、缺失值、异常值的检测和处理、数据脱敏和存储处理，为保障后续有效的数据处理和结果精度提供支撑。获得有效数据后，通过信息系统性能评价模型自动检测性能指标数据的异常信息并对其进行根因定位，再将疑似根因的故障信息提交到智能告警平台，由告警平台对故障信息进行合并压缩后发送给相关处理人员。同时对各性能指标的下一时刻数据值进行预测，从而提前感知性能态势。由前期的多方位数据采集、多源异构数据融合，到后期的数据异常检测、根因定位、智能告警以及性能态势的提前感知，整个流程构建了全方位、深层次的信息系统立体监测体系，监测范围更广、效果更佳，可适应当前大数据环境下不同应用场景的各种信息系统性能监测需求。附图说明图1是本专利技术的流程图；图2是本专利技术的ARIMA-LSTM组合模型流程图。具体实施方式下面结合附图对本专利技术做进一步说明：如图1-2所示的，本实施例的基于多源异构数据融合的信息系统性能立体监测方法，包括以下步骤：S1：采集信息系统的性能指标监测数据；该性能指标包括基础资源型指标、网络性能指标、应用性能指标等。该基础资源型指标包括CPU占比、内存占比等；网络性能指标包括网络吞吐量、网络延时及连接建立时间等；应用性能指标包括并发连接数、应用响应时间及服务端重置率等。数据采集工具包括代码级服务器端性能监控工具、基于真实用户体验的浏览器性能采集工具、服务器端资源监控工具、网络性能数据采集工具以及基于模拟真实用户操作的性能采集工具。S2：将获取的多源异构性指标数据进行数据融合处理；为后续的数据处理提供有效的数据支撑，需要对采集到的多源异构指标数据进行数据融合处理。根据不同需求，数据融合处理的情况不同。其中，一般包括三个步骤：S21：统一格式化处理：对多源异构数据进行统一数据标识和统一存储格式；S22：数据值处理：包括缺失值填充和异常值检测、处理；S23：数据脱敏和存储：包括对数据进行脱敏处理和数据分类存储。S3：将融合处理后的指标数据通过信息系统性能评价模型检测各性能指标数据的异常信息，并对异常信息进行故障根因定位；该信息系统性能评价模型包括异常检测模块和故障定位模块。(1)该异常检测模块，用于自动检测各性能指标的异常情况，若出现指标异常则提交给故障定位模块进行故障根因识别；由于不同类别不同层次的性能指标数据的特征不同，数据波动情况也不同，需要设定不同方法进行检测。一般分为固定阈值检测法和动态阈值检测法。固定阈值检测法：对于波动平稳的普通指标数据，只需在服务器端设定合适范围的恒定阈值，若当前指标数据值超过该阈值范围，则视为出现异常。固定阈值的取值可依据海量历史数据并使用统计学方法进行阈值的自动计算。该方法的基本思想是假设某指标的历史数据基本服从正态分布，则该指标数据基本分布在均值[-3σ,+3σ]，偏离这个区间的概率只有0.003，则将[-3σ,+3σ]设定为固定阈值区间。其中标准差σ的计算公式为：其中，N表示数据个数，xi为第i个数据的值，μ代表均值，σ是标准差。动态阈值检测法：对于具有明显趋势性、周期性的指标数据，如业务层的成交量指标往往具有以天为周期的周期性和逐渐增长的趋势性，一般采用动态阈值检测法。首先可采用指数平滑法(如三次指数平滑法)学习数据原本的趋势性，再将性能指标的时间序列数据按天进行分段，并设定本文档来自技高网...

【技术保护点】
1.一种基于多源异构数据融合的信息系统性能立体监测方法，其特征在于，包括以下步骤：（1）采集信息系统的性能指标监测数据；（2）将获取的多源异构指标数据进行数据融合处理；（3）将融合处理后的指标数据通过信息系统性能评价模型检测各性能指标数据的异常信息，并对异常信息进行故障根因定位；（4）对各指标的下一时刻数据值做出预测，提前感知系统的性能态势；（5）将故障信息接入告警平台并统一格式化处理，然后通过关联挖掘策略对告警信息进行同类挖掘、合并压缩，最后将压缩后的告警信息发送给相关人员处理。

【技术特征摘要】
1.一种基于多源异构数据融合的信息系统性能立体监测方法，其特征在于，包括以下步骤：（1）采集信息系统的性能指标监测数据；（2）将获取的多源异构指标数据进行数据融合处理；（3）将融合处理后的指标数据通过信息系统性能评价模型检测各性能指标数据的异常信息，并对异常信息进行故障根因定位；（4）对各指标的下一时刻数据值做出预测，提前感知系统的性能态势；（5）将故障信息接入告警平台并统一格式化处理，然后通过关联挖掘策略对告警信息进行同类挖掘、合并压缩，最后将压缩后的告警信息发送给相关人员处理。2.根据权利要求1所述的基于多源异构数据融合的信息系统性能立体监测方法，其特征在于：所述性能指标包括基础资源型指标、网络性能指标、应用性能指标。3.根据权利要求2所述的基于多源异构数据融合的信息系统性能立体监测方法，其特征在于：所述基础资源型指标包括CPU占比、内存占比；所述网络性能指标包括网络吞吐量、网络延时及连接建立时间；所述应用性能指标包括并发连接数、应用响应时间及服务端重置率。4.根据权利要求1所述的基于多源异构数据融合的信息系统性能立体监测方法，其特征在于：所述步骤（2）中，将获取的性能指标进行数据融合处理，具体步骤如下：（1）统一格式化处理：对多源异构数据进行统一数据标识和统一存储格式；（2）数据值处理：对缺失值填充和异常值检测、处理；（3）数据脱敏和存储：对数据进行脱敏处理和数据分类存储。5.根据权利要求1所述的基于多源异构数据融合的信息系统性能立体监测方法，其特征在于：所述步骤（3），信息系统性能评价模型包括异常检测模块和故障定位模块，所述异常检测模块，用于自动检测各性能指标的异常情况，若出现指标异常则提交给故障...

【专利技术属性】
技术研发人员：夏同飞，李志，章玉龙，高文俊，韩宗磊，李郭闫，闵星，赵峰，
申请(专利权)人：安徽继远软件有限公司，国网信息通信产业集团有限公司，
类型：发明
国别省市：安徽,34