一种针对于大数据平台故障的智能识别预警装置及方法制造方法及图纸

一种针对于大数据平台故障的智能识别预警装置及方法,属于大数据平台智能运维技术，特别涉及到一种平台故障的发现、排除和预警。与现有技术相比，本发明专利技术的有益效果是：能够解决大数据平台应用运行指标异常的发现问题，提早做出故障的预警。能够从大数据平台历史故障中挖掘规律，以用于对未来故障的预判，更好的保证系统稳定性。

An intelligent identification and early warning device and method for big data platform fault

【技术实现步骤摘要】
一种针对于大数据平台故障的智能识别预警装置及方法
本专利技术属于大数据平台智能运维技术，特别涉及到一种大数据平台故障的智能识别预警装置及方法。
技术介绍
大数据平台上承载着无数的应用和服务，是企业中非常宝贵的资源，随着大数据平台在各行各业的广泛推广，大数据应用运行的稳定性越来越重要，采取更智能的手段提早发现微弱指标的变化，并对于即将发生的故障进行预警是非常关键的。现有技术：目前，对大数据应用运行故障预测的方法主要为以下两种：(1)组件离散化监控利用平台上各个组件自身的监控手段，采取多方面的数据，通过研发监控平台将众多数据汇聚后，统一可视化，运维人员基于平台进行人工判断，进行系统故障预料和原因分析。(2)基于阈值的预警针对关键运行指标进行阈值的设定，将触发阈值的指标进行预警，如设定“平台Job消耗内存的比率”阈值为50％，如果该值大于50％，则认为存在问题，发出告警。现有技术缺陷：①现有技术(1)中，需要利用大数据平台各个组件的自身的监控模块，一方面，某些组件在大数据平台构建时是非默认的，还需要安装额外的组件进行支持，该方法复杂度非常大，风险也较高，一旦安装不好会影响平台运行；另一方面即使将多个组件的数据汇聚到一起，还是需要人工的判断，准确度难以保证，需要非常专业的运维工程师的专业判断，才不至于发生误判。所以该方法复杂性高，运维成本大，不具有实际推广价值；②技术(2)通过传统运维的方式，针对关键的业务指标进行阈值设置，该种方法虽然可以最直接的报告指标的异常情况，但是却存在如下两个问题：1)阈值预警需要人工设定，若设定不合理很容易导致漏判和误判；2)大数据应用运行具有时间的特殊性，往往白天和夜晚、工作日和非工作日之间的数值差距还是非常明显的，不能一味地设定相同的阈值，若要分日、分时来设定阈值，则需要消耗更多的运维人力，成本巨大；3)即便如此，技术(2)中的阈值预警的时候，实际故障已经发生了，并没有做到用户希望的提前预判。因此，现有技术中亟需一种新的技术方案来解决上述问题。
技术实现思路
本专利技术所要解决的技术问题：提供一种针对于大数据平台故障的智能识别预警装置及方法。通过监控大数据平台多层数据指标的变化模型，并建立基于该变化的跨层关联准确获取故障传播链，以识别出大数据应用层故障的前兆特征，提前进行故障预警。一种针对于大数据平台故障的智能识别预警装置，其特征在于：包括平台数据接收器、平台指标分层存储器、分层指标模型微控器、平台指标判断仪、频繁项集算法处理器、故障报警器，所述平台数据接收器通过数据线与平台指标分层存储器进行数据传输连接；所述分层指标模型微控器通过数据线分别与平台指标分层存储器、频繁项集算法处理器、及故障报警器进行数据传输连接；所述平台指标判断仪通过数据线与分层指标模型微控器进行双向数据传输连接；所述频繁项集算法处理器通过数据线与平台指标判断仪进行数据传输连接。所述平台数据接收器通过数据线与大数据平台进行数据传输连接。所述故障报警器上设置有闪灯和蜂鸣器。所述故障报警器通过电源线与外接电源连接。一种针对于大数据平台故障的智能识别预警方法，采用上述一种针对于大数据平台故障的智能识别预警装置，其特征在于：包括以下步骤步骤一、平台数据接收器通过数据线接收大数据平台发送的指标数据，其中指标数据包括应用层指标、平台层指标和设备层指标；步骤二、平台指标分层存储器将步骤一中平台数据接收器接收到的大数据平台发送来的指标数据，分为应用层指标数据集、平台层指标数据集和设备层指标数据集进行分层存储；步骤三、分层指标模型微控器分层构建指标变化模型，包括应用层指标变化模型、平台层指标变化模型及设备层指标变化模型，其中指标变化模型中录入指标变化率、指标变化强度和指标变化方向；步骤四、平台指标判断仪依据步骤三中分层指标模型微控器构建的指标变化模型进行异常指标确定判断，①5％≤指标变化率<20％平台指标判断仪判断为正常，20％≤指标变化率<50％平台指标判断仪判断为异常，指标变化率≥50％平台指标判断仪判断为故障；②5％≤指标变化强度<20％平台指标判断仪判断为正常，20％≤指标变化强度<50％平台指标判断仪判断为异常，指标变化强度≥50％平台指标判断仪判断为故障；③5％≤指标变化方向<20％平台指标判断仪判断为正常，20％≤指标变化方向<50％平台指标判断仪判断为异常，指标变化方向≥50％平台指标判断仪判断为故障；其中平台指标判断仪判断为异常时，通过数据线将异常信息包回传给分层指标模型微控器，故障报警器接收到分层指标模型微控器的指令，发出大数据平台异常报警；其中平台指标判断仪判断为故障时，通过数据线将故障信息包发送给频繁项集算法处理器；步骤五、频繁项集算法处理器接收到步骤四平台指标判断仪发送的故障信息包，根据应用层指标、平台层指标和设备层指标中之故障指标数量，及故障指标所在的指标数据集，通过FP-GROWTH频繁项集算法获得故障链；步骤六、频繁项集算法处理器将获得的故障链数据包发送给分层指标模型微控器，故障报警器接收到分层指标模型微控器的指令，发出大数据平台故障报警。所述应用层指标包括任务个数指标、任务执行时间指标、系统存储余量指标及单个任务占用内存指标。所述平台层指标包括程序单位时间写入次数指标、软件日志占用内存指标、文件链接数指标、系统存储余量指标及平均超时时长指标。所述设备层指标包括网络流量指标、Cpu处理器空闲率指标、可用内存数指标及系统负载参数指标。步骤四中所述指标变化率CR为CR＝(M-N)/N，其中CR为指标变化率、M为指标当前值、N为指标上一个单位时间的值。所述单位时间为5分钟。与现有技术相比，本专利技术的有益效果是：能够解决大数据平台应用运行指标异常的发现不及时问题，提早做出故障的预警。能够从大数据平台历史故障中挖掘规律，以用于对未来故障的预判，更好的保证系统稳定性。附图说明以下结合附图和具体实施方式对本专利技术作进一步的说明。图1为本专利技术一种针对于大数据平台故障的智能识别预警装置的结构示意图。图2为本专利技术一种针对于大数据平台故障的智能识别预警方法的流程图。其中，1-平台数据接收器、2-平台指标分层存储器、3-分层指标模型微控器、4-平台指标判断仪、5-频繁项集算法处理器、6-故障报警器、7-大数据平台。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。一种针对于大数据平台故障的智能识别预警装置，其特征在于：包括平台数据接收器1、平台指标分层存储器2、分层指标模型微控器3、平台指标判断仪4、频繁项集算法处理器5、故障报警器6，所述平台数据接收器1通过数据线与平台指标分层存储器2进行数据传输连接；所述分层指标模型微控器3通过数据线分别与平台指标分层存储器2、频繁项集算法处理器5、及故障报警器6进行数据传输连接；所述平台指标判断仪4通过数据线与分层指标模型微控器4进行双向数据传输连接；所述频繁项集算法处理器5通过数据线与平台指标判断仪4进行数据传输连接。所述平台数据接收器1通过数据线与大数据平台7进行数据传输连接。所述故障报警器6上设置有闪灯和蜂鸣器。所述故障报警器6通过电源线与外接电源连接。一种针对于大数据平台故障的智能识别预警方法，采用本文档来自技高网...

【技术保护点】
1.一种针对于大数据平台故障的智能识别预警装置，其特征在于：包括平台数据接收器、平台指标分层存储器、分层指标模型微控器、平台指标判断仪、频繁项集算法处理器、故障报警器，所述平台数据接收器通过数据线与平台指标分层存储器进行数据传输连接；所述分层指标模型微控器通过数据线分别与平台指标分层存储器、频繁项集算法处理器、及故障报警器进行数据传输连接；所述平台指标判断仪通过数据线与分层指标模型微控器进行双向数据传输连接；所述频繁项集算法处理器通过数据线与平台指标判断仪进行数据传输连接。

【技术特征摘要】
1.一种针对于大数据平台故障的智能识别预警装置，其特征在于：包括平台数据接收器、平台指标分层存储器、分层指标模型微控器、平台指标判断仪、频繁项集算法处理器、故障报警器，所述平台数据接收器通过数据线与平台指标分层存储器进行数据传输连接；所述分层指标模型微控器通过数据线分别与平台指标分层存储器、频繁项集算法处理器、及故障报警器进行数据传输连接；所述平台指标判断仪通过数据线与分层指标模型微控器进行双向数据传输连接；所述频繁项集算法处理器通过数据线与平台指标判断仪进行数据传输连接。2.根据权利要求1所述的一种针对于大数据平台故障的智能识别预警装置，其特征在于：所述平台数据接收器通过数据线与大数据平台进行数据传输连接。3.根据权利要求1所述的一种针对于大数据平台故障的智能识别预警装置，其特征在于：所述故障报警器上设置有闪灯和蜂鸣器。4.根据权利要求1或3所述的一种针对于大数据平台故障的智能识别预警装置，其特征在于：所述故障报警器通过电源线与外接电源连接。5.一种针对于大数据平台故障的智能识别预警方法，采用如权利要求1所述的一种针对于大数据平台故障的智能识别预警装置，其特征在于：包括以下步骤步骤一、平台数据接收器通过数据线接收大数据平台发送的指标数据，其中指标数据包括应用层指标、平台层指标和设备层指标；步骤二、平台指标分层存储器将步骤一中平台数据接收器接收到的大数据平台发送来的指标数据，分为应用层指标数据集、平台层指标数据集和设备层指标数据集进行分层存储；步骤三、分层指标模型微控器分层构建指标变化模型，包括应用层指标变化模型、平台层指标变化模型及设备层指标变化模型，其中指标变化模型中录入指标变化率、指标变化强度和指标变化方向；步骤四、平台指标判断仪依据步骤三中分层指标模型微控器构建的指标变化模型进行异常指标确定判断，①5％≤指标变化率<20％平台指标判断仪判断为正常，20％≤指标变化率<50％平台指标判断仪判断为异常，指标变化率≥50％平台指标判断仪判断为故障；②5％≤指标指标变化强度...

【专利技术属性】
技术研发人员：杨林，于富东，匙凯，
申请(专利权)人：吉林吉大通信设计院股份有限公司，
类型：发明
国别省市：吉林,22