一种大数据平台的监控方法及装置制造方法及图纸

本发明专利技术公开了一种大数据平台的监控方法及装置，该方法包括：先获取大数据平台中的基本信息和历史告警链路集；然后提取所述基本信息中的异常信息；接着在所述历史告警链路集中确定出包含所述异常信息的第一告警链路；最后基于所述第一告警链路进行预警，实现了对大数据平台中未发生的故障进行预测，提升了用户体验。验。验。

【技术实现步骤摘要】
一种大数据平台的监控方法及装置


[0001]本专利技术属于计算机
，具体涉及一种大数据平台的监控方法及装置。

技术介绍

[0002]大数据的本质是对海量数据进行存储和分析，面对庞大的数据和复杂的处理流程，一些异常总归是不可避免的，而大数据平台监控则是在碰到一些异常，例如机器故障、组件故障和数据异常等场景时，能及时通知到相关负责人，让相关人员及时介入，降低故障带来的不利影响。
[0003]现有的大数据平台监控主要包括采集、存储、展示和告警，但现有技术中存在如下缺点：1、采集的数据较多时，给存储带来挑战，同时也提高了存储成本；2、现有的告警流程为来一次异常便发送一次告警，在大数据复杂的运行场景下，“雪崩”现象很常见，会引发频繁告警，在一个异常引发其他异常的情况下会多次告警；3、不能对未发生的故障进行预测。
[0004]因此，如何对大数据平台未发生的故障进行预测，提升告警准确度，是本领域技术人员有待解决的技术问题。

技术实现思路

[0005]本专利技术的目的是为了解决现有技术中大数据平台监控中未发生故障不能进行预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据平台的监控方法，其特征在于，所述方法包括：获取大数据平台中的基本信息和历史告警链路集；提取所述基本信息中的异常信息；在所述历史告警链路集中确定出包含所述异常信息的第一告警链路；基于所述第一告警链路进行预警。2.如权利要求1所述的大数据平台的监控方法，其特征在于，获取所述基本信息后还包括对所述基本信息进行过滤，并将过滤后的基本信息存储在所述大数据平台中。3.如权利要求1所述的大数据平台的监控方法，其特征在于，所述方法还包括：接收告警事件；根据预设时间周期、所述告警事件的状态和所述告警事件的时间顺序确定所述告警事件的队列，所述队列包括第一队列和第二队列，所述第一队列的优先级高于所述第二队列；若所述第二队列中的告警事件为所述第一队列中告警事件所引发，则将所述第二队列中的告警事件进行收敛，并将所述第一队列中位于同一告警链路的告警事件进行聚合后进行发送，若所述第二队列中的告警事件不为所述第一队列中告警事件所引发，则将所述第一队列中位于同一告警链路中的告警事件进行聚合后发送，并将所述第二队列中位于同一告警链路中的告警事件进行聚合后发送。4.如权利要求1所述的大数据平台的监控方法，其特征在于，所述方法还包括对所述异常信息进行定期清理。5.一种大数据平台的监控装置，其特征在于，所述装置包括获...

【专利技术属性】
技术研发人员：张文培，
申请(专利权)人：上海中通吉网络技术有限公司，
类型：发明
国别省市：