【技术实现步骤摘要】
大数据平台实时监控方法、装置、介质及电子设备
本申请涉及平台监控
，具体而言，涉及一种大数据平台实时监控方法、装置、介质及电子设备。
技术介绍
随着大数据的普及，各个公司的自有大数据平台往往都有很大的数据存量以及日增量，大数据平台的可用率的重要性不言而喻。在一些重要的应用上，大数据平台的可用率甚至是100％可用率，也就意味着大数据平台要随时都是可访问的。进而，对这些大数据平台的监控尤为重要。目前在进行大数据平台监控时，通常通过对平台的各个监控数据与一阈值进行比较，实现异常监控，当监测到异常数据时，进行告警。这样存在大数据平台监控时，监控数据过于离散化，异常告警频繁，使得大数据平台监控可靠性较低。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本申请的目的在于提供一种大数据平台实时监控方案，进而至少在一定程度上提升大数据平台实时监控可靠性。根据本申请的一个方面，提供一种大数据平台实时监控方法，...
【技术保护点】
1.一种大数据平台实时监控方法，其特征在于，包括：/n采集大数据平台的性能相关数据及队列资源信息；/n将所述性能相关数据转化为第一规则数据，并将所述队列资源信息转化为第二规则数据，所述第一规则数据与所述第二规则数据是预定格式的数据；/n将所述第一规则数据及所述第二规则数据进行数据融合，得到多类融合数据；/n提取所述多类融合数据中具有指标关联关系的多个类的融合数据，并计算与所述指标关联关系对应的平台监控指标的平台调度情况分数；/n当所述平台调度情况分数低于预定阈值时，利用所述平台监控指标关联的性能相关数据及队列资源信息分析所述大数据平台的调度瓶颈。/n
【技术特征摘要】
1.一种大数据平台实时监控方法，其特征在于，包括：
采集大数据平台的性能相关数据及队列资源信息；
将所述性能相关数据转化为第一规则数据，并将所述队列资源信息转化为第二规则数据，所述第一规则数据与所述第二规则数据是预定格式的数据；
将所述第一规则数据及所述第二规则数据进行数据融合，得到多类融合数据；
提取所述多类融合数据中具有指标关联关系的多个类的融合数据，并计算与所述指标关联关系对应的平台监控指标的平台调度情况分数；
当所述平台调度情况分数低于预定阈值时，利用所述平台监控指标关联的性能相关数据及队列资源信息分析所述大数据平台的调度瓶颈。
2.根据权利要求1所述的方法，其特征在于，所述将所述性能相关数据转化为第一规则数据，并将所述队列资源信息转化为第二规则数据，包括：
将所述性能相关数据中每个数据中的字段进行字段拼接得到拼接数据后，将所述拼接数据归一化为所述第一规则数据；
将所述队列资源信息与预定阈值比较得到比较结果后，将所述比较结果归一化为所述第二规则数据。
3.根据权利要求1所述的方法，其特征在于，所述将所述第一规则数据及所述第二规则数据进行数据融合，得到多类融合数据，包括：
获取所述大数据平台的预设数据融合策略，所述预设融合策略包括多个数据之间的关联关系；
基于所述关联关系将所述第一规则数据及所述第二规则数据中的数据进行融合，得到多类融合数据。
4.根据权利要求3所述的方法，其特征在于，所述基于所述关联关系将所述第一规则数据及所述第二规则数据中的数据进行融合，包括：
所述第一规则数据及所述第二规则数据中获取对应于同一个关联关系的所有数据；
基于所述同一个关联关系对应的预设融合算法，将所述对应于同一个关联关系的所有数据融合为融合数据。
5.根据权利要求1所述的方法，其特征在于，所述提取所述多类融合数据中具有指标关联关系的多个类的融合数据，计算与所述指标关联关系对应的平台监控指标的平台调度情况分数，包括：
提取同一个指标所对应的多类类融合数据，并获取所述多类融合数据中每类融合数据的预设权重；<...
【专利技术属性】
技术研发人员：毛振赫，贺波，万书武，李均，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。