大数据组件的监测方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种大数据组件的监测方法、装置及电子设备，涉及大数据技术领域，该方法包括通过预设接口，获取该待监测大数据组件的实时监测数据；根据该实时监测数据，确定预设监测项的数值；根据该监测项的数值对该待监测大数据组件进行监测。本发明专利技术实施例通过大数据组件本身的预设对外接口或者大数据署框架的预设对外接口，获取组件的实时监测数据，然后对该实时监测数据进行解析处理，得到监测项的数值，进而根据该监测项的数值对组件进行监测，该方式不需要依赖外部组件即实现对大数据组件的运行状态进行监测，其可以应用于任意部署有大数据组件的环境中，具有更好的监测灵活性。

【技术实现步骤摘要】
大数据组件的监测方法、装置及电子设备
本专利技术涉及大数据
，尤其是涉及一种大数据组件的监测方法、装置及电子设备。
技术介绍
目前，对大数据组件进行监测的方案包括以下三种，第一种是通过大数据自动化运维工具结合外部组件实现监测，其中，通过运维工具如HDP(HortonworksDataPlatform)或CDH(ClouderaDistributionHadoop)等采集大数据组件的状态信息，并通过外部组件实现监测告警通知。第二种监测方案用于大数据原生自建系统，该方案要求安装第三方开源组件对自建系统中的大数据组件进行监测，且每个大数据组件均需要独立的监测系统进行监测。第三种方案用于对云端大数据组件的监测，其一般是通过Docker内进程进行大数据组件的信息采集，并将采集到的信息上报到统一接入服务，并最终存储到数据库中。整体而言，现有的大数据组件监测方式，均需要依赖外部组件实现，而考虑到公有云大数据领域的集群部署通常是在虚拟网络中，集群中每个虚拟机网络之间相互隔离，因而无法通过设置外部组件的方式，获取集群中各个虚拟机的大数据组件信息。<本文档来自技高网...

【技术保护点】
1.一种大数据组件的监测方法，其特征在于，所述方法应用于第一服务器，所述第一服务器与运行有待监测大数据组件的第二服务器通信连接，所述方法包括：/n通过预设接口，获取所述待监测大数据组件的实时监测数据；/n根据所述实时监测数据，确定预设监测项的数值；/n根据所述监测项的数值对所述待监测大数据组件进行监测。/n

【技术特征摘要】
1.一种大数据组件的监测方法，其特征在于，所述方法应用于第一服务器，所述第一服务器与运行有待监测大数据组件的第二服务器通信连接，所述方法包括：
通过预设接口，获取所述待监测大数据组件的实时监测数据；
根据所述实时监测数据，确定预设监测项的数值；
根据所述监测项的数值对所述待监测大数据组件进行监测。


2.根据权利要求1所述的大数据组件的监测方法，其特征在于，所述通过预设接口，获取所述待监测大数据组件的实时监测数据的步骤，包括：
读取所述待监测大数据组件的预设第一对外接口，或者，读取所述第二服务器中大数据部署框架的预设第二对外接口，得到所述待监测大数据组件的实时监测数据。


3.根据权利要求2所述的大数据组件的监测方法，其特征在于，所述读取所述待监测大数据组件的预设第一对外接口的步骤，包括：
通过预设的数据采集服务读取所述待监测大数据组件的预设第一对外接口。


4.根据权利要求2所述的大数据组件的监测方法，其特征在于，所述第一对外接口包括Java管理扩展应用程序接口，其中，所述Java管理扩展应用程序接口用于对外提供所述待监测大数据组件的运行状态数据。


5.根据权利要求1所述的大数据组件的监测方法，其特征在于，所述根据所述实时监测数据，确定预设监测项的数值的步骤，包括：
将所述实时监测数据转化为指定存储格式的数据；
按照预设的元数据规则对格式转化后的所述数据进行解析处理，得到预设监测项的数值。


6.根据权利要求5所述的大数据组件的监测方法，其特征在于，所述按照预设的元数据规则对格式转化后的所述数据进行解析处理，得到预设监测项的数值的步骤，包括：
根据格式转化后的所述数据的数据类型，将所述数据发送到指定消息队列中与所述数据类型对应的主题中；
通过预设的流程序，从所述消息队列中与所述流程序相匹配的主题中拉取数据；
按照预设的元数据规则对拉取到的数据进行解析处理，得到预设监测项的数值。


7.根据权利要求6所述的大数据组件的监测方法，其特征在于，所述根据格式转化后的所述数据的数据类型，将所述数据发送到指定消息队列中与所述数据类型对应的主题中的步骤，包括：
根据格式转化后的所述数据的数据类型，...

【专利技术属性】
技术研发人员：刘彬，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：北京;11