【技术实现步骤摘要】
本专利技术公开一种方法,涉及数据采集，具体地说是一种基于跨网环境下的高并发数据采集方法。
技术介绍
1、目前行业中监控指标数据能达到30万/秒以上，监控数据采集、展示速率要求达到秒级存储；且设备来自不同厂家、设备类型繁多。目前市场采用监控方式是：运维平台和需要监控设备直接建立联系，通过客户端、协议获取监控数据；监控数据没有独立存储，一旦发生数据丢失，无法找回。运维管控平台一般采用关系数据库存储数据，针对10万/秒以上监控数据，会造成监控数据采集不及时，无法做到秒级存储。目前市场采用数据传输方式是：一种是被监控设备端通过agent向运维管控平台发送消息、一种是管控平台通过snmp、ipmi等协议调用获取监控信息，比较局限。并且目前传输方式会造成数据丢失无法追溯、传输通道堵塞导致采集数据不及时等问题。采用的数据分析方式将监控数据存储到包含业务的关系数据库中，然后进行数据的查询，也会造成业务数据繁杂、冗余。
技术实现思路
1、本专利技术针对现有技术的问题，提供一种基于跨网环境下的高并发数据采集方法，针对设备监控指标多样、监控数据规模大、监控数据采集周期短，进行了优化处理；通过资源解析器对数据进行解析及过滤、同时支持向第三方推送监控数据。
2、本专利技术提出的具体方案是：
3、本专利技术提供一种基于跨网环境下的高并发数据采集方法，构建资源解析器，资源解析器包括资源收集组件、资源管理组件、监控组件、告警组件和通知组件，通过资源解析器接入zabbix组件，
5、通过资源解析器接入kafka集群，建立用于zabbix传输数据的topic，根据设备规模进行分区，分发数据，
6、通过资源管理组件内数据模型解析kafka中传递过来的数据，通过监控组件配置监控对象、监控指标和告警模板，通过资源收集组件根据监控对象、监控指标进行数据采集，通过告警组件根据监控对象、监控指标和告警模板进行异常指标的问题排查与定位，
7、通过资源解析器提供标准化及规范化api，提供自定义多项配置数据联合查询，以及全站检索。
8、进一步，所述的一种基于跨网环境下的高并发数据采集方法中通过资源解析器采用时序数据库matrixdb和数据库elasticsearch存储数据，通过时序数据库matrixdb只存储时间和业务唯一标识，通过数据库elasticsearch存储业务标识和监控数据，建立索引关联时序数据库matrixdb和数据库elasticsearch，通过索引进行关联数据查询。
9、进一步，所述的一种基于跨网环境下的高并发数据采集方法中为kafka集群配置zookeeper集群，采用广播模式，实现kafka集群中各个server之间的数据同步，以便分发数据。
10、进一步，所述的一种基于跨网环境下的高并发数据采集方法中建立数据采集通道，部署filebeat，在yml配置文件配置读取zabbix产生数据的目录，通过数据采集通道向kafka发送数据。
11、本专利技术还提供一种基于跨网环境下的高并发数据采集装置，包括资源解析器，资源解析器包括资源收集组件、资源管理组件、监控组件、告警组件和通知组件，通过资源解析器接入zabbix组件，
12、资源管理组件配置管理，将服务器、网络设备、虚拟机和中间件按照cmdb模式配置监控参数，资源管理组件接入需要采集设备将设备信息及监控指标利用通知组件同步到zabbix组件，
13、资源解析器接入kafka集群，建立用于zabbix传输数据的topic，根据设备规模进行分区，分发数据，
14、资源管理组件内数据模型解析kafka中传递过来的数据，监控组件配置监控对象、监控指标和告警模板，资源收集组件根据监控对象、监控指标进行数据采集，通过告警组件根据监控对象、监控指标和告警模板进行异常指标的问题排查与定位，
15、资源解析器提供标准化及规范化api，提供自定义多项配置数据联合查询，以及全站检索。
16、进一步，所述的一种基于跨网环境下的高并发数据采集装置中资源解析器采用时序数据库matrixdb和数据库elasticsearch存储数据，通过时序数据库matrixdb只存储时间和业务唯一标识，通过数据库elasticsearch存储业务标识和监控数据，建立索引关联时序数据库matrixdb和数据库elasticsearch，通过索引进行关联数据查询。
17、进一步，所述的一种基于跨网环境下的高并发数据采集装置中根据资源解析器为kafka集群配置zookeeper集群，采用广播模式，实现kafka集群中各个server之间的数据同步，以便分发数据。
18、进一步，所述的一种基于跨网环境下的高并发数据采集装置中根据资源解析器建立数据采集通道，部署filebeat，在yml配置文件配置读取zabbix产生数据的目录，通过数据采集通道向kafka发送数据。
19、本专利技术的有益之处是：
20、本专利技术提供一种基于跨网环境下的高并发数据采集方法，构建资源解析器，通过针对监控引擎、数据传输、数据分析等进行了优化处理，提升了整体架构在高并发下数据采集性能。接入zabbix等服务组件，根据设备设置分区，可以有效提高数据管理效率,减少存储空间,降低成本，通过配置数据采集规模，批量提交数据可以提高时序库的性能。模型配置符合cmdb设计模式，监控指标可以动态扩展。资源监控中心将解析后监控指标、指标值，进行数据解析、汇总、入库。监控组件从资源管理中心获取监控信息，可进一步根据组件设定的参数指标进行数据推送，快速实现资源统一管理、运行监控状态实时监控以及故障精准快速定位，为种类各异的基础设施监控管理提供强有力的一体化综合解决方案，辅助运维管理人员的智能化运维。
本文档来自技高网...【技术保护点】
1.一种基于跨网环境下的高并发数据采集方法，其特征是构建资源解析器，资源解析器包括资源收集组件、资源管理组件、监控组件、告警组件和通知组件，通过资源解析器接入Zabbix组件，
2.根据权利要求1所述的一种基于跨网环境下的高并发数据采集方法，其特征是通过资源解析器采用时序数据库MatrixDB和数据库Elasticsearch存储数据，通过时序数据库MatrixDB只存储时间和业务唯一标识，通过数据库Elasticsearch存储业务标识和监控数据，建立索引关联时序数据库MatrixDB和数据库Elasticsearch，通过索引进行关联数据查询。
3.根据权利要求1所述的一种基于跨网环境下的高并发数据采集方法，其特征是为kafka集群配置zookeeper集群，采用广播模式，实现kafka集群中各个Server之间的数据同步，以便分发数据。
4.根据权利要求1所述的一种基于跨网环境下的高并发数据采集方法，其特征是建立数据采集通道，部署Filebeat，在Yml配置文件配置读取Zabbix产生数据的目录，通过数据采集通道向Kafka发送数据。<...
【技术特征摘要】
1.一种基于跨网环境下的高并发数据采集方法，其特征是构建资源解析器，资源解析器包括资源收集组件、资源管理组件、监控组件、告警组件和通知组件，通过资源解析器接入zabbix组件，
2.根据权利要求1所述的一种基于跨网环境下的高并发数据采集方法，其特征是通过资源解析器采用时序数据库matrixdb和数据库elasticsearch存储数据，通过时序数据库matrixdb只存储时间和业务唯一标识，通过数据库elasticsearch存储业务标识和监控数据，建立索引关联时序数据库matrixdb和数据库elasticsearch，通过索引进行关联数据查询。
3.根据权利要求1所述的一种基于跨网环境下的高并发数据采集方法，其特征是为kafka集群配置zookeeper集群，采用广播模式，实现kafka集群中各个server之间的数据同步，以便分发数据。
4.根据权利要求1所述的一种基于跨网环境下的高并发数据采集方法，其特征是建立数据采集通道，部署filebeat，在yml配置文件配置读取zabbix产生数据的目录，通过数据采集通道向kafka发送数据。
5.一...
【专利技术属性】
技术研发人员：吕鹤，张峰，李存冰，陈焕新，贾玉平，王玲，丁义镇，车明轩，
申请(专利权)人：浪潮软件科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。