数据采集方法及装置制造方法及图纸

本申请提供了一种数据采集方法及装置，其中，该方法包括：将多个probe设置为一组，网管侧设备将采集任务进行分片，将该采集任务的多个分片分配至一组probe进行处理，采用该方案，由于一组probe内存在多个probe，提升了被下发的采集任务的完成率，避免了相关技术中一个probe不能完成采集任务导致的问题，例如，重新进行任务分配，或者采集任务延迟完成等，解决了相关技术中通过probe进行数据采集时采集效率低且不稳定的问题。

Data Acquisition Method and Device

【技术实现步骤摘要】
数据采集方法及装置
本申请涉及但不限于计算机领域，具体而言，涉及一种数据采集方法及装置。
技术介绍
在相关技术中，在信息技术(InformationTechnology，简称为IT)监控项目中，需要通过采集数据进行项目监测，图1是根据相关技术中的网管监控平台的架构示意图，如图1所示，需要对大量的网络设备、软件中间件、虚拟化资源、存储、数据库等资源进行主动的周期性采集，针对网管监控平台产品开发一种采集终端程序probe，每个采集probe支持各类采集对象的采集。网管监控平台向多个probe下发采集任务，采集probe通过各种协议开发的方式对采集对象进行数据采集，将采集的结果数据用Kafka发送给网管监控平台。在网络环境中部署多个采集probe，采集这些硬、软件对象的资源配置、性能指标数据，汇总到网管监控平台系统进行资源管理、性能数据分析、实时告警。针对相关技术中通过probe进行数据采集时采集效率低且不稳定的问题，目前还没有有效的解决方案。
技术实现思路
本申请实施例提供了一种数据采集方法及装置，以至少解决相关技术中通过probe进行数据采集时采集效率低且不稳定的问题。根据本申请的一个实施本文档来自技高网...

【技术保护点】
1.一种数据采集方法，其特征在于，包括：网管侧设备获取待分配的用于采集数据的采集任务，划分所述采集任务为多个分片；分配部分或全部所述多个分片至分布式服务器的一组采集终端程序probe，并按照预设规则将部分或全部所述多个分片分配至所述一组probe的多个probe进行处理。

【技术特征摘要】
1.一种数据采集方法，其特征在于，包括：网管侧设备获取待分配的用于采集数据的采集任务，划分所述采集任务为多个分片；分配部分或全部所述多个分片至分布式服务器的一组采集终端程序probe，并按照预设规则将部分或全部所述多个分片分配至所述一组probe的多个probe进行处理。2.根据权利要求1所述的方法，其特征在于，按照预设规则将部分或全部所述多个分片分配至所述一组probe的多个采集终端程序probe进行处理之前，所述方法还包括：为所述一组probe中的每个probe分配分片数值。3.根据权利要求2所述的方法，其特征在于，为所述一组probe中的每个probe分配分片数值，包括：按照平均分片策略，为所述一组probe中的每个probe分配分片数值。4.根据权利要求2所述的方法，其特征在于，为所述一组probe中的每个probe分配分片数值，包括：在检测到所述一组probe中的probe发生改变时，重新为改变后组内probe分配所述分片数值。5.根据权利要求2所述的方法，其特征在于，按照预设规则将部分或全部所述多个分片分配至所述一组probe的多个采集终端程序probe进行处理，包括：在一个分片的任务号TASK_NO的尾数为第一数值时，将所述分片分配至分片数值中包括所述第一数值的probe。6.根据权利要求1所述的方法，其特征在于，按照预设规则将部分或全部所述多个分片分配至所述一组probe的多个采集终端程序probe进行处理之后，所述方法包括：在检测到所述一组probe中的第一probe的采集延迟满足预设条件时，复制所述第一probe至另一组probe中，形成第二probe，其中，所述第二probe用于执行与所述第一probe相同的采集任务。7.根据权利要求6所述的方法，其特征在于，所述另一组probe与所述一组probe...

【专利技术属性】
技术研发人员：陈志刚，
申请(专利权)人：北京明略软件系统有限公司，
类型：发明
国别省市：北京,11