数据采集方法、数据采集器和系统技术方案

本发明专利技术公开了一种数据采集方法、数据采集器和系统。其中，数据采集方法包括：采集器接收来自服务器的采集启动命令；采集器在接收到采集启动命令后对目标设备进行数据采集，得到目标数据；采集器对目标数据进行预处理，得到反馈数据；以及采集器将反馈数据反馈至服务器进行存储。通过本发明专利技术，解决了现有技术中数据采集方法容易造成网络服务器稳定性下降的问题，进而达到了提高服务器稳定性的效果。

【技术实现步骤摘要】

本专利技术涉及数据处理领域，具体而言，涉及一种数据采集方法、数据采集器和系统。
技术介绍
现有技术中服务器Server对来自各个采集器Collector的采集数据一般采用轮询控制的方式进行处理及存储，如图1所示，服务器在轮询控制方式下对采集数据进行缓存处理后将数据存入DB数据库中，这种采集模型实现简单，在少量采集数据的情况下该模型是可用的，但是在该模型中服务器承载了采集调度、DB数据库存储调度以及未拥塞数据的简单缓存，所以此种采集模型对服务器的要求很高，在现网环境中是存在严重的性能瓶颈的，会导致如下几个方面的性能拥塞：1、Server的资源是有限的，轮询控制会使用Server的线程CPU和内存资源，这会导致Server线程、CPU、内存等资源相对紧张的时候会出现Server处理的性能瓶颈，增大服务器的数据处理压力，降低服务器稳定性。2、由于现有的数据采集模型中Server与Collector是一对多的关系，Collector在取得数据之后如果不做任何处理直接返回给Server，由Server负责原始数据到对象数据的转换，这种架构不对等的数据采集模型使得Collector的多个处理核心没有充分利用，而Server的这个处理核心负担特别大，当Collector足够多的时候Server的这个1个处理核心是无法负担的，同样造成数据采集模型存在潜在的性能瓶颈，增大服务器的数据处理压力，降低服务器稳定性。3、DB数据库的存储是一个慢速过程，如果Collector返回数据的时机处理不好，例如Server没有处理好发起采集的时间点，导致Collector返回数据过于集中，而Server又不能将大量的数据存放到DB数据库之中，这样就会导致这些返回数据在Server的缓存队列中发生拥塞，极端情况下会用光Server有限的内存资源，导致Server的崩溃。4、现有的数据采集模型中服务器中的其他数据处理模块同样会来争抢Server的系统资源，这种情况会更加增大服务器的处理压力。针对相关技术中数据采集方法容易造成网络服务器稳定性下降的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术的主要目的在于提供一种数据采集方法、数据采集器和系统，以解决现有技术中数据采集方法容易造成网络服务器稳定性下降的问题。为了实现上述目的，根据本专利技术的一个方面，提供了一种数据采集方法，包括：采集器接收来自服务器的采集启动命令；采集器在接收到采集启动命令后对目标设备进行数据采集，得到目标数据；采集器对目标数据进行预处理，得到反馈数据；以及采集器将反馈数据反馈至服务器进行存储。进一步地，采集器包括多个采集器，采集器将反馈数据反馈至服务器进行存储包括：第一采集器发送线程请求指令至服务器，其中，服务器通过不同的数据传输线程接收来自多个采集器的反馈数据，服务器还用于在接收到线程请求指令后反馈空闲数据传输线程至第一采集器，第一采集器为多个采集器中的任一采集器；以及第一采集器通过第一数据传输线程将第一反馈数据发送至服务器进行存储，其中，第一反馈数据为第一采集器对采集到的目标数据进行预处理后得到的反馈数据，第一数据传输线程为服务器反馈的空闲数据传输线程。进一步地，在第一采集器通过第一数据传输线程将第一反馈数据发送至服务器之后，数据采集方法还包括：服务器通过第一数据传输线程接收第一反馈数据；以及服务器通过第一DB通道将第一反馈数据存储至数据库，其中，服务器还用于通过不同的DB通道将第一反馈数据存储至数据库，第一DB通道为与第一数据传输线程相对应的DB通道。进一步地，在第一采集器发送线程请求指令至服务器之前，数据采集方法还包括：比较各个采集器的反馈数据的优先级；以及确定各个采集器发送线程请求指令的顺序与比较出的优先级顺序相对应。进一步地，通过比较各个采集器的目标数据的COS标记来比较反馈数据的优先级。进一步地，采集器包括多个采集器，在采集器接收来自服务器的采集启动命令之后，并且在采集器对目标设备进行数据采集之前，数据采集方法还包括：第一采集器启动第一调度线程，其中，第一采集器为多个采集器中的任一采集器；以及在第一调度线程进行数据采集时，从采集线程池中获取采集线程资源，其中，采集线程池为池化后的SNMP采集线程资源，其中，在获取到采集线程资源之后对目标设备进行数据采集。进一步地，预处理包括以下处理方式中的任意一种或多种：差量运算、百分比运算和总量运算。进一步地，数据采集方法还包括：采集器接收来自服务器的参数修改命令；以及采集器在当前数据采集结束后按照参数修改命令更新采集参数。为了实现上述目的，根据本专利技术的另一方面，提供了一种数据采集器，包括：接收单元，用于接收来自服务器的采集启动命令；采集单元，用于在接收到采集启动命令后对目标设备进行数据采集，得到目标数据；处理单元，用于对目标数据进行预处理，得到反馈数据；以及反馈单元，用于将反馈数据反馈至服务器进行存储。为了实现上述目的，根据本专利技术的另一方面，提供了一种数据采集系统，包括：服务器；以及本专利技术上述内容所提供的数据采集器。通过本专利技术，采用采集器接收来自服务器的采集启动命令；采集器在接收到采集启动命令后对目标设备进行数据采集，得到目标数据；采集器对目标数据进行预处理，得到反馈数据；以及采集器将反馈数据反馈至服务器进行存储。通过在接收到服务器发起的采集启动命令后，由采集器对目标设备进行数据采集，并对采集到的目标数据进行预处理后再反馈给服务器，此种通过采集器对目标数据进行预处理的方式，直接使用了采集器的处理核心，避免占用服务器Server的线程CPU和内存资源，降低了服务器的数据处理压力，解决了现有技术中数据采集方法容易造成网络服务器稳定性下降的问题，进而达到了提高服务器稳定性的效果。附图说明构成本申请的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据相关技术的数据采集系统的示意图；图2是根据本专利技术实施例的数据采集方法的流程图；图3是采用本专利技术实施例的数据采集方法进行数据保存的示意图；图4是根据本专利技术实施例的数据采集器的示意图；以及图5是根据本专利技术实施例的数据采集系统的示意图。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本专利技术。本专利技术实施例提供了一种数据采集方法，以下对本专利技术实本文档来自技高网...

【技术保护点】
一种数据采集方法，其特征在于，包括：采集器接收来自服务器的采集启动命令；所述采集器在接收到所述采集启动命令后对目标设备进行数据采集，得到目标数据；所述采集器对所述目标数据进行预处理，得到反馈数据；以及所述采集器将所述反馈数据反馈至所述服务器进行存储。

【技术特征摘要】
1.一种数据采集方法，其特征在于，包括：
采集器接收来自服务器的采集启动命令；
所述采集器在接收到所述采集启动命令后对目标设备进行数据采集，得到目
标数据；
所述采集器对所述目标数据进行预处理，得到反馈数据；以及
所述采集器将所述反馈数据反馈至所述服务器进行存储。
2.根据权利要求1所述的数据采集方法，其特征在于，所述采集器包括多个采集器，
所述采集器将所述反馈数据反馈至所述服务器进行存储包括：
第一采集器发送线程请求指令至所述服务器，其中，所述服务器通过不同的
数据传输线程接收来自所述多个采集器的反馈数据，所述服务器还用于在接收到
所述线程请求指令后反馈空闲数据传输线程至所述第一采集器，所述第一采集器
为所述多个采集器中的任一采集器；以及
所述第一采集器通过第一数据传输线程将第一反馈数据发送至所述服务器进
行存储，其中，所述第一反馈数据为所述第一采集器对采集到的目标数据进行预
处理后得到的反馈数据，所述第一数据传输线程为所述服务器反馈的空闲数据传
输线程。
3.根据权利要求2所述的数据采集方法，其特征在于，在所述第一采集器通过第一
数据传输线程将第一反馈数据发送至所述服务器之后，所述数据采集方法还包括：
所述服务器通过所述第一数据传输线程接收所述第一反馈数据；以及
所述服务器通过第一DB通道将所述第一反馈数据存储至所述数据库，其中，
所述服务器还用于通过不同的DB通道将所述第一反馈数据存储至所述数据库，
所述第一DB通道为与所述第一数据传输线程相对应的DB通道。
4.根据权利要求2所述的数据采集方法，其特征在于，在所述第一采集器发送线程
请求指令至所述服务器之前，所述数据采集方法还包括：
比较各个采集器的反馈数据的优先级...

【专利技术属性】
技术研发人员：胡江昳，李永成，
申请(专利权)人：鼎点视讯科技有限公司，
类型：发明
国别省市：北京;11