一种数据采集方法和系统技术方案

本发明专利技术公开了一种数据采集方法和系统，该方法包括：任务调度服务器从数据库中获取待处理的采集任务；任务调度服务器对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一个采集服务器，将该采集任务发送给该选择的采集服务器；各采集服务器根据接收到的采集任务对指定终端设备的进行数据采集，并将相应的数据采集结果返回保存至数据库中。依据本方案，任务调度服务器对采集任务的集中调度，能够保证整个方案的高可用和负载均衡，通过将对采集服务器进行分组使得一个采集服务器发生异常时可以由组内的其他的采集服务器接替进行处理，使得采集服务器具备动态横向扩展能力。

【技术实现步骤摘要】
一种数据采集方法和系统
本专利技术涉及数据处理
，具体涉及一种数据采集方法和系统。
技术介绍
数据采集作为网管监控基础功能，是每个网管监控系统必不可少的。采集服务器从终端设备侧采集数据后，送给上层的网管处理模块进行处理。传统的网管监控系统的数据采集架构图如图1所示，图1示出了现有技术中的数据采集架构的示意图，数据采集流程如下:采集服务器启动时从数据库或缓存(如Redis)中获取属于当前采集服务器负责的采集任务(注:采集任务一般为定时任务，也有一次性任务)集合。根据采集任务的轮询间隔，采集服务器定时执行采集任务，并将采集到的结果数据入库或上送给上层处理模块进行处理。从图1的架构以及流程说明，我们可以得知传统网管监控采集比较简单直接，但是也存在如下缺点：1.存在单点故障；从上面的架构图和流程说明可知，每个采集服务器负责自己的采集任务并定时执行采集任务，如果当采集服务器异常宕掉时，它所负责的终端设备的数据采集就会中断，这对于网管监控系统来说，是一个致命的问题。2.无法进行负载均衡；每个采集服务器的处理能力是有限的，也就是它能管理的被管设备数量是有限的，当它负责的采集任务过多时，无法将任务分给其他的采集服务器进行处理，也就是它无法实现负载均衡和动态扩展，这也是不适应大数据采集要求的。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的数据采集方法和系统。依据本专利技术的一个方面，提供了一种数据采集方法，该方法包括：任务调度服务器从数据库中获取待处理的采集任务；任务调度服务器对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一个采集服务器，将该采集任务发送给该选择的采集服务器；各采集服务器根据接收到的采集任务对指定终端设备的进行数据采集，并将相应的数据采集结果返回保存至数据库中。可选地，所述采集服务器集群中包括多个采集服务器组，每个采集服务器组中包括多个采集服务器；则所述任务调度服务器对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一个采集服务器包括：任务调度服务器根据该采集任务中的采集对象所属的网段或业务类型从采集服务器集群中选择一个采集服务器组，根据负载均衡算法，从选择的采集服务器组中选择一个采集服务器。可选地，该方法进一步包括：对于所述采集服务器中的每个采集服务器，当该采集服务器启动时，该采集服务器将对应的采集服务地址注册到服务注册中心；任务调度服务器从服务注册中心获取服务注册列表，该服务注册列表中包括：对应于各采集服务器组的服务注册组；每个服务注册组中包括：该服务注册组对应的采集服务器组中的采集服务器所注册的采集服务地址；则所述从采集服务器集群中选择一个采集服务器组包括：任务调度服务器从服务注册列表中选择一个服务注册组；所述从选择的采集服务器组中选择一个采集服务器包括：任务调度服务器从选择的服务注册组中选择一个采集服务地址；所述将该采集任务发送给该选择的采集服务器包括：任务调度服务器根据所选择的采集服务地址将该采集任务发送给相应的采集服务器。可选地，该方法进一步包括：服务注册中心响应于所述采集服务器集群中的采集服务器的宕机，将该采集服务器对应的采集服务地址从服务注册列表中删除。可选地，任务调度服务器中包括：任务接收器和多个任务调度器，每个任务调度器与一个本地缓存相对应，每个本地缓存与一个采集服务器组相对应；所述任务调度服务器对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一个采集服务器，将该采集任务发送给该选择的采集服务器包括：任务调度服务器的任务接收器获取采集任务，按照预定策略从采集服务器集群中选择一个采集服务器组，将该获取的采集任务放入所选择的采集服务器组对应的本地缓存中；该本地缓存对应的的任务调度器从所选择的采集服务器组中选择一个采集服务器，在所述放入所选择的采集服务器组对应的本地缓存中的采集任务的执行时刻，以线程池形式调用所选择的采集服务器，使得该选择的采集服务器接收采集任务。可选地，该方法进一步包括：任务接收器在将获取的采集任务放入所选择的采集服务器组对应的本地缓存中之后，还对该采集任务在数据库中的状态进行监听；当监听到该采集任务在数据库中的状态发生更新时，将该采集任务在数据库中更新后的数据重新放入所述本地缓存以覆盖该采集任务的原数据。可选地，所述各采集服务器根据接收到的采集任务对指定终端设备的进行数据采集包括：采集服务器对于接收到的每个采集任务，将该采集任务放入任务队列中；采集服务器从任务队列中依次获取采集任务，根据该采集任务进行相应的数据采集。可选地，该方法进一步包括：建立任务调度备份服务器，每隔预定时间间隔，任务调度备份服务器对任务调度服务器中的数据进行备份；当任务调度服务器发生故障时，任务调度备份服务器接管任务调度服务器的全部调度工作。依据本专利技术的另一个方面，提供了一种数据采集系统，该系统包括：任务调度服务器，适于从数据库中获取待处理的采集任务；对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一个采集服务器，将该采集任务发送给该选择的采集服务器；采集服务器，适于根据接收到的采集任务对指定终端设备的进行数据采集，并将相应的数据采集结果返回保存至数据库中。可选地，所述采集服务器集群中包括多个采集服务器组，每个采集服务器组中包括多个采集服务器；任务调度服务器，适于根据获取的采集任务中的采集对象所属的网段或业务类型从采集服务器集群中选择一个采集服务器组，根据负载均衡算法，从选择的采集服务器组中选择一个采集服务器。可选地，该系统进一步包括：服务注册中心；采集服务器，进一步适于在启动时，将对应的采集服务地址注册到服务注册中心；任务调度服务器，进一步适于从服务注册中心获取服务注册列表；该服务注册列表中包括：对应于各采集服务器组的服务注册组；每个服务注册组中包括：该服务注册组对应的采集服务器组中的采集服务器所注册的采集服务地址；适于从服务注册列表中选择一个服务注册组，再从该服务注册组中选择一个采集服务地址，根据该采集服务地址将该采集任务发送给相应的采集服务器。可选地，服务注册中心，进一步适于响应于所述采集服务器集群中的采集服务器的宕机，将该采集服务器对应的采集服务地址从服务注册列表中删除。可选地，任务调度服务器中包括：任务接收器和多个任务调度器，每个任务调度器与一个本地缓存相对应，每个本地缓存与一个采集服务器组相对应；任务接收器，适于获取采集任务，按照预定策略从采集服务器集群中选择一个采集服务器组，将该获取的采集任务放入所选择的采集服务器组对应的本地缓存中；该本地缓存对应的的任务调度器，适于从所选择的采集服务器组中选择一个采集服务器，在所述放入所选择的采集服务器组对应的本地缓存中的采集任务的执行时刻，以线程池形式调用所选择的采集服务器，使得该选择的采集服务器接收采集任务。可选地，任务接收器，进一步适于在将获取的采集任务放入所选择的采集服务器组对应的本地缓存中之后，还对该采集任务在数据库中的状态进行监听；当监听到该采集任务在数据库中的状态发生更新时，将该采集任务在数据库中更新后的数据重新放入所述本地缓存以覆盖该采集任务的原数据。可选地，采集服务器，适于对于接收到的每个采集任务，将该采集任务放入任务队列中；从任务队列中本文档来自技高网...

【技术保护点】
一种数据采集方法，其特征在于，该方法包括：任务调度服务器从数据库中获取待处理的采集任务；任务调度服务器对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一个采集服务器，将该采集任务发送给该选择的采集服务器；各采集服务器根据接收到的采集任务对指定终端设备进行数据采集，并将相应的数据采集结果返回保存至数据库中。

【技术特征摘要】
1.一种数据采集方法，其特征在于，该方法包括：任务调度服务器从数据库中获取待处理的采集任务；任务调度服务器对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一个采集服务器，将该采集任务发送给该选择的采集服务器；各采集服务器根据接收到的采集任务对指定终端设备进行数据采集，并将相应的数据采集结果返回保存至数据库中。2.如权利要求1所述的方法，其特征在于，所述采集服务器集群中包括多个采集服务器组，每个采集服务器组中包括多个采集服务器；则所述任务调度服务器对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一个采集服务器包括：任务调度服务器根据该采集任务中的采集对象所属的网段或业务类型从采集服务器集群中选择一个采集服务器组，根据负载均衡算法，从选择的采集服务器组中选择一个采集服务器。3.如权利要求2所述的方法，其特征在于，该方法进一步包括：对于所述采集服务器中的每个采集服务器，当该采集服务器启动时，该采集服务器将对应的采集服务地址注册到服务注册中心；任务调度服务器从服务注册中心获取服务注册列表，该服务注册列表中包括：对应于各采集服务器组的服务注册组；每个服务注册组中包括：该服务注册组对应的采集服务器组中的采集服务器所注册的采集服务地址；则所述从采集服务器集群中选择一个采集服务器组包括：任务调度服务器从服务注册列表中选择一个服务注册组；所述从选择的采集服务器组中选择一个采集服务器包括：任务调度服务器从选择的服务注册组中选择一个采集服务地址；所述将该采集任务发送给该选择的采集服务器包括：任务调度服务器根据所选择的采集服务地址将该采集任务发送给相应的采集服务器。4.如权利要求3所述的方法，其特征在于，该方法进一步包括：服务注册中心响应于所述采集服务器集群中的采集服务器的宕机，将该采集服务器对应的采集服务地址从服务注册列表中删除。5.如权利要求2所述的方法，其特征在于，任务调度服务器中包括：任务接收器和多个任务调度器，每个任务调度器与一个本地缓存相对应，每个本地缓存与一个采集服务器组相对应；所述任务调度服务器对于获取的每个采集任务，按照预定策略从采集服务器集群中选择一...

【专利技术属性】
技术研发人员：李能进，王庆磊，
申请(专利权)人：北京神州泰岳软件股份有限公司，
类型：发明
国别省市：北京,11