一种分布式微采集系统及其方法技术方案

本发明专利技术公开了一种分布式微采集系统及其方法，该系统包括：采集客户端，采集客户端通过数据采集点获取数据，并对获取的数据进行封装发送；数据处理器，对获取所述采集客户端的数据进行分析处理并将结果发送到消息队列；消息队列，用于协调所述采集客户端与所述数据处理器之间的数据解析、存储及分发工作；注册中心，采集并保存所述采集客户端的信息，形成队列信息供服务；以及采集服务器，用于获取所述注册中心的数据处理任务，执行处理任务，将处理结果分配到采集客户端进行应用处理。本发明专利技术的系统可以在短时间内对大批量的POE设备进行性能采集，数据的准确性高，服务器成本低，且可根据设备的增加添加采集客户端，降低了运营成本。

A distributed micro acquisition system and its method

【技术实现步骤摘要】
一种分布式微采集系统及其方法
本专利技术涉及分布式数据采集
，特别涉及一种分布式微采集系统及其方法。
技术介绍
随着社会进步，科学发展，人们在生活中所见所用的计算机设备越来越多，现有的POE设备的分布式微采集系统，大都采集目标单一，难以支持多家厂家生产的POE设备，若要分布式微采集系统采集其它设备需做程序更改。另外目前采用的集成采集技术复杂未实现采集服务器的集群，当设备量大时，采集任务过多，对服务器资源占用高，采集周期就会很长，如果采集服务器一旦出现问题其服务将不可用，对采集客户端有限定。
技术实现思路
本专利技术的目的在于提供一种分布式微采集系统，将采集功能拆分成单独的采集程序，让采集程序仅做采集相关的工作，降低了复杂度，采用多线程执行，处理能力较快，采集客户端可按需设置，节约各项成本。为实现上述目的，本专利技术提供了一种分布式微采集系统，包括：采集客户端，包含多个数据采集点，所述采集客户端通过数据采集点获数据，并对获取的数据进行封装发送；数据处理器，对所述采集客户端获取的数据进行分析处理并将结果发送到消息队列，同时所述数据处理器还监听消息队列，并把结果写入到文件中；所述消息队列用于协调所述采集客户端与所述数据处理器之间的数据解析、存储及分发工作；注册中心，采集并保存所述采集客户端的信息，形成队列信息供服务；以及采集服务器，用于获取所述注册中心的数据处理任务，执行处理任务，将处理结果分配到采集客户端进行应用处理。优选地，上述技术方案中，所述采集客户端，其接收采集服务器发送过来的待采集设备的参数数据，所述采集客户端通过多线程方式获取待采集设备的参数数据后，将参数数据封装成指定格式的字符串，通过队列的方式，发送到指定的消息队列；其中，所述参数数据至少包括设备的IP地址、MAC地址及采集序列号。优选地，上述技术方案中，所述数据处理器通过NIO方式就把采集结果写入到指定文件。优选地，上述技术方案中，所述数据处理器中设置有查询数据库和参数设置数据库；其中，所述参数设置数据库为可提供结果处理参数设置服务的Resultprocess，所述查询数据库为可提供设备产查询服务的Dataprocess。优选地，上述技术方案中，所述采集服务器，通过Dubbo分布式框架来获取注册中心的数据处理服务，从而获取待采集设备列表，然后根据配置的批量操作数，将待采集设备的采集任务分批交给注册中心中注册的采集客户端中应用处理，同时调用参数设置数据库服务传递所需参数到查询数据库中应用。本专利技术的另一个目的在于提供一种分布式微采集系统的采集方法，所述方法包括如下步骤：步骤S001，启动系统；步骤S002，系统启动后采集服务器根据配置文件周期从查询数据库中查询待采集设备列表，获取待采集设备的IP地址、MAC地址以及上下线状态，并保存；步骤S003，数据服务器根据在线待采集设备的数量，将待采集设备进行分组，利用Dubbo框架调用采集客户端数据，采集客户端利用Collect-client服务去执行采集任务；步骤S004，采集客户端的Collect-client服务被调用后，开启多线程去处理待采集设备的采集工作，同时通过SNMP协议获取待采集设备的端口信息，然后将采集结果发送到消息队列；步骤S005，数据处理器监听消息队列，一旦有消息进入，就将消息取出处理以得到目标数据。优选地，上述技术方案中，在步骤S004中，采集服务器会记录待采集设备的数量，然后发送至数据处理器，数据处理器收到一个消息后会将计数减1，当计数为0时，数据处理器将采集结果写入到指定文件。与现有技术相比，本专利技术具有如下有益效果：1、本专利技术通过此系统可以在短时间内对大批量的POE设备进行性能采集，提高了数据的准确性，降低了服务器成本，且可根据设备的增加添加采集客户端，降低了运营成本。2、本专利技术的系统能够根据在线设备数量，调整采集客户端的数量，采集服务端将采集任务交给采集客户端执行，然后采集客户端将结果返回交给数据处理模块处理数据，从而将原来集成在网管系统里的采集功能拆分成单独的采集程序，让采集程序仅做采集相关的工作，简化了功能。3、本系统采集的过程由于仅做采集相关的工作，且采用多线程执行，极大的提高了处理能力较快，应用试验时每个采集客户端程序在1分钟内就能对5000个以上设备的性能采集并处理，而且当设备量变大时，只适当增加采集客户端即可，简单方便。附图说明图1是根据本专利技术分布式微采集系统的结构框图；图2是根据本专利技术分布式微采集系统的流程图；图3是根据本专利技术分布式微采集系统的注册框图。主要附图标记说明：101-采集客户端，102-消息队列，103-数据处理器，1031-查询数据库，1032-参数设置数据库，104-注册中心，105-采集服务器。具体实施方式下面结合附图1-3，对本专利技术的具体实施方式进行详细描述，但应当理解本专利技术的保护范围并不受具体实施方式的限制。为了使本专利技术所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。如图1-3所示，本专利技术的一种布式微采集系统，其包括采集客户端101、消息队列102、数据处理器103、注册中心104以及采集服务器105。采集服务器105，用于获取注册中心104的数据处理任务，执行处理任务，将处理结果分配到采集客户端101进行应用处理。具体是，通过分布式框架(优选采用Dubbo框架来实现布式调用)获取注册中心104的数据处理服务，从而获取待采集设备列表，然后根据配置的批量操作数，将待采集设备的采集任务分批交给注册中心104中注册的多个采集客户端101应用处理，同时调用参数设置数据库1032服务传递所需参数到查询数据库1031应用；数据处理器103，用于对获取采集客户端101的数据进行分析处理并将结果发送到消息队列102，同时所述数据处理器还监听所述消息队列，并把采集结果写入到文件中。具体是，对获取的采集客户端101的数据进行分析处理并将结果发送到消息队列102或存储至数据库，同时还监听消息队列102，当消息队列102中有采集结果的消息到达时，进行消息判断、处理，满足采集服务器传递过来的设备的ip地址，mac地址，采集序号等参数数据时，就把采集结果通过NIO(javanio)的方式写入到指定文件。进一步的，本实施例的数据处理器103中设置有查询数据库1031和参数设置数据库1032；其中，参数设置数据库1032优选诸如可提供结果处理参数设置服务的Resultprocess，而查询数据库1031优选可提供设备产查询服务的Dataprocess。采集客户端101，包含多个数据采集点(多个客户机Client)，采集客户端101通过数据采集点获取数据(获取的数据至少包括设备参数数据)，并本文档来自技高网...

【技术保护点】
1.一种分布式微采集系统，其特征在于，包括：/n采集客户端，包含多个数据采集点，所述采集客户端通过数据采集点获数据，并对获取的数据进行封装发送；/n数据处理器，对所述采集客户端获取的数据进行分析处理并将结果发送到消息队列，同时所述数据处理器还监听消息队列，并把结果写入到文件中；/n所述消息队列用于协调所述采集客户端与所述数据处理器之间的数据解析、存储及分发工作；/n注册中心，采集并保存所述采集客户端的信息，形成队列信息供服务；/n以及采集服务器，用于获取所述注册中心的数据处理任务，执行处理任务，将处理结果分配到采集客户端进行应用处理。/n

【技术特征摘要】
1.一种分布式微采集系统，其特征在于，包括：
采集客户端，包含多个数据采集点，所述采集客户端通过数据采集点获数据，并对获取的数据进行封装发送；
数据处理器，对所述采集客户端获取的数据进行分析处理并将结果发送到消息队列，同时所述数据处理器还监听消息队列，并把结果写入到文件中；
所述消息队列用于协调所述采集客户端与所述数据处理器之间的数据解析、存储及分发工作；
注册中心，采集并保存所述采集客户端的信息，形成队列信息供服务；
以及采集服务器，用于获取所述注册中心的数据处理任务，执行处理任务，将处理结果分配到采集客户端进行应用处理。


2.根据权利要求1所述的分布式微采集系统，其特征在于，所述采集客户端，其接收采集服务器发送过来的待采集设备的参数数据，所述采集客户端通过多线程方式获取待采集设备的参数数据后，将参数数据封装成指定格式的字符串，通过队列的方式，发送到指定的消息队列；
其中，所述参数数据至少包括设备的IP地址、MAC地址及采集序列号。


3.根据权利要求1所述的分布式微采集系统，其特征在于，所述数据处理器通过NIO方式把采集结果写入到指定文件。


4.根据权利要求3所述的分布式微采集系统，其特征在于，所述数据处理器中设置有查询数据库和参数设置数据库；其中，所述参数设置数据库为可提供结果处理参数设置服务的Resultprocess，所述查询数据库为可提供设备产查询服务的Dataprocess。

...

【专利技术属性】
技术研发人员：陈跃飞，
申请(专利权)人：重庆鲲量科技有限公司，
类型：发明
国别省市：重庆;50