大规模收集基站数据的方法及系统技术方案

本发明专利技术提供了一种大规模收集基站数据的方法和系统，所述方法包括以下步骤：添加任务到任务队列中，从任务队列中获取任务；生成任务执行配置，对任务进行分析，将任务转换成可在机器上执行的命令；通过多线程调用执行命令；执行命令完成后，获取执行结果，对执行结果进行解析，抽取所需信息。本发明专利技术无需在被监测的设备上安装任何软件，会根据原生的设备特性选择不同的收集方式。采用了主动探测的方式，避免了安装客户端软件的不便。本发明专利技术支持多种现有的用于监控的网络协议，并且高度可定制化，可根据接收机型号选择不同的命令去执行。本发明专利技术极大的提高了系统的吞吐量。

【技术实现步骤摘要】
大规模收集基站数据的方法及系统
本专利技术涉及数据收集
，具体涉及一种大规模收集基站数据的方法及系统。
技术介绍
目前已有并持续建成具有相当规模的基站，用于高精度定位，为了及时监控这些基站的健康状况，比如内部的网络连通性，是否在线，接收机的网络流量和其功能是否正常。这些信息必须及时发送回监控中心，以便后续处理和报警。目前业界并没有一套现成的解决方案，传统的监控系统需要在被监测的设备上安装部署一套客户端来发送数据，并且本身有一套自己的协议。现有技术的缺点具体如下：1、传统的监控系统大多需要在被监测的设备上安装部署一套客户端来发送数据。但目前基站的设备大多是网络设备，性能有限，系统也不具备安装软件的条件。2、现有市面上的监控系统都是一整套系统，无法和公司自有的监控系统相融合，比如同时支持多种协议(SNMP，TELNET)等，而且产生的数据格式也和公司现有比较成熟的监控指标数据不兼容。现有的监控系统无法对大规模的数据收集进行定制，比如没法根据接收机型号选择不同的收集方式；当接收机有多个IP时，无法辨认最终使用那个IP做为目标；3、数据吞吐量不足。现有的技术无法在规定的时间内，比如一分钟内完成收集，如果出现延迟，会继续收集，导致数据积压。
技术实现思路
本专利技术在保证低延迟的前提下，解决了快速收集基站数据的技术问题，本专利技术采用的技术方案如下：一种大规模收集基站数据的方法，包括以下步骤：添加任务到任务队列中，从任务队列中获取任务；生成任务执行配置，对任务进行分析，将任务转换成可在机器上执行的命令；通过多线程调用执行命令；执行命令完成后，获取执行结果，对执行结果进行解析，抽取所需信息。进一步地，所述添加任务到任务队列中具体包括以下步骤：读取所有基站机器的列表，分析基站机器的信息；得到基站机器的信息后，判断是否可作为任务，如果是，则添加到任务队列中；否则不做处理。进一步地，所述基站机器的信息包括基站名、机器型号、机器IP、机器端口其中任意一种及以上。进一步地，所述基站机器至少有一台，所有基站机器同时从任务队列中获取任务。进一步地，添加任务的步骤每分钟运行一次，如果上一分钟的任务没有全部处理完成，自动使其过期失效。进一步地，所述可在机器上执行的命令包括最终命令的主体、命令的参数字段和命令的参数字段对应的参数值。进一步地，所述最终命令的主体包括PING、TELNET其中一种及以上，所述命令的参数字段包括次数COUNT、端口名PORT、SNMP的子参数名其中一种及以上，所述参数值包括端口数字。进一步地，所述生成任务执行配置具体包括以下步骤：选择命令，确定最终命令的类型；选择命令参数，判断是否需要进行定制，如果是，选择命令的参数字段，确定参数字段对应的参数值，生成最终命令；如果否，直接生成最终命令。本专利技术还提供了一种大规模收集基站数据的系统，所述系统包括：任务添加与读取单元，用于添加任务到任务队列中，并从任务队列中获取任务；执行配置单元，用于生成任务执行配置，对任务进行分析，将任务转换成可在机器上执行的命令；执行命令单元，用于通过多线程调用执行命令；执行结果获取单元，用于执行命令完成后，获取执行结果，对执行结果进行解析，抽取所需信息。进一步地，所述系统支持ICMP，TELNET，SNMP网络协议的命令。本专利技术还提供了一种存储器，所述存储器存储有计算机程序，所述计算机程序执行如下步骤：添加任务到任务队列中，从任务队列中获取任务；生成任务执行配置，对任务进行分析，将任务转换成可在机器上执行的命令；通过多线程调用执行命令；执行命令完成后，获取执行结果，对执行结果进行解析，抽取所需信息。本专利技术的有益效果如下：1、本专利技术无需在被监测的设备上安装任何软件，会根据原生的设备特性选择不同的收集方式。采用了主动探测的方式，避免了安装客户端软件的不便。2、本专利技术支持多种现有的用于监控的网络协议，比如SNMP和TELNET，并且被收集的数据直接以现有监控系统的基本数据结构metric为输出，完全融入现有的监控平台。并且高度可定制化，可根据接收机型号选择不同的命令去执行。对同一设备的不同IP可以通过配置，有选择性地分别收集。3、本专利技术利用了开源社区中优秀的高并发技术，比如Redis来实现生产者消费者的开发模式，还有Java编程语言自有的线程调度，完成各种任务的分配执行，极大的提高了系统的吞吐量。附图说明图1为本专利技术大规模收集基站数据方法的整体流程图；图2为本专利技术添加任务流程图；图3为本专利技术生成执行配置流程图；图4为本专利技术大规模收集基站数据系统的结构图。具体实施方式下文中，结合附图和实施例对本专利技术作进一步阐述。实施例一：图1是本专利技术基站数据收集方法流程图，本专利技术的核心是从一个任务队列里获取任务，所述任务是指执行最小颗粒度的收集任务，针对某一基站的某一服务进行收集，并生成执行配置，最终执行某个命令并返回执行结果的。多台机器可同时从队列里拿到任务。下面进一步阐述添加任务，生成执行参数，实际执行和获取执行结果的实施方式。1)添加任务：如图2所示，添加任务的流程是先拿到所有基站机器的列表，然后分析机器的具体信息。基站信息数据包括站名，代码，IP，设备型号，端口等，以下为本专利技术所涉及到的基站信息的样例。“id”：”590303cec2a98ae558dd4eea”.“encode”：“AHCF”，“name”：“安徽长丰”，“province”：“安徽”，“proterty”：“自建”，“status”：“ONLINE”，“receiverIp”：“172.17.63.26”.“firewallIpWan”：“172.17.198.26”，“firewallIpLan”：“172.17.63.25”，“modelNo”：“afw.sangfor”，“receiverBrand”：“华测”，“receiverModel”：“CHCN72”，“anrennaType”：“HXCCGX601AHXCS”，“arpX”：“-2458342.9098”.“arpY”：“4791968.9270”，“arpZ”：“3405376.8894”.“arpB”：“32.4789539697”，“arpL”：“117.1584185183”.“arpH”：“41.6191”.在得到基站机器具体信息后，系统决定是否可做为任务，如果可以，那么直接加入到任务队列。如果因为缺少某些信息，比如没有IP，则不会加入到任务信息。添加任务的流程是每分钟运行一次，并且如果上一分钟的任务没有全部处理完成，自动使其过期失效，这样的好处是不会有任务堆积影响后续任务处理进度。2)生成执行配置在系统拿到具体任务之后，会分析该任务，让每个任务变成可以真正执行在机器上的命令。流程如图3所示。任务变成可执行的命令，包括了：1、最终的命令主体(类型)，比如ping，telnet等；2、命令的参数字段传入，如次数count，端口名port，SNMP的子参数名；3、命令的各参数字段相应的取值，如多少次，具体的端口数字。最终生成的命令示例如下：snmpbulkwalk-v2c-ccom192.168.11.131.3.6.1.4.1.25506.2.6.1.1.1.1.12.783)执行命令当通过之前的步骤得本文档来自技高网...

【技术保护点】
1.一种大规模收集基站数据的方法，其特征在于，包括以下步骤：添加任务到任务队列中，从任务队列中获取任务；生成任务执行配置，对任务进行分析，将任务转换成可在机器上执行的命令；通过多线程调用执行命令；执行命令完成后，获取执行结果，对执行结果进行解析，抽取所需信息。

【技术特征摘要】
1.一种大规模收集基站数据的方法，其特征在于，包括以下步骤：添加任务到任务队列中，从任务队列中获取任务；生成任务执行配置，对任务进行分析，将任务转换成可在机器上执行的命令；通过多线程调用执行命令；执行命令完成后，获取执行结果，对执行结果进行解析，抽取所需信息。2.如权利要求1所述的一种大规模收集基站数据的方法，其特征在于，所述添加任务到任务队列中具体包括以下步骤：读取所有基站机器的列表，分析基站机器的信息；得到基站机器的信息后，判断是否可作为任务，如果是，则添加到任务队列中；否则不做处理。3.如权利要求2所述的一种大规模收集基站数据的方法，其特征在于，所述基站机器的信息包括基站名、机器型号、机器IP、机器端口其中任意一种及以上。4.如权利要求3所述的一种大规模收集基站数据的方法，其特征在于，所述基站机器至少有一台，所有基站机器同时从任务队列中获取任务。5.如权利要求3所述的一种大规模收集基站数据的方法，其特征在于，添加任务的步骤每分钟运行一次，如果上一分钟的任务没有全部处理完成，自动使其过期失效。6.如权利要求3所述的一种大规模收集基站数据的方法，其特征在于，所述可在机器上执行的命令包括最终命令的主体、命令的参数字段和命令的参数字段对应的参数值。7.如权利要求6所述的一种大规模收集基站数据的方法，其特征在于，所述最终命令的主体包括PING、...

【专利技术属性】
技术研发人员：陈军，
申请(专利权)人：千寻位置网络有限公司，
类型：发明
国别省市：上海,31