一种基于微服务的设备性能采集方法技术

一种基于微服务的设备性能采集方法，包括步骤：基于Docker与SpringBoot技术部署与运行性能采集微服务，每个性能采集服务节点从配置服务器获取属于自己的配置信息；微服务采用SNMP协议与设备通信并采集指定的性能数据；将性能数据上传到指定的网管软件上，或保存到指定的文件目录结构中；运行微服务程序，根据任务配置处理本地数据文件，在指定时间启动数据文件处理动作。本发明专利技术充分利用微服务技术，不依赖其他程序即可完成性能采集任务，可以随处部署，采集结果可保存在本地，FTP或者直接将数据上传到网管软件，极大的提高了性能采集任务的灵活性与易用性，对软件设备、网络、运行环境的依赖小，适用于需要大量，长时间，复杂网络场景下的性能参数采集任务。

【技术实现步骤摘要】
一种基于微服务的设备性能采集方法
本专利技术涉及设备管理监控、性能采集领域，尤其涉及一种基于微服务的设备性能采集方法。
技术介绍
对于通信设备的性能参数采集是一种经常性管理需求。但是存在以下问题，在一个复杂的网络系统中，不同的设备可能处于不同子网，需要采集各个子网之间的设备性能参数，而各个子网之间或者子网与管理网络之间出于安全考虑或者其他各种原因，不能直接通信，或者由于技术能力无法部署大型分布式统一性能采集服务器，导致传统的性能采集软件无法有效采集所有子网设备性能参数。
技术实现思路
本专利技术要解决的技术问题是，针对现有网络系统存在的上述不足，提供一种基于微服务的设备性能采集方法，可在需要进行设备性能监控的复杂网络环境下，低成本，灵活，快速的部署基于微服务的性能采集节点，极大提高了性能采集任务的灵活性与易用性，对软件设备、网络、运行环境的依赖小。本专利技术解决其技术问题所采用的技术方案是：一种基于微服务的设备性能采集方法，包括以下步骤：S1、基于开源的Docker和SpringBoot技术创建性能采集微服务，该微服务从配置服务器统一读取自己的任务配置，或者直接读取本地配置确定采集任务；S2、微服务采集到性能数据后，将采集到的性能数据处理为指定格式字符串，根据处理完成的性能采集结果字符串生成数据文件，创建文件目录结构，将数据文件保存到指定的文件目录结构下；S3、运行微服务程序，根据任务配置处理本地数据文件，在指定时间启动数据文件处理动作。按上述方案，所述步骤S1具体为，基于开源的SpringBoot微服务框架创建微服务，微服务是一组软件程序，使用Docker容器实现自管理，具有可独立部署、独立运行的特性，微服务通过本地配置文件中的配置信息，连接配置服务器，如果连接上配置服务器，则从配置服务器读取采集任务配置，并更新到本地任务配置文件中，通过统一读取配置，多个微服务实现同时采集某一组数据；如果连接不上配置服务器(或者由于各种原因无法从配置服务器读取任务配置)，则直接从本地创建任务配置读取任务配置(独立运行微服务)；任务配置的要素即配置文件中包含的配置信息包括但不限于：“配置服务器IP”、“采集任务执行时间”、“采集对象的IP”、“性能参数的OID与名称”、“数据文件的处理时间”、“数据文件的处理方式”。按上述方案，所述步骤S2具体为，首先解析任务配置文件，获取采集参数，通过网络管理协议与采集对象通信获取性能数据；获取到性能数据后，将性能数据处理成JSON格式字符串，每次采集的性能数据对应一行性能采集结果字符串，处理完成的性能采集结果字符串生成数据文件，并实时保存到指定的文件目录结构中(数据文件后缀名自定义)，性能采集结果字符串中包含的要素包括但不限于：“采集任务执行时间”、“采集对象”、“性能参数名称”、“性能参数值”。按上述方案，所述步骤S2中，生成的数据文件名包含的要素包括但不限于：“当前日期时间”，每天第一次获得采集数据的时候按文件名要素生成一个数据文件，所有当天采集的数据都保存到对应的数据文件中。按上述方案，所述步骤S2中，文件目录结构基于以下要素生成：“统一根目录”、“性能采集微服务标识ID”、“采集对象”、“月份”、“周数”；如果文件目录结构已经生成，则不重复创建，按照规则每个子目录下最多生成7个数据文件，对应一周7天采集结果，其中“性能采集微服务标识ID”保证不同设备的文件目录结构不重复。按上述方案，所述步骤S3具体为：S31、根据任务配置中的要素“数据文件的处理时间”，采集微服务程序在指定的时间下启动数据处理线程；S32、数据处理线程启动后，解析任务配置中有关“数据文件的处理方式”的参数配置，此项参数配置中包含的要素包括但不限于：“数据文件处理动作”、“数据文件处理时间”、“数据服务器IP/端口”、“FTP服务器账号密码”、“FTP服务器IP/端口”；S33、在指定时间启动数据文件处理动作，数据文件的处理方式包括但不限于：a.读取本地数据文件转换为数据对象，通过异步方式上传到指定的上层网管软件；b.将本地数据文件与文件目录结构上传到指定的FTP服务器。按上述方案，所述数据服务器是任何可以接收采集到性能数据的上层软件或服务器，所述步骤S33中，数据文件处理动作包含的动作包括但不限于：“无动作”、“上传到数据服务器”、“上传到FTP服务器”。按上述方案，如果数据文件处理动作是“无动作”，则不对当天采集的数据文件进行进一步处理；如果数据文件处理动作是“上传到数据服务器”或“上传到FTP服务器”，则继续解析参数：“数据文件处理时间”、“数据服务器IP/端口”、“FTP服务器账号密码”、“FTP服务器IP/端口”，其中“数据文件处理时间”使用Quartz的Cron表达式定义，灵活表示间隔执行，指定时间执行，执行次数。按上述方案，如果数据文件处理动作是“上传到数据服务器”，则按照“数据文件处理时间”中定义的执行间隔或指定执行时间(具体根据Cron表达式确定)，在执行时间到达后，取前一天采集到的数据文件，直接转换成JSON数据格式，通过NIO的异步协议上传到参数“数据服务器IP/端口”指定的服务器数据端口上(由于采用异步传输协议，本方法采取发完不管的方式上传数据)。按上述方案，如果数据文件处理动作是“上传到FTP服务器”，则按照“数据文件处理时间”中定义处理时间，在执行时间到达后，根据参数“FTP服务器账号密码”中提供的用户名面，将本地文件系统同步到“FTP服务器IP/端口”指定的FTP服务器上。本专利技术的有益效果是：1、本专利技术基于微服务技术，充分利用微服务的独立部署，自治，异步通信的特点，实现性能采集程序在每个子网中部署，可统一管理，可单独配置，采用异步单向传输技术最大程度保证网络安全性可在需要大量、长时间进行设备性能监控的复杂网络环境下，特别是网络和上层软件环境不稳定的情况下，低成本，灵活，快速的部署基于微服务的性能采集服务节点，每个性能采集服务节点从配置服务器获取属于自己的配置信息；性能采集服务采用SNMP协议与设备通信并采集指定的性能参数的数据，方便运维人员采集网络设备性能参数；2、本专利技术基于微服务技术，充分利用微服务技术的自治，独立部署，异步通信等特性，实现性能采集程序在每个子网中部署，可统一管理，可单独配置，采用异步单向传输技术最大程度保证网络安全性；与传统的网管软件性能采集方法相比，不管是集成部署还是分布式部署都有较大区别，不依赖上层管理软件，不需要统一部署，也不需要注册服务，可以灵活选择子网节点进行部署；每个性能采集任务都是独立的，各个采集节点可以自管理、独立运行采集与处理生成网络设备的性能参数，也可以通过配置服务器统一管理每个节点的动作，多个性能采集微服务一起采集某一组数据；3、在数据处理方面，本方法就将采集到的数据处理成JSON格式的字符串并保存成数据文件，数据文件内容为字符串可直接读取，也可上传到上层软件解析；对于复杂网络环境，多设备性能采集任务，本方法可以灵活的选择性能采集范围与采集结果输出方式，采集结果默认保存在采集节点的本地文件系统中，采用特定格式的字符串保存成文本文件，运维人员可以直接打开读取性能参数采集结果，也可以上传到指定服务器，实现在目前大多数主流操作系统上直接部署，不本文档来自技高网...

【技术保护点】
1.一种基于微服务的设备性能采集方法，其特征在于，包括以下步骤：S1、基于开源的Docker和SpringBoot技术创建性能采集微服务，该微服务从配置服务器统一读取自己的任务配置，或者直接读取本地配置确定采集任务；S2、微服务采集到性能数据后，将采集到的性能数据处理为指定格式字符串，根据处理完成的性能采集结果字符串生成数据文件，创建文件目录结构，将数据文件保存到指定的文件目录结构下；S3、运行微服务程序，根据任务配置处理本地数据文件，在指定时间启动数据文件处理动作。

【技术特征摘要】
1.一种基于微服务的设备性能采集方法，其特征在于，包括以下步骤：S1、基于开源的Docker和SpringBoot技术创建性能采集微服务，该微服务从配置服务器统一读取自己的任务配置，或者直接读取本地配置确定采集任务；S2、微服务采集到性能数据后，将采集到的性能数据处理为指定格式字符串，根据处理完成的性能采集结果字符串生成数据文件，创建文件目录结构，将数据文件保存到指定的文件目录结构下；S3、运行微服务程序，根据任务配置处理本地数据文件，在指定时间启动数据文件处理动作。2.根据权利要求1所述的基于微服务的设备性能采集方法，其特征在于，所述步骤S1具体为，基于开源的SpringBoot微服务框架创建微服务，微服务是一组软件程序，使用Docker容器实现独立部署、独立运行的特性，微服务通过本地配置文件中的配置信息，连接配置服务器，如果连接上配置服务器，则从配置服务器读取采集任务配置，并更新到本地任务配置文件中，通过统一读取配置，多个微服务实现同时采集某一组数据；如果连接不上配置服务器，则直接从本地配置读取任务配置；任务配置的要素即配置文件中包含的配置信息包括但不限于：“配置服务器IP”、“采集任务执行时间”、“采集对象的IP”、“性能参数的OID与名称”、“数据文件的处理时间”、“数据文件的处理方式”。3.根据权利要求1所述的基于微服务的设备性能采集方法，其特征在于，所述步骤S2具体为，首先解析任务配置文件，获取采集参数，通过网络管理协议与采集对象通信获取性能数据；获取到性能数据后，将性能数据处理成JSON格式字符串，每次采集的性能数据对应一行性能采集结果字符串，处理完成的性能采集结果字符串生成数据文件，并实时保存到指定的文件目录结构中，性能采集结果字符串中包含的要素包括但不限于：“采集任务执行时间”、“采集对象”、“性能参数名称”、“性能参数值”。4.根据权利要求1所述的基于微服务的设备性能采集方法，其特征在于，所述步骤S2中，生成的数据文件名包含的要素包括但不限于：“当前日期时间”，每天第一次获得采集数据的时候按文件名要素生成一个数据文件，所有当天采集的数据都保存到对应的数据文件中。5.根据权利要求1所述的基于微服务的设备性能采集方法，其特征在于，所述步骤S2中，文件目录结构基于以下要素生成：“统一根目录”、“性能采集微服务标识ID”、“采集对象”、“月份”，“周数”；如果文...

【专利技术属性】
技术研发人员：李明，董建峰，叶刚，郑直，王培佩，
申请(专利权)人：武汉长光科技有限公司，
类型：发明
国别省市：湖北,42