本发明专利技术公开了一种可扩展高性能的运维指标项ETL工具，包括：外网采集器、中转采集器及Agent采集器；所述外网采集器部署在外网环境中，作为最高层级，可汇聚下层中转采集器或Agent采集器数据向云服务器直接发送数据，可从云服务器获取需要更新的配置文件；所述中转采集器在特定网络的网闸机器上，可单向汇聚下层中转采集器或者Agent采集器数据转发至上层外网或者中转采集器；所述Agent采集器作为最低层级，部署在需要采集指标项的机器上，可向上级中转或外网采集器发送数据。本发明专利技术可应用于智能化运维领域，具有广泛的应用前景。具有广泛的应用前景。具有广泛的应用前景。
【技术实现步骤摘要】
可扩展高性能的运维指标项ETL工具及应用方法
[0001]本专利技术涉及一种可扩展高性能的运维指标项ETL工具，可实现有代理、无代理及不同硬件厂商的运维指标数据的抽取及清洗功能，并且可针对不同网络环境自定义配置工具的转发链路。
技术介绍
[0002]随着AIOps（Artificial Intelligence for IT Operations 智能化运维）的发展，对计算机的运维指标数据采集显得越来越重要，目前采集工具越来越多，采集方式有代理和无代理两种，导致采集的运维指标项的复杂程度越来越高，指标的数据量也越来越大，再加上用户的网络环境复杂以及单向网闸的普及，采集工具需要在不同网段的机器上转发实时数据。
[0003]为了解决上述问题，需要有一种ETL工具来实现数据的统一格式，但是目前要支持庞大的厂商及采集工具，以及后期他们的更新情况，需要有一个简便的配置方案，来实现快速响应、支持数据结构变化的功能。不同网段的机器转发、汇聚、再清洗，对采集器的链路配置和性能要求也越来越高。
[0004]传统的客户端采集器一般是直接发给服务端，因此一般的采集器只支持采集数据及发送数据功能，而支持高拓展性需要在采集器中再集成接收数据与转发数据功能，这样采集器就可以成为一个在客户端可任意拼接组装的采集工具，采集器可以向不同网段部署的采集器发送、转发数据，最后送至服务端。然而加上这些功能的采集器往往会变得体积庞大、性能不佳，至今未发现同时支持高性能转发与轻量易部署兼顾的采集工具。
技术实现思路
[0005]本专利技术所要解决的技术问题是针对现有技术的不足，提供一种可扩展高性能的运维指标项ETL工具及其实现方法。
[0006]本申请实施例提供了一种可扩展高性能的运维指标项ETL工具，包括：外网采集器、中转采集器及Agent采集器；所述外网采集器部署在外网环境中，作为最高层级，可汇聚下层中转采集器或Agent采集器数据向云服务器直接发送数据，可从云服务器获取需要更新的配置文件；所述中转采集器在特定网络的网闸机器上，可单向汇聚下层中转采集器或者Agent采集器数据转发至上层外网或者中转采集器；所述Agent采集器作为最低层级，部署在需要采集指标项的机器上，可向上级中转或外网采集器发送数据。
[0007]本专利技术还公开了一种可扩展高性能的运维指标项ETL工具的应用方法，其特征在于：包括如下步骤：101：采集器脚本启动；102：检查当前客户端采集器的配置文件，根据配置文件中的身份标志判定当前采
集器的身份类型；103：若检测到agent身份标志，则判断该客户端采集器为agent采集器；104：通过该客户端采集器的配置项，采集该采集器需要采集的所有资产指标并进行数据清洗、按类型统一各大厂商的json格式；105：检测配置文件，查看上级采集器身份；106：若上级采集器为中转采集器，则采用多线程的websocket服务进行通讯，用于支持大量的实时消息连接，websocket连接全部采用长链接模式，可记录每个下级节点的在线情况，若连接断开及时发送离线消息通知上级；实时数据将立即转发至中转采集器；107：若检测到中转身份标志，则判断该客户端采集器为中转采集器；108：通过该客户端采集器的配置项，采集该采集器需要采集的所有资产指标并进行数据清洗、按类型统一各大厂商的json格式；109：检测配置文件，查看上级采集器身份；110：若上级采集器为外网采集器，则采用多线程+协程的api服务进行通讯，多线程用于支持大量的请求连接，采用单向api接口的方式支持内网跨外网的单向通讯，协程用于多个转发请求处理的处理及心跳定时任务所申请的服务器资源切换利用，减少空闲等待的资源浪费，实时数据将立即转发至外网采集器；111：若检测到外网身份标志，则判断该客户端采集器为外网采集器；112：通过该客户端采集器的配置项，采集该采集器需要采集的所有资产指标并进行数据清洗、按类型统一各大厂商的json格式；113：所有采集数据与转发数据，将实时发送至服务端。
[0008]作为优选，在101步骤中，具体启动方法如下：1）、使用root权限先在外网采集器服务器执行脚本启动服务，2）、再在中转采集器所在服务器的执行脚本启动服务，程序启动后中转采集器就会开始等待所有agent采集器连接，3）、收到agent采集器的连接信息立即发送agent采集器上线信息到外网采集器，再由外网发送到服务端，同理再收到agent采集器断开连接的信息，便上报离线信息。
[0009]作为优选，在101步骤中，若agent数量庞大，则开启多台中转服务进行分担压力，外网采集器也设置多台，具体发送链路都通过配置文件控制，中转会定时发送心跳数据到外网采集器以确保服务端能够知道中转与外网采集器的存活情况，外网采集器再发送中转采集器与自己的心跳数据到服务端，心跳数据超过一定时间没有上报，服务端便会判定外网和中转采集离线。
[0010]作为优选，中转与外网采集器启动成功后，启动资产服务器上的agent采集器程序，开始进行定时资产状态数据采集，agent采集器在完成每一轮的信息收集后统一以json格式发送给中转服务器。
[0011]作为优选，若用户需要采集硬件资产信息时，采集方式为独立的snmp采集程序定时主动获取，根据配置文件中的厂商，IP，团体名信息定时对资产进行snmp主动获取，获取后进行数据清洗与转换，再发送给中转采集器；中转采集器收到agent采集器发送的消息后进行数据清洗，将数据转换为服务端所需要的数据格式，然后再将数据转发给外网采集器；外网采集器收到中转采集器发送的数据后，无需再进行处理任何处理操作，直接将数据发
送到服务端；服务端收到数据后进行解析入库操作，用户即可在web端查看资产监控信息，至此一个采集流程的生命周期结束，再等待进行下一个周期。
[0012]作为优选，所述指标项的配置方法为：先将采集的运维资产按照类型区分，相同类型的资产再按照厂商区分，相同厂商的再按照采集工具区分，由此得到一个三级的配置关系；按照第三级关系的ID，配置该ID对应的格式化JSON字典，默认采集的数据会根据此字典做格式化统一处理，最后都会输出对应类型的运维资产的统一标准格式数据；若配置关系存在云端服务器，有格式变化或新厂商对象接入，在云端系统中做可视化配置操作，增加修改配置项；若外网采集工具监听的配置项修改的信号，则会从云端拉取最新配置数据，广播到所有采集链路上实现配置拓展的更新。
[0013]技术效果或优点：本专利技术提供了一种可扩展高性能的运维指标项ETL工具及实现方法，可以通过云端配置快速支持指标项的拓展统一格式，可支持不同机器间数据的快速转发与采集工具的链路组装。兼具同时支持高性能转发与轻量易部署兼顾的优点，本专利技术可应用于智能化运维领域，具有广泛的应用前景。
附图说明
[0014]图1为本专利技术所述的采集工具链路结构示意图。
[0015]图2为本专利技术所述的具体实现流程示意图。
[0016]图3为本专利技术实施例用户网络情况图。
具体实本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种可扩展高性能的运维指标项ETL工具，其特征在于，包括：外网采集器、中转采集器及Agent采集器；所述外网采集器部署在外网环境中，作为最高层级，可汇聚下层中转采集器或Agent采集器数据向云服务器直接发送数据，可从云服务器获取需要更新的配置文件；所述中转采集器在特定网络的网闸机器上，可单向汇聚下层中转采集器或者Agent采集器数据转发至上层外网或者中转采集器；所述Agent采集器作为最低层级，部署在需要采集指标项的机器上，可向上级中转或外网采集器发送数据。2.一种可扩展高性能的运维指标项ETL工具的应用方法，其特征在于：包括如下步骤：101：采集器脚本启动；102：检查当前客户端采集器的配置文件，根据配置文件中的身份标志判定当前采集器的身份类型；103：若检测到agent身份标志，则判断该客户端采集器为agent采集器；104：通过该客户端采集器的配置项，采集该采集器需要采集的所有资产指标并进行数据清洗、按类型统一各大厂商的json格式；105：检测配置文件，查看上级采集器身份；106：若上级采集器为中转采集器，则采用多线程的websocket服务进行通讯，用于支持大量的实时消息连接，websocket连接全部采用长链接模式，可记录每个下级节点的在线情况，若连接断开及时发送离线消息通知上级；实时数据将立即转发至中转采集器；107：若检测到中转身份标志，则判断该客户端采集器为中转采集器；108：通过该客户端采集器的配置项，采集该采集器需要采集的所有资产指标并进行数据清洗、按类型统一各大厂商的json格式；109：检测配置文件，查看上级采集器身份；110：若上级采集器为外网采集器，则采用多线程+协程的api服务进行通讯，多线程用于支持大量的请求连接，采用单向api接口的方式支持内网跨外网的单向通讯，协程用于多个转发请求处理的处理及心跳定时任务所申请的服务器资源切换利用，减少空闲等待的资源浪费，实时数据将立即转发至外网采集器；111：若检测到外网身份标志，则判断该客户端采集器为外网采集器；112：通过该客户端采集器的配置项，采集该采集器需要采集的所有资产指标并进行数据清洗、按类型统一各大厂商的json格式；113：所有采集数据与转发数据，将实时发送至服务端。3.根据权利要2所述可扩展高性能的运维指标项ETL工具的应用方法，其特征在于：在101步骤中，具体启动方法如下：1）、使用root权限先在外网采集器服务器执行脚本启动服务，2）、再在中转采集器所在服务器的执行...
【专利技术属性】
技术研发人员：姜剑，
申请(专利权)人：南京林科斯拉信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。