一种基于消息传输的网络IP监测方法及系统技术方案

本发明专利技术公开一种基于消息传输的网络IP监测方法及系统，其中，所述系统包括监测后台、监测中台和监测前台，所述监测后台包括数据采集单元、数据存储器、消息传输中间件和消息服务处理模块，所述监测中台设置有监测服务模块，所述数据采集单元分别与所述数据存储器和所述消息传输中间件通信连接，所述消息传输中间件与所述消息服务处理模块通信连接，所述消息服务处理模块通过网关组件与所述监测服务模块通信连接，所述监测服务模块与所述监测前台通信连接。本发明专利技术能够更大程度的提高对IP网站的监测效率，改善现有技术的局限性。改善现有技术的局限性。改善现有技术的局限性。

【技术实现步骤摘要】
一种基于消息传输的网络IP监测方法及系统


[0001]本专利技术涉及网络
，具体地说是一种基于消息传输的网路IP监测方法及系统。

技术介绍

[0002]现有的国家IPv6发展监测平台(china
‑
ipv6.cn)检查内容过于单一，数据层次不够深入，并且网站限制每日检查次数，且基于传统http请求方式进行网站的IPv6监测，在现有的技术环境背景下，http在弱网下的传输会出现异常问题，以及安全问题。

技术实现思路

[0003]为此，本专利技术所要解决的技术问题在于提供一种基于消息传输的网络IP监测方法及系统，能够更大程度的提高对IP网站的监测效率，改善现有技术的局限性。
[0004]为解决上述技术问题，本专利技术提供如下技术方案：
[0005]一种基于消息传输的网络IP监测系统，包括监测后台、监测中台和监测前台，所述监测后台包括数据采集单元、数据存储器、消息传输中间件和消息服务处理模块，所述监测中台设置有监测服务模块，所述数据采集单元分别与所述数据存储器和所述消息传输中间件通信连接，所述消息传输中间件与所述消息服务处理模块通信连接，所述消息服务处理模块通过网关组件与所述监测服务模块通信连接，所述监测服务模块与所述监测前台通信连接；其中，所述消息传输中间件为基于NATS消息服务的中间件或kafuka消息中间件或RocketMQ消息中间件；所述消息服务处理模块通过监听模式进行消息服务的数据读取，根据对应stream和subject进行消息消费，通过ask模式确保消费的准确性。
[0006]上述基于消息传输的网络IP监测系统，所述数据采集单元包括探针组件、爬虫组件和开放API接口组件。
[0007]上述基于消息传输的网络IP监测系统，所述监测中台设置有监测方式配置模块和监测告警模块。
[0008]上述基于消息传输的网络IP监测系统，所述监测前台设有服务订阅模块。
[0009]上述基于消息传输的网络IP监测系统，在所述数据存储器中，当所述消息传输中间件为基于NATS消息服务的中间件时，存储数据时利用NATS的stream流和subject主体进行数据的分片分区。
[0010]上述基于消息传输的网络IP监测系统，所述消息传输中间件中的配置组件分配唯一clientID，并将clientID设置在Message的header中，并通过对应的key和唯一value以及对应设置的消息重复时间窗口来限制消息数据在客户端的唯一性。
[0011]上述基于消息传输的网络IP监测系统，所述监测中台中还设有报告服务模块、数据互通服务模块和数据画像服务模块；所述数据互通服务模块在进行数据互通时，将零散的监测数据进行类比拆分，并依据逐层递进原则进行数据互通模式的搭建。
[0012]一种利用上述基于消息传输的网络IP监测系统进行网络IP监测的方法，包括如下
步骤：
[0013]S1)根据监测服务请求消费消息传输中间件中的队列任务并通过网关组件进行数据筛选区分；
[0014]S2)将步骤S1)中筛选出来的数据载入监测中台；
[0015]S3)监测中台通过调用Linux的DNS服务获取步骤S2)载入数据中的域
[0016]名对应的IP地址；
[0017]S4)监测中台用过curl命令获取步骤S2)载入数据中的curl的信息；
[0018]S5)监测中台通过调用Linux的ping服务对步骤S3)中获取的IP地址5进行ping通测验；
[0019]S6)监测中台通过调用Linux的telnat服务对步骤S3)中获取的IP地
[0020]址是否telnat成功进行校验；
[0021]S7)监测中台通过查询获得权威DNS能否解析IP地址的结果；
[0022]S8)监测中台依据步骤S1)～步骤S7)获得的信息得出监测结果并向监0测前台反馈监测结果。
[0023]上述方法，在步骤S4)中，通过多次curl命令获取curl的信息以校验通过curl命令获取curl的信息是否成功。
[0024]上述方法，在通过爬虫组件爬取web页面中步骤S1)中筛选前的数据
[0025]时，首先爬取首页页面元素并通过正则表达式过滤无用URL，再进行拼接正5确URL。
[0026]本专利技术的技术方案取得了如下有益的技术效果：
[0027]1、本专利技术灵活性较高，可以实现服务与服务之间数据贯通，相互协调。
[0028]2、本专利技术中的基于消息传输的网络IP监测系统可用性较强，通过不同
[0029]服务产出的内容均可实现数据分析，归纳总结，也可形成数据闭环分析画像。0 3、本专利技术细分性灵活，通过对不同区域/组织，不同行业维度的划分，
[0030]可细分某一种类数据，数据的可分析度和准确度较高。
[0031]4、高可用的消息中间服务，可伸缩扩展，提供可靠的数据存储功能，可自愈的服务模式，保证监测的数据不丢失。
附图说明
[0032]图1为本专利技术中基于消息传输的网络IP监测系统的工作原理图；
[0033]图2为基于消息传输的网络IP监测的流程图。
具体实施方式
[0034]下面结合示例，针对本专利技术进行进一步说明。
[0035]如图1所示，本专利技术中基于消息传输的网络IP监测系统，包括监测后台、监测中台和监测前台，所述监测后台包括数据采集单元、数据存储器、消息传输中间件和消息服务处理模块，所述监测中台设置有监测服务模块，所述数据采集单元分别与所述数据存储器和所述消息传输中间件通信连接，所述消息传输中间件与所述消息服务处理模块通信连接，所述消息服务处理模块通过网关组件与所述监测服务模块通信连接，所述监测服务模块与
所述监测前台通信连接；其中，所述消息传输中间件为基于NATS消息服务的中间件或kafuka消息中间件或RocketMQ消息中间件，用于数据采集单元的服务推送和数据传输；所述消息服务处理模块通过监听模式进行消息服务的数据读取，根据对应stream和subject进行消息消费，通过ask模式确保消费的准确性。
[0036]本实施例中，所述数据采集单元包括探针组件、爬虫组件和开放API接口组件，上述组件为监测中台的服务提供数据支撑；所述监测中台设置有监测方式配置模块和监测告警模块，所述监测前台设有服务订阅模块和可视化展示模块。
[0037]在所述数据存储器中，当所述消息传输中间件为基于NATS消息服务的中间件时，存储数据时利用NATS的stream流和subject主体进行数据的分片分区。
[0038]所述消息传输中间件中的配置组件分配唯一clientID，并将clientID设置在Message的header中，并通过对应的key和唯一value以及对应设置的消息重复时间窗口来限制消息数据在客户端的唯一性。
[0039]所述监测中台中还设有报告服务模块、数据互通服务模块和数据画像服务模块；所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于消息传输的网络IP监测系统，其特征在于，包括监测后台、监测中台和监测前台，所述监测后台包括数据采集单元、数据存储器、消息传输中间件和消息服务处理模块，所述监测中台设置有监测服务模块，所述数据采集单元分别与所述数据存储器和所述消息传输中间件通信连接，所述消息传输中间件与所述消息服务处理模块通信连接，所述消息服务处理模块通过网关组件与所述监测服务模块通信连接，所述监测服务模块与所述监测前台通信连接；其中，所述消息传输中间件为基于NATS消息服务的中间件或kafuka消息中间件或RocketMQ消息中间件；所述消息服务处理模块通过监听模式进行消息服务的数据读取，根据对应stream和subject进行消息消费，通过ask模式确保消费的准确性。2.根据权利要求1所述的基于消息传输的网络IP监测系统，其特征在于，所述数据采集单元包括探针组件、爬虫组件和开放API接口组件。3.根据权利要求1所述的基于消息传输的网络IP监测系统，其特征在于，所述监测中台设置有监测方式配置模块和监测告警模块。4.根据权利要求1所述的基于消息传输的网络IP监测系统，其特征在于，所述监测前台设有服务订阅模块。5.根据权利要求1所述的基于消息传输的网络IP监测系统，其特征在于，在所述数据存储器中，当所述消息传输中间件为基于NATS消息服务的中间件时，存储数据时利用NATS的stream流和subject主体进行数据的分片分区。6.根据权利要求1～5任一所述的基于消息传输的网络IP监测系统，其特征在于，所述消息传输中间件中的配置组件分配唯一clientID，并将clientID设置在Message的header中，并通过对应的key...

【专利技术属性】
技术研发人员：陶林海，冯天阳，
申请(专利权)人：明阳产业技术研究院沈阳有限公司，
类型：发明
国别省市：