【技术实现步骤摘要】
本专利技术属于网络流量监测，尤其涉及一种网络流量采集分析与监测方法及系统。
技术介绍
1、目前市面上已有的网络流量监测系统在协议功能的使用上相对独立，并且常用的网络流量监测协议有两种，snmp协议和netflow协议。
2、而snmp协议以请求-响应模式获取设备端口配置信息、网络流量信息，还可以获取设备性能信息如cpu利用率、设备当前温度、磁盘空间利用率等，能够提供基于端口级别的实时流量数据且数据准确性较高，方便网络管理人员从宏观角度查看网络整体运行状况，并且几乎所有设备都支持snmp协议。但是，snmp支持的数据容量较小，多用于网络状态监测及网络性能分析；其次，虽然snmp协议提供了统一的管理接口，但是不同厂商不同设备类型不同设备型号提供的对象标识符不尽相同，导致设备数据获取的工作量及成本较大。
3、netflow协议以网络流量中的数据包作为管理对象，能够提供比snmp协议更为详细的流量统计信息，支持大流量网络流量分析与异常检测。通过ip协议类型的过滤，可以细分出不同应用程序的流量使用情况，适用于网络行为模式的深度分析。但是，netflow缺少设备及端口的相关信息，并且因为借助于udp数据包以预定的时间间隔推送数据，在网络流量采集时可能存在时延；其次，采用抽样技术使得采集不能准确反映流量实际情况，所以单独使用netflow协议也存在一定的局限性。
4、因此，上述两种协议在单独使用时都存在较大缺陷，而将两种协议融合使用则可以取长补短，有效解决数据准确度低、数据容量小等问题，增强态势感知的覆盖范
技术实现思路
1、鉴于以上现有技术的不足，专利技术的目的在于提供一种网络流量采集分析与监测方法及系统，融合snmp和netflow两类数据源，通过统一的采集框架，屏蔽不同设备类型、不同厂商型号，采集snmp和netflow协议原始数据，增加数据的互补性，对汇聚数据进行分析，识别异常流量；最后，提供直观的图表和统计信息，将统计分析结果进行可视化展示，方便用户进行网络流量分析和管理。
2、本专利技术的第一方面，提出了一种网络流量采集分析与监测方法，包括如下步骤：
3、s1.利用snmp协议定时采集设备端口基本信息及流量数据；
4、s2.利用netflow接收器监听端口收集流量数据；
5、s3.根据预先录入的设备资源信息、协议模板信息以及计划要采集的指标信息，配置实指令、虚指令、采集源、采集指标、采集模板和采集策略信息；
6、s4.在网元层面，进行网元抽象和网元细类；
7、s5.在采集源层面，采集源关联网元，确定需要采集的对象；
8、s6.在实指令层面，配置具体要执行的指令内容以及结果解析规则；
9、s7.配置好的实指令抽象成通用的虚指令，屏蔽不同设备类型、不同厂商型号相同指令的差异；
10、s8.采集指标关联虚指令，使采集模板绑定多个采集指标；
11、s9.在采集策略层面绑定采集模板，并配置采集周期及采集类型；
12、s10.启动采集策略，采集调度将反向解析采集模板-采集指标-虚指令，生成实指令包；
13、s11.下发采集任务实施snmp数据采集，将采集返回数据按照规定的json格式进行归一化写入hdfs文件，同时将采集完成通知消息再写入kafka topic；
14、s12.将接收到的netflow数据按照规定的json格式进行归一化再写入hdfs文件和kafka topic。
15、进一步地，还包括：
16、s13.使用flink消费kafka中存储的snmp采集完成通知消息，获取hdfs文件存放路径，从hdfs文件中获取snmp端口基础数据和采集周期内端口性能数据，并将设备端口基础数据入库postgresql；
17、s14.使用flink消费kafka中存储的netflow原始数据，获取netflow流起始及结束时间、流入流出字节，流入端口索引、设备ip地址、协议类型，根据端口索引关联查询postgresql获取端口基础信息，统计与snmp相同采集周期内的端口流入流出字节数、带宽利用率、流速；
18、s15.将snmp、netflow端口性能数据入库clickhouse。
19、本专利技术的另一方面，提出了一种网络流量采集分析与监测系统，包括数据采集模块、数据融合分析模块和数据可视化模块；
20、所述数据采集模块用于通过采集平台，实现snmp协议网元端口配置及流量性能指标的配置与采集，并且过部署流量采集器，接收netflow数据包；
21、所述数据融合分析模块用于获取snmp协议采集数据和获取netflow协议采集数据，并融合分析snmp及netflow协议采集数据；
22、所述数据可视化模块用于展示snmp与netflow流量的对比变化情况、snmp与netflow流量的对比分析结果。
23、进一步地，所述数据采集模块包括包含snmp模块和netflow接收器模块，所述snmp模块用于按照采集策略定时采集设备端口基本信息及流量数据，所述netflow接收器模块用于监听端口收集流量数据。
24、进一步地，所述snmp模块包括设备资源信息录入单元、协议模板信息录入单元、计划采集指标信息录入单元、实指令配置单元、虚指令生成单元、采集源配置单元、采集模板绑定单元、采集策略配置单元、实指令解析单元、数据归一化单元、hdfs和kafka写入单元。
25、进一步地，所述数据采集模块还用于将原始数据写入hdfs文件进行离线备份。
26、进一步地，所述数据融合分析模块还包括flink组件，所述flink组件用于获取snmp采集完成通知消息和netflow原始数据。
27、进一步地，所述数据可视化模块包括echarts曲线图查询和展示组件及设备端口流量异常情况展示组件，所述echarts曲线图查询和展示组件用于按照不同的组合维度、不同的颗粒度查询echarts曲线图和展示snmp和netflow流量的对比变化情况，所述设备端口流量异常情况展示组件用于通过列表形式展示设备端口流量异常情况，并提供详细报表的查询和导出。
28、进一步地，该系统用于分析snmp和netflow流量的误差比、流量是否正常、流量异常原因；识别出网络之间流量流向、客户跨省流量流向行为。
29、进一步地，该系统用于自动化调整图表的各种参数,包括颜色、本文档来自技高网...
【技术保护点】
1.一种网络流量采集分析与监测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种网络流量采集分析与监测方法，其特征在于，还包括以下步骤：
3.一种网络流量采集分析与监测系统，其特征在于，包括数据采集模块、数据融合分析模块和数据可视化模块；
4.根据权利要求3所述的一种网络流量采集分析与监测系统，其特征在于，所述数据采集模块包括包含SNMP模块和Netflow接收器模块；其中，所述SNMP模块用于按照采集策略定时采集设备端口基本信息及流量数据，所述Netflow接收器模块用于监听端口收集流量数据。
5.根据权利要求4所述的一种网络流量采集分析与监测系统，其特征在于，所述SNMP模块包括设备资源信息录入单元、协议模板信息录入单元、计划采集指标信息录入单元、实指令配置单元、虚指令生成单元、采集源配置单元、采集模板绑定单元、采集策略配置单元、实指令解析单元、数据归一化单元、HDFS和Kafka写入单元。
6.根据权利要求3所述的一种网络流量采集分析与监测系统，其特征在于，所述数据采集模块还用于将原始数据写入HDFS文
7.根据权利要求6所述的一种网络流量采集分析与监测系统，其特征在于，所述数据融合分析模块还包括Flink组件，所述Flink组件用于获取SNMP采集完成通知消息和NetFlow原始数据。
8.根据权利要求3所述的一种网络流量采集分析与监测系统，其特征在于，所述数据可视化模块包括echarts曲线图查询和展示组件及设备端口流量异常情况展示组件，所述echarts曲线图查询和展示组件用于按照不同的组合维度、不同的颗粒度查询echarts曲线图和展示SNMP和Netflow流量的对比变化情况，所述设备端口流量异常情况展示组件用于通过列表形式展示设备端口流量异常情况，并提供详细报表的查询和导出。
9.根据权利要求4所述的一种网络流量采集分析与监测系统，其特征在于，所述系统用于分析SNMP和NetFlow流量的误差比、流量是否正常、流量异常原因；识别出网络之间流量流向、客户跨省流量流向行为。
10.根据权利要求7所述的一种网络流量采集分析与监测系统，其特征在于，所述系统用于自动化调整图表的各种参数,包括颜色、标签、坐标轴。
...【技术特征摘要】
1.一种网络流量采集分析与监测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种网络流量采集分析与监测方法，其特征在于，还包括以下步骤：
3.一种网络流量采集分析与监测系统，其特征在于，包括数据采集模块、数据融合分析模块和数据可视化模块；
4.根据权利要求3所述的一种网络流量采集分析与监测系统，其特征在于，所述数据采集模块包括包含snmp模块和netflow接收器模块；其中，所述snmp模块用于按照采集策略定时采集设备端口基本信息及流量数据，所述netflow接收器模块用于监听端口收集流量数据。
5.根据权利要求4所述的一种网络流量采集分析与监测系统，其特征在于，所述snmp模块包括设备资源信息录入单元、协议模板信息录入单元、计划采集指标信息录入单元、实指令配置单元、虚指令生成单元、采集源配置单元、采集模板绑定单元、采集策略配置单元、实指令解析单元、数据归一化单元、hdfs和kafka写入单元。
6.根据权利要求3所述的一种网络流量采集分析与监测系统，其特征在于，所述数据采集模块还用于将原始数据写入hdfs文...
【专利技术属性】
技术研发人员：林丽，白亚，黄志慧，左金，成峰，
申请(专利权)人：中电信数智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。