一种网络数据的分析方法及装置制造方法及图纸

本发明专利技术的实施例提供一种网络数据的分析方法及装置，涉及数据处理领域，能够对多种数据进行关联分析，处理实时的流式数据。该方法包括：获取数据采集节点根据SNMP数据采集需求采集的SNMP数据；获取目标通信设备的netflow日志、用户的DNS日志、用户的AAA日志；根据目标通信设备的目标接口索引在目标SNMP数据中查找目标接口；根据目的IP在DNS日志中查找并获取目标用户的目标用户请求域名，根据目标用户请求域名确定目标应用；根据源IP在DNS日志中查找并获取目标用户的IP，并根据目标用户的IP在AAA日志中查找并获取目标用户账号；确定目标用户通过目标通信设备的目标接口在目标应用上使用目标用户账号时产生了流量。本申请实施例应用于处理网络数据。

【技术实现步骤摘要】
一种网络数据的分析方法及装置
本专利技术的实施例涉及数据处理领域，尤其涉及一种网络数据的分析方法及装置。
技术介绍
现有网络数据采集分析系统主要为网络协议(internetprotocol，IP)网网管系统，网管系统主要由资源管理、性能管理、告警管理、配置管理四方面组成，经过几十年的发展，逐渐形成了一整套成熟的管理模型以及管理软件。另一方面，也有很多厂商发布了自己的网管系统，例如，思科全数字化网络架构(ciscodigitalnetworkarchitecture，CISCODNA)，华为的iManagerU2000，华三的智能管理中心(intelligentmanagementcenter，iMC)等，这些软件基本解决了IP数据采集的问题。在实际应用过程中，由于底层实现的原因，现有的网络数据采集分析系统会限制采集服务器操作系统版本、服务器型号等，且无法横向扩展，由于使用关系型数据库，数据实时处理性能有限，当数据量过大时可能会出现系统无响应的情况，并且不支持流式数据的实时处理；由于不能进行跨节点部署采集，跨省报表或者总体报表难以集中化处本文档来自技高网...

【技术保护点】
1.一种网络数据的分析方法，其特征在于，/n获取数据采集节点根据简单网络管理协议SNMP数据采集需求采集的SNMP数据，其中，所述SNMP数据包括通信设备的IP、所述通信设备的接口索引；/n获取目标通信设备的netflow日志、用户的域名解析系统DNS日志、用户的网络安全系统AAA日志，其中，所述netflow日志包括所述目标通信设备的IP、所述目标通信设备的目标接口索引、目标接口索引对应的源IP、目标接口索引对应的目的IP，所述DNS日志包括用户的IP、用户请求域名，所述AAA日志包括用户账号、用户的IP；/n根据所述目标通信设备的IP在所述SNMP数据中查找并获取所述目标通信设备的目标SN...

【技术特征摘要】
1.一种网络数据的分析方法，其特征在于，
获取数据采集节点根据简单网络管理协议SNMP数据采集需求采集的SNMP数据，其中，所述SNMP数据包括通信设备的IP、所述通信设备的接口索引；
获取目标通信设备的netflow日志、用户的域名解析系统DNS日志、用户的网络安全系统AAA日志，其中，所述netflow日志包括所述目标通信设备的IP、所述目标通信设备的目标接口索引、目标接口索引对应的源IP、目标接口索引对应的目的IP，所述DNS日志包括用户的IP、用户请求域名，所述AAA日志包括用户账号、用户的IP；
根据所述目标通信设备的IP在所述SNMP数据中查找并获取所述目标通信设备的目标SNMP数据；
根据所述目标通信设备的目标接口索引在所述目标SNMP数据中查找目标接口，并获取目标接口信息，其中，所述目标接口信息包括接口名称、接口类型、接口描述、接口位置；
根据所述目标接口索引对应的目的IP在所述DNS日志中查找并获取目标用户的目标用户请求域名，根据所述目标用户请求域名确定目标应用；
根据所述目标接口索引对应的源IP在所述DNS日志中查找并获取所述目标用户的IP，并根据所述目标用户的IP在所述AAA日志中查找并获取目标用户账号；
确定所述目标用户通过所述目标通信设备的目标接口在所述目标应用上使用所述目标用户账号时产生了流量。


2.根据权利要求1所述的网络数据的分析方法，其特征在于，所述获取数据采集节点根据SNMP数据采集需求采集的SNMP数据之前，还包括：
获取yaml文件，其中，所述yaml文件包括SNMP数据采集需求；
将所述yaml文件下发至数据采集节点，其中，所述yaml文件用于指示所述数据采集节点根据所述SNMP数据采集需求采集SNMP数据，所述数据采集节点包括kubernetes管理的docker镜像，所述docker镜像包含数据采集程序。


3.根据权利要求1所述的网络数据的分析方法，其特征在于，还包括，
将所述SNMP数据以表的形式存储在hbase中，其中，所述hbase以HFILE文件结构形式存储在HDFS中。


4.根据权利要求3所述的网络数据的分析方法，其特征在于，所述SNMP数据还包括所述SNMP数据的采集时间、所述通信设备的接口信息，将所述SNMP数据以表的形式存储在hbase中，还包括，对表进行如下一项或多项设置：
将所述通信设备的IP、所述通信设备的端口信息、所述SNMP数据的采集时间设置为表的rowkey，并对表的rowkey进行加盐处理；
将表预分为n个预分区，其中，10≤n≤20；
将所述SNMP数据的采集时间建立为二级索引。


5.一种网络数据的分析装置，其特征在于，
获取模块，用于获取数据采集节点根据简单网络管理协议SNMP数据采集需求采集的SNMP数据，其中，所述SNMP数据包括通信设备的IP、所述通信设备的接口索引；
所述获取模块，还用于获取目标通信设备的netflow日志、用户的域名解析系统DNS日志、用户的网络安全系统AAA日志，其中，所述netfl...

【专利技术属性】
技术研发人员：班瑞，马季春，陈泉霖，郝宇飞，王鹏，邹雨佳，
申请(专利权)人：中国联合网络通信集团有限公司，中讯邮电咨询设计院有限公司，
类型：发明
国别省市：北京;11