一种基于流处理的网络流量数据解析方法和装置制造方法及图纸

本申请提供一种基于流处理的网络流量数据解析方法和系统，所述方法包括：获取信令中转设备转接的原始网络流量数据；对原始网络流量数据中的原始报文进行协议匹配；对协议匹配后的原始报文标注报文分发的分类标识；依据所述分类标识将协议规则匹配后的原始报文发送至所述目标处理节点；所述目标处理节点采用分布式计算的流数据处理方式，依据对所述原始报文进行业务规则匹配，实时生成XDR数据。通过本申请上述实施例公开的技术方案可见，本申请满足了运营商通信设备网络中实时分析大规模流量数据的需求，极大地提升了分析效率和速度。

A network traffic data parsing method and device based on stream processing

The present application provides an analytical method and system for network traffic data based on flow processing. The method includes: obtaining the original network traffic data transferred from a signaling transfer device, matching the original message in the original network traffic data, and marking out the classified identification of the original message after the protocol matching; The original message which is matched by the protocol rules is sent to the target processing node according to the classified identification. The target processing node uses the distributed computing flow data processing method to match the business rules of the original message, and generates XDR data in real time. The present application shows that the application meets the demand for real-time analysis of large-scale traffic data in the operator's communication device network and greatly improves the efficiency and speed of the analysis.

【技术实现步骤摘要】
一种基于流处理的网络流量数据解析方法和装置
本专利技术涉及通信
，具体涉及一种基于流处理的网络流量数据分析的方法和装置。
技术介绍
随着网络技术的不断发展，网络提供的应用和业务种类得到了极大的丰富。与此同时，多样化的业务和不断增加的用户数也使运营商网络变得愈加复杂，这无疑加大了通信设备的运维难度，也给网络服务提供商带来了新的机遇与挑战。对通信设备发出的大规模数据进行分析能够帮助运营商精准掌控网络应用的信息，并基于掌控的信息完成高效的网络运维管理，从而支撑信息安全、用户管理，故障监控等多方面业务需求。传统网络流量数据分析方法主要包括对传输协议端口、信息特征内容、流量特征的分析，上述分析方法尚不能满足流量分类和深度分析的多样化功能需求。而DPI(DeepPacketInspection，深度包检测)技术基于二层到七层网络协议，能够深入读取数据包载荷，提供更为细致和具体的信息。基于DPI技术的分析设备能够采集原始的数据流量信息，生成XDR(ExternalDataRepresentation，外部数据表示)格式的数据。运营商能够通过DPI设备生成的XDR数据精确感知网络状况，从而实现本文档来自技高网...

【技术保护点】
1.一种基于流处理的网络流量数据解析方法，其特征在于，应用于数据处理系统中，所述数据处理系统中预架构有多个流量数据采集节点和多个处理节点，方法包括：从各采集节点获取信令中转设备转接的原始网络流量数据；依据协议匹配规则对原始网络流量数据中的原始报文进行协议匹配；对协议匹配后的原始报文标注分类标识；依据所述分类标识和负载均衡原则为加分类标识后的原始报文确定对应的目标处理节点，将协议匹配后的原始报文发送至所述目标处理节点；所述所有处理节点采用分布式流数据处理方式，对收到的报文依据业务匹配规则进行业务匹配，将匹配出的数据重组为业务XDR数据输出。

【技术特征摘要】
1.一种基于流处理的网络流量数据解析方法，其特征在于，应用于数据处理系统中，所述数据处理系统中预架构有多个流量数据采集节点和多个处理节点，方法包括：从各采集节点获取信令中转设备转接的原始网络流量数据；依据协议匹配规则对原始网络流量数据中的原始报文进行协议匹配；对协议匹配后的原始报文标注分类标识；依据所述分类标识和负载均衡原则为加分类标识后的原始报文确定对应的目标处理节点，将协议匹配后的原始报文发送至所述目标处理节点；所述所有处理节点采用分布式流数据处理方式，对收到的报文依据业务匹配规则进行业务匹配，将匹配出的数据重组为业务XDR数据输出。2.根据权利要求1所述的网络流量数据解析方法，其特征在于，从各采集节点获取信令中转设备转接的原始网络流量数据之前，还包括：获取协议匹配规则、业务匹配规则；将所述协议匹配规则分发给各采集节点，将所述业务匹配规则分发给各处理节点。3.根据权利要求2所述的网络流量数据解析方法，其特征在于，将所述协议匹配规则分发给各采集节点之前，还包括：对所述匹配规则进行整合，去除所述匹配规则中的冗余规则，并分别形成协议匹配判断树、业务匹配判断树，形成简化的匹配规则。4.根据权利要求2或3所述的网络流量数据解析方法，其特征在于，所述的协议匹配规则、业务匹配规则用正则表达式表述并存储于配置文件中，或者通过人机交互界面获取用户输入的协议特征、业务需求，然后动态生成用正则表达式表述的协议匹配规则、业务匹配规则。5.根据权利要求4所述的网络流量数据解析方法，其特征在于，所述协议特征至少包括：IP地址、端口号和协议类型；所述业务需求至少包括：IP地址、端口号和业务类型。6.根据权利要求1所述的网络流量数据解析方法，其特征在于，对协议匹配后的原始报文标注分类标识；依据所述标识和负载均衡原则为所述加标识后的原始报文确定对应的目标处理节点，将匹配后的原始报文发送至对应的目标处理节点；进一步包括：依据原始报文内容之间的关联性，对相互关联的原始报文配置相同的ID标识，将相同ID标识的报文发送至相同的目标处理节点。7.根据权利要求6所述的网络流量数据解析方法，其特征在于，所述存在关联性的原始报文指的是：具有相同信源和信宿的数据报文、同一时间段内发出的数据报文、具有相同端口号的数据报文。8.根据权利要求1所述的网络流量数据解析方法，其特征在于，还包括将所述输出的业务XDR数据进行分布式文件存储。9.一种基于流处理的网络流量数据解析系统，其特征在于，包括：采集分发子系统和业务匹配子系统；所述采集分发子系统包括架构多个流量数据采集节点，每个采集节点包括如下模块：采集模块，用于获取信令中转设备转接的原始网络流量数据；协...

【专利技术属性】
技术研发人员：满毅，李北辰，章铎，李璐，章建功，林春庭，李萍，丁健，
申请(专利权)人：亿阳信通股份有限公司，
类型：发明
国别省市：北京,11