一种易扩展的多方式融合的核心网用户流量应用识别方法技术

一种易于扩展的多方式融合的核心网用户流量应用识别方法，包括层次化的数据报文解析和识别还原隧道流量；解析管理IP层和传输层协议的五元组信息；根据流节点信息，采用预识别、端口识别、HTTP识别、P2P识别和PA识别方法融合的应用识别方法，获取数据报文及其所属数据流的具体应用信息。各识别方法支持单独扩展，并且将处理逻辑简单，响应速度快的识别方法前置，降低后续复杂方法的识别负荷，提高识别处理效率；HTTP支持二级识别，提升识别的有效性和准确性；同时支持DPI和DFI的识别方式，有效识别加密应用协议和P2P协议数据流。

【技术实现步骤摘要】
—种易扩展的多方式融合的核心网用户流量应用识别方法
本专利技术涉及通信网络流量识别领域，更具体的，本专利技术涉及一种易于扩展的多方法融合的核心网实时用户流量应用识别方法。
技术介绍
为了了解通信网络中，不同网络应用的使用情况和对带宽的占用情况，从而进行有效的流量监控或者网络用户分析，必须首先对通信网络数据流量进行有效的识别。 传统的通信网络用户流量应用识别技术主要有2种，深度包检测(De印PacketInspect1n, DPI)和深度流检测(Deep Flow Inspect1n, DFI)。 DPI是通过深度读取报文荷载的内容来识别报文，DPI除了对报文L2 (数据链路层)、L3 (网络层)、L4 (传输层)的内容进行分析外，还增加了对L7 (应用层)内容的分析，因此可以通过针对知名端口进行应用协议识别，或者基于应用层协议特征码来进行识别。 DFI与DPI进行载荷匹配不同，它采用的是一种基于流量行为的应用识别技术。由于不同的应用类型在会话连接或数据流上的状态各有不同，DFI利用这样的特性进行应用识别。特别是针对通信网络中采用加密协议的应用，或者P2P协议的应用，DFI有着DPI不可比拟的效果。 现今通信网络中的用户上网业务流量中的应用类型纷繁复杂，各种各样的应用所采用的协议及其特征也相差甚远。因此，不论是那种应用识别方法，都有一定的局限性，不能覆盖全部的应用协议类型。再者，通信网络中对用户业务数据的识别要求，已经不仅仅指的是协议的识别，而是更偏向于内容层面的应用识别。例如，很多移动终端第三方应用程序(APP)，或者网络视频应用，都会采用HTTP协议进行内容的承载，因此，仅仅识别出HTTP协议显然是不够的。最后，核心网用户业务数据的数量级非常大，但是应用识别需要达到实时效果。
技术实现思路
为了克服传统单一应用识别方法的局限性，以及满足实时识别的要求，本专利技术提出了一种应用识别方法，针对通信网络业务数据的特性，采用多种识别方式按设计顺序结合使用的方法进行应用识别，以提升识别率。同时，该方法易于灵活的进行横向扩展，提升现网数据实时识别的处理能力。 本专利技术的技术方案提供一种易于扩展的多方式融合的核心网用户流量应用识别方法，对接收到的数据报文依次进行识别处理，对某数据报文的识别处理包括以下步骤，步骤一，从Ethernet II层开始解析，得到IP层开始的业务数据；步骤二，开始解析IP层和传输层协议，得到数据流五元组信息；步骤三，根据步骤二所得数据流五元组信息，若数据流节点已存在，并且所代表数据流应用类型已识别，则当前识别处理流程结束，其他情况均继续进行应用识别过程，应用识别过程包括依次执行预识别子过程、端口识别子过程、HTTP识别子过程、P2P识别子过程和PA识别子过程，在某个识别子过程识别出具体的协议类型，则当前识别处理流程结束；所述预识别子过程，包括根据数据包信息判断当前流是否匹配已识别出的应用协议的控制流所指定的数据流，若为肯定结果则成功识别出应用类型，则当前识别处理流程结束，若为否定结果则进入后续识别子过程；所述端口识别子过程，包括根据常用端口特征识别协议类型，若成功识别出应用类型则当前识别处理流程结束，若为否定结果则进入后续识别子过程；所述HTTP识别子过程，包括根据HTTP的协议规范，利用HTTP中简单特征进行初级匹配，若匹配失败，则说明该流量为非HTTP业务，进入后续识别子过程；若匹配成功，则说明该流为HTTP业务，进行特征串匹配，匹配成功则得到使用HTTP协议的具体应用类型，识别结束，否则标记为“HTTP协议”，识别结束；所述特征串匹配是根据各类使用HTTP协议的应用的头域特征进行匹配；所述P2P识别子过程，包括针对P2P协议及P2P数据的特性，同时采用DPI和DFI的方式进行识别和统计，当识别为非P2P流时进入后续识别子过程；当识别为P2P流时识别匹配的P2P协议，若成功识别则得到使用P2P协议的具体应用类型，识别结束，否则标记为“P2P协议”，识别结束；所述PA识别子过程，包括根据预先设定的特征规则进行识别。 而且，所述端口识别子过程的实现包括以下子步骤，步骤A021，接收IP层起始数据报文及其对应数据流信息，判断接收到的数据流是否是TCP流，是则进入步骤A022，否则进入步骤A023 ；步骤A022,在tcp_port_list中查找svrPort信息,找到则得到对应应用类型,识别结束；否则在tcp_port_list中查找msPort信息,找到则得到对应应用类型,识别结束,否则进入后续识别子过程；步骤A023,在udp_port_list中查找svrPort信息,找到则得到对应应用类型，识别结束；否则在udp_port_list中查找msPort信息,找到则得到对应应用类型,识别结束,否则进入后续识别子过程；其中，svrPort指数据报文服务端端口信息，msPort指数据报文客户端端口信息,表tcp_port_list保存TCP流的端口表达式规则,表udp_port_list保存UDP流的端口表达式规则。 而且，所述HTTP识别子过程中，进行特征串匹配使用正则匹配方法实现。 而且，所述P2P识别子过程的实现包括以下子步骤，步骤A041，接收IP层起始数据报文及其对应数据流信息；步骤A042,提取出数据报文的源IP地址msAddr和源端口 msport,判断五元组的源IP地址和源端口对(msaddr, msport)是否存在于p2p_ip_port_set中，若存在,贝U转入步骤A048 ;若不存在，则继续步骤A043 ;其中，p2p_ip_port_set是存放源IP地址和源端口对的集合；步骤A043,设is_tcp_udp_flag保存flow用到的承载协议类型,判断当前数据包的IP地址对是否同时存在于TCP数据流和UDP数据报文中，若不是则更新is_tcp_udp_flag的状态，进入后续识别子过程，若是则继续步骤A044 ；步骤A044,记录存储源IP地址和端口对(msaddr, msport)连接到的各个(IP, PORT)对；步骤A045，判断数据流的总长度是否大于2MB，若不是，则进入后续识别子过程；若是，则继续步骤A045 ； 步骤A046;判断是否源(IP, PORT)连接到的目地IP数目和目地PORT数目之间的差值小于相应的阈值，是则为P2P流，继续步骤A045 ;否则为非P2P流，进入后续识别子过程；步骤A047,将数据流的源IP地址和端口对(msaddr, msport)加入p2p_ip_port_set ；步骤A048，利用DPI方法对P2P流进行更细化的分类，成功则找到具体的P2P应用，识别结束，若否则标记为“P2P协议”，识别结束。 而且，所述PA识别子过程的实现利用DPI方法。 而且，所述DPI方法包括以下子步骤，步骤A051，接收IP层起始数据报文及其对应数据流信息；步骤A052,判断当前数据报文的端口值是否存在于容器tcp_proto_list/udp_proto_list中，若存在,贝U按照容器tcp_proto_list/udp_proto_list所存储的特征进行匹配，即继续进行步骤A本文档来自技高网...

【技术保护点】
一种易于扩展的多方式融合的核心网用户流量应用识别方法，其特征在于：对接收到的数据报文依次进行识别处理，对某数据报文的识别处理包括以下步骤，步骤一，从Ethernet II层开始解析，得到IP层开始的业务数据；步骤二，开始解析IP层和传输层协议，得到数据流五元组信息；步骤三，根据步骤二所得数据流五元组信息，若数据流节点已存在，并且所代表数据流应用类型已识别，则当前识别处理流程结束，其他情况均继续进行应用识别过程，应用识别过程包括依次执行预识别子过程、端口识别子过程、HTTP识别子过程、P2P识别子过程和PA识别子过程，在某个识别子过程识别出具体的协议类型，则当前识别处理流程结束；所述预识别子过程，包括根据数据包信息判断当前流是否匹配已识别出的应用协议的控制流所指定的数据流，若为肯定结果则成功识别出应用类型，则当前识别处理流程结束，若为否定结果则进入后续识别子过程；所述端口识别子过程，包括根据常用端口特征识别协议类型，若成功识别出应用类型则当前识别处理流程结束，若为否定结果则进入后续识别子过程；所述HTTP识别子过程，包括根据HTTP的协议规范，利用HTTP中简单特征进行初级匹配，若匹配失败，则说明该流量为非HTTP业务，进入后续识别子过程；若匹配成功，则说明该流为HTTP业务，进行特征串匹配，匹配成功则得到使用HTTP协议的具体应用类型，识别结束，否则标记为“HTTP协议”，识别结束；所述特征串匹配是根据各类使用HTTP协议的应用的头域特征进行匹配；所述P2P识别子过程，包括针对P2P协议及P2P数据的特性，同时采用DPI和DFI的方式进行识别和统计，当识别为非P2P流时进入后续识别子过程；当识别为P2P流时识别匹配的P2P协议，若成功识别则得到使用P2P协议的具体应用类型，识别结束，否则标记为“P2P协议”，识别结束；所述PA识别子过程，包括根据预先设定的特征规则进行识别。...

【技术特征摘要】
1.一种易于扩展的多方式融合的核心网用户流量应用识别方法，其特征在于:对接收到的数据报文依次进行识别处理，对某数据报文的识别处理包括以下步骤， 步骤一，从Ethernet II层开始解析，得到IP层开始的业务数据； 步骤二，开始解析IP层和传输层协议，得到数据流五元组信息； 步骤三，根据步骤二所得数据流五元组信息，若数据流节点已存在，并且所代表数据流应用类型已识别，则当前识别处理流程结束，其他情况均继续进行应用识别过程，应用识别过程包括依次执行预识别子过程、端口识别子过程、HTTP识别子过程、P2P识别子过程和PA识别子过程，在某个识别子过程识别出具体的协议类型，则当前识别处理流程结束； 所述预识别子过程，包括根据数据包信息判断当前流是否匹配已识别出的应用协议的控制流所指定的数据流，若为肯定结果则成功识别出应用类型，则当前识别处理流程结束，若为否定结果则进入后续识别子过程； 所述端口识别子过程，包括根据常用端口特征识别协议类型，若成功识别出应用类型则当前识别处理流程结束，若为否定结果则进入后续识别子过程； 所述HTTP识别子过程，包括根据HTTP的协议规范，利用HTTP中简单特征进行初级匹配，若匹配失败，则说明该流量为非HTTP业务，进入后续识别子过程；若匹配成功，则说明该流为HTTP业务，进行特征串匹配，匹配成功则得到使用HTTP协议的具体应用类型，识别结束，否则标记为“HTTP协议”，识别结束；所述特征串匹配是根据各类使用HTTP协议的应用的头域特征进行匹配； 所述P2P识别子过程，包括针对P2P协议及P2P数据的特性，同时采用DPI和DFI的方式进行识别和统计，当识别为非P2P流时进入后续识别子过程；当识别为P2P流时识别匹配的P2P协议，若成功识别则得到使用P2P协议的具体应用类型，识别结束，否则标记为“P2P协议”，识别结束； 所述PA识别子过程，包括根据预先设定的特征规则进行识别。2.根据权利要求1所述易于扩展的多方式融合的核心网用户流量应用识别方法，其特征在于:所述端口识别子过程的实现包括以下子步骤， 步骤A021，接收IP层起始数据报文及其对应数据流信息，判断接收到的数据流是否是TCP流，是则进入步骤A022，否则进入步骤A023 ； 步骤A022,在tcp_port_list中查找svrPort信息,找到则得到对应应用类型,识别结束；否则在tcp_port_list中查找msPort信息,找到则得到对应应用类型,识别结束,否则进入后续识别子过程； 步骤A023,在udp_port_list中查找svrPort信息,找到则得到对应应用类型，识别结束；否则在udp_port_list中查找msPort信息,找到则得到对应应用类型,识别结束,否则进入后续识别子过程； 其中，svrPort指数据报文服务端端口信息，msPort指数据报文客户端端口信息,表tcp_port_list保存TCP流的端口表达式规则,表udp_port_list保存UDP流的端口表达式规则。3.根据权利要求1所述易于扩展的多方式融合的核心网用户流量应用识别方法，其特征在于:所述HTTP识别子过程中，进行特征串匹配使用正则匹配方法实现。4.根据权利要求1所述易于扩展的多方式...

【专利技术属性】
技术研发人员：李磊，罗晓羽，肖伟明，余道敏，
申请(专利权)人：武汉虹信技术服务有限责任公司，
类型：发明
国别省市：湖北;42