基于DPI技术的综合数据特征分析方法及系统技术方案

本发明专利技术揭示了基于DPI技术的综合数据特征分析方法及系统，通过S1，获取域名请求数据流，生成域名请求的DNS解析数据表；S2，通过DPI技术对域名请求数据流进行应用识别，将识别出应用的数据流标记为已知应用；S3，将经过未识别出的数据流通过IPCache技术进行应用识别，将识别出应用的数据流标记为已知应用；S4，将未识别出应用的数据流通过DFI技术再次进行应用识别，将识别出应用的数据流标记为已知应用；S5，对未识别出应用的数据流，根据数据流的目的IP地址反向到DNS列表中查找该IP地址对应的DNS域名，通过DNS域名确定该数据流的应用属性，将识别出的数据流标记为已知应用。本发明专利技术能够有效的实现P2P及加密流量精确识别，能够改善现有技术高漏报、高误报的问题。

【技术实现步骤摘要】

本专利技术涉及综合数据特征分析方法及系统，尤其是一种基于DPI技术的综合数据特征分析方法及系统。
技术介绍
深度报文检测技术(即DeepPacketInspection，以下简称DPI)，是一种面向应用层分析的流量分析检测技术。DPI技术已成为高端网络设备的标准配置，用于对网络流量的精细化控制和分析，但是近年来随着互联网的迅速发展，应用数据技术不断发展，安全性越来越高，使得单纯的DPI技术很难仅仅基于对数据包的解析实现对应用的准确识别，因此有必要综合多种识别机制和识别技术，充分发挥各技术间的优势，使其形成一种识别体统，实现对现有应用识别的高准确率。目前DPI相关技术厂家在使用DPI技术时多为单一DPI技术，该技术的缺点也比较突出，随着互联网，特别是移动互联网的迅猛发展，尤其是基于P2P技术的视频、下载类应用的不断发展，人们对于传统网络数据的安全要求，原有的DPI技术在特征识别上已经很难独立应用做到高识别率。虽然，也有将DPI与DFI配合使用场景，这里，DFI是指深度流检测技术(即DeepFlowInspection，以下简称DFI)，是一种基于数据流的应用特殊识别检测技术。并且，DFI技术配合使用会对单一使用DPI技术在特征识别效果上有所改善，但两种技术的简单补充依然很难突破对P2P及加密流量精确识别的难题。
技术实现思路
本专利技术的目的就是为了解决现有技术中存在的上述问题，利用DNS反向查找、DPI技术、IPCache技术、DFI技术四大主要应用特征的识别技术，通过充分利用各项技术的优点，使各项技术优势互补，形成完整的数据识别链，达到对目标数据的应用识别，从而提供一种基于DPI技术的综合数据特征分析方法及系统。本专利技术的目的将通过以下技术方案得以实现：基于DPI技术的综合数据特征分析方法，包括如下步骤：S1，监控DNS域名解析请求，获取域名请求数据流，生成域名请求的DNS解析数据表；S2，通过DPI技术对域名请求数据流进行应用识别，将通过DPI技术识别出应用的数据流标记为已知应用；S3，将经过S2步骤未识别出应用的数据流通过IPCache技术进行应用识别，将通过IPCache技术识别出应用的数据流标记为已知应用；S4，将经过S3步骤仍未识别出应用的数据流通过DFI技术再次进行应用识别，将通过DFI技术识别出应用的数据流标记为已知应用；S5，对经过S4步骤仍未识别出应用的数据流，根据数据流的目的IP地址反向到所述S1步骤中生成的DNS列表中查找该IP地址对应的DNS域名，通过DNS域名确定该数据流的应用属性，将此过程中识别出应用的数据流标记为已知应用。优选的，所述的基于DPI技术的综合数据特征分析方法，其中：所述S2步骤包括如下过程：S21，记录数据流的目的IP和目的端口，生成目的IP地址池(IPCache池)；S22，当数据流未被识别时则依据数据流的目的IP和目的端口到IP地址池中反向查找，若地址池中查找到某条数据流已被识别为具体应用，则标记该条数据流为该应用。优选的，所述的基于DPI技术的综合数据特征分析方法，其中：还包括如下步骤：S6，将S2-S5步骤的识别结果进行加权处理，通过内置算法计算出目标应用识别码，并根据目标应用识别码到对应应用与权值映射表中查找到该数据流的应用属性归属。优选的，所述的基于DPI技术的综合数据特征分析方法，其中：所述S2步骤的识别结果的最大权值大于所述S3步骤和S4步骤的识别结果的最大权值；所述S5步骤的识别结果的最大权值小于所述S3步骤和S4步骤的识别结果的最大权值。优选的，所述的基于DPI技术的综合数据特征分析方法，其中：所述S2步骤的识别结果的最大权值为0.5，所述S3步骤和S4步骤的识别结果的最大权值均为0.2，所述S5步骤的识别结果的最大权值为0.1。基于DPI技术的综合数据特征分析系统，包括数据采集引擎，用于监控DNS域名解析请求，获取域名请求数据流，生成域名请求的DNS解析数据表；DPI识别引擎，用于通过DPI技术对域名请求数据流进行应用识别，将通过DPI技术识别出应用的数据流标记为已知应用；IPCache识别引擎，用于将经过DPI识别引擎未识别出应用的数据流通过IPCache技术进行应用识别，将通过IPCache技术识别出应用的数据流标记为已知应用；DFI识别引擎，用于将经过IPCache识别引擎仍未识别出应用的数据流通过DFI技术再次进行应用识别，将通过DFI技术识别出应用的数据流标记为已知应用；DNS反查引擎，用于对经过DFI识别引仍未识别出应用的数据流，根据数据流的目的IP地址反向到所述S1步骤中生成的DNS列表中查找该IP地址对应的DNS域名，通过DNS域名确定该数据流的应用属性，将此过程中识别出应用的数据流标记为已知应用。优选的，所述的基于DPI技术的综合数据特征分析系统，其中：还包括目标应用识别码生产引擎，用于将DPI识别引擎、IPCache识别引擎、DFI识别引擎以及DNS反查引擎的识别结果进行加权处理，通过内置算法计算出目标应用识别码，并根据目标应用识别码到对应应用与权值映射表中查找到该数据流的应用属性归属。优选的，所述的基于DPI技术的综合数据特征分析系统，其中：所述DPI引擎的识别结果的最大权值为0.5，所述IPCache引擎的识别结果的权值及DFI引擎的识别结果的最大权值均为0.2，所述DNS反查引擎的识别结果的最大权值为0.1。本专利技术技术方案的优点主要体现在：本专利技术设计精巧，过程简单，通过多种应用识别技术的科学的结合以及合理组合，根据各技术的特点设定优先级和权重值，使其在发挥自身特性时又不会特别倚重某一个技术，做到了各技术优点的巧妙融合，通过对数据流从其域名解析(DNS解析)到其流行为的全面覆盖，从而可对P2P类应用进行良好的识别，从而提高P2P及加密流量精确应用识别的精确性。并且，通过本方法能够改善现有技术对应用特征识别的高漏报、高误报的问题。具体实施方式本专利技术揭示的基于DPI技术的综合数据特征分析系统，包括依次通信的数据采集引擎、DPI识别引擎、IPCache识别引擎、DFI识别引擎、DNS反查引擎。所述数据采集引擎，用于监控DNS域名解析请求，获取域名请求数据流，生成域名请求的DNS解析数据表；所述DNS解析数据表用于为DNS反查提供查找源。所述DPI识别引擎用于通过DPI技术对域名请求数据流进行应用识别，将通过DPI技术识别出应用的数据流标记为已知应用；其工作原理为通过监听目标数据流，并对数据流进行数据包拆解，通过扫描匹配找到数据包中的特征字串，依据该特征字串与预置的特征库中的指纹内容比较，标记相匹配的数据流为已知应用。所谓标记是指记录数据流信息并追加应用名称的过程，具体的，相关引擎会根据该条数据流基本信息(IP五元组)生成日志，在日志中追加有DPI引擎识别的应用名称，然后将此日志信息传递给下一个处理单元。所述IPCache识别引擎用于将经过DPI识别引擎未识别出应用的数据流通过IPCache技术进行应用识别，将通过IPCache技术识别出应用的数据流标记为已知应用。所述DFI识别引擎用于将经过IPCache识别引擎仍未识别出应用的数据流通过DFI技术再次进行应用识别，将通过DFI技术识别出应用的数据流标记为已知应用；本文档来自技高网...

【技术保护点】
基于DPI技术的综合数据特征分析方法，其特征在于：包括如下步骤：S1，监控DNS域名解析请求，获取域名请求数据流，生成域名请求的DNS解析数据表；S2，通过DPI技术对域名请求数据流进行应用识别，将通过DPI技术识别出应用的数据流标记为已知应用；S3，将经过S2步骤未识别出应用的数据流通过IPCache技术进行应用识别，将通过IPCache技术识别出应用的数据流标记为已知应用；S4，将经过S3步骤仍未识别出应用的数据流通过DFI技术再次进行应用识别，将通过DFI技术识别出应用的数据流标记为已知应用；S5，对经过S4步骤仍未识别出应用的数据流，根据数据流的目的IP地址反向到所述S1步骤中生成的DNS列表中查找该IP地址对应的DNS域名，通过DNS域名确定该数据流的应用属性，将此过程中识别出应用的数据流标记为已知应用。

【技术特征摘要】
1.基于DPI技术的综合数据特征分析方法，其特征在于：包括如下步骤：S1，监控DNS域名解析请求，获取域名请求数据流，生成域名请求的DNS解析数据表；S2，通过DPI技术对域名请求数据流进行应用识别，将通过DPI技术识别出应用的数据流标记为已知应用；S3，将经过S2步骤未识别出应用的数据流通过IPCache技术进行应用识别，将通过IPCache技术识别出应用的数据流标记为已知应用；S4，将经过S3步骤仍未识别出应用的数据流通过DFI技术再次进行应用识别，将通过DFI技术识别出应用的数据流标记为已知应用；S5，对经过S4步骤仍未识别出应用的数据流，根据数据流的目的IP地址反向到所述S1步骤中生成的DNS列表中查找该IP地址对应的DNS域名，通过DNS域名确定该数据流的应用属性，将此过程中识别出应用的数据流标记为已知应用。2.根据权利要求1所述的基于DPI技术的综合数据特征分析方法，其特征在于：所述S2步骤包括如下过程：S21，记录数据流的目的IP和目的端口，生成目的IP地址池（IPCache池）；S22，当数据流经过S1步骤未被识别时，则依据数据流的目的IP和目的端口到目的IP地址池中反向查找，若目的IP地址池中查找到某条数据流已被识别为具体应用，则标记该条数据流为该应用。3.根据权利要求1所述的基于DPI技术的综合数据特征分析方法，其特征在于：还包括如下步骤：S6，将S2-S5步骤的识别结果进行加权处理，通过内置算法计算出目标应用识别码，并根据目标应用识别码到对应应用与权值映射表中查找到该数据流的应用属性归属。4.根据权利要求３所述的基于DPI技术的综合数据特征分析方法，其特征在于：所述S2步骤的识别结果的最大权值大于所述S3步骤和S4步骤的识别结果的最大权值；所述S5步骤的识别结果的最大权值小于所述S3步骤和S4步骤的识别结果的最大权值。5.根据权利要求３所...

【专利技术属性】
技术研发人员：丁增红，周明中，
申请(专利权)人：苏州迈科网络安全技术股份有限公司，
类型：发明
国别省市：江苏;32