一种DPI领域非对称流量xDR合成的方法和装置制造方法及图纸

本发明专利技术涉及DPI技术领域，提供了一种DPI领域非对称流量xDR合成的方法和装置。方法包括根据五元组数据中的一项或者多项，生成可用于确定同一会话上行流量和下行流量的消息摘要；确定当前可提供话单合成服务的合成服务器总数量N；各DPI设备根据预设的同一分配策略，向分配策略所指定的目标话单合成服务器，发送自身存储的上行流量和/或下行流量。本发明专利技术对于网络中会话的上下行流量被负载到了不同机房的DPI设备处理后，DPI设备能够合成出准确、完整的xDR话单记录提供给上层应用大数据分析平台保障平台分析结果的准确性，同时减少非对称流量产生xDR话单量，减轻上层大数据平台的处理压力。

A method and device of XDR synthesis of asymmetric flow in dpi field

【技术实现步骤摘要】
一种DPI领域非对称流量xDR合成的方法和装置
本专利技术涉及DPI
，特别是涉及一种DPI领域非对称流量xDR合成的方法和装置。
技术介绍
目前在深度包检测技术(DeepPacketInspection，简写为：DPI)领域，不同运营商和网络上，DPI设备部署在互联网数据中心(InternetDataCenter，简称为：IDC)机房出口、移动网出口、城域网出口等地方。DPI需要在这些出口点上采集经过的流量进行解析，并生成xDR(全称为：XDetailedRecord)话单，其典型的一种系统架构如图1所示。在实际应用中，根据业务不同，DPI设备分为分流器、前置机和xDR服务器。其中分流器的作用对接入的流量进行负载分流，同时保证同一会话的流量能负载到同一台前置机/xDR服务器完成处理；前置机是DPI的核心设备，它主要完成原始流量的预处理，包括对流量的应用进行识别、解析、统计等，例如对http会话的识别，获取相应的url，统计本次会话的请求和回复的总流量等等；xDR服务器主要是生成最终不同应用的xDR话单，例如http的话单、DNS话单、ftp话单、email话单等等。从流量的接入到xDR话单生成过程中对应用的识别是关键，前置机会根据某一次会话的上行流量或者下行流量识别成对应的应用如http视频、qq、微信、爱奇艺等等并生成对应的会话信息传递给xDR服务器，xDR服务器根据会话信息生成对应应用的xDR话单。虽然在同一个机房内，流量经过前端分流器以后能保证同一会话的流量能够汇聚到同一台DPI前置机处理，并通过后端分流器将同一会话信息数据汇聚到xDR服务器上生成xDR话单。但是目前实际应用中，很多会话特别是IPv6会话的上行流量和下行流量被负载到了不同的机房，如图2所示。一次email会话的上行流量被负载到了机房A，下行流量被负载到了机房B。A机房通过上行流量识别出是email应用，输出了email的xDR话单；而B机房通过下行流量，无法识别是email应用，最终输出的是一个未知应用的xDR话单，最终传给应用大数据平台分析会产生很多问题：第一，对应用的分析数据源不准确导致最终分析结果偏差大；第二，上下行流量分开后原本一个会话只需要输出一份话单，现在输出两份，大大增加了上层应用大数据分析平台的性能负担。而如果将一个机房的流量汇聚到另一个机房可以解决现有的问题，但是需要较大的带宽资源(100G甚至是TB级别)，基本不可行。鉴于此，克服该现有技术所存在的缺陷是本
亟待解决的问题。
技术实现思路
本专利技术要解决的技术问题是提供一种DPI领域非对称流量xDR合成的方法。本专利技术进一步要解决的技术问题是提供一种DPI领域非对称流量xDR合成的方法。本专利技术采用如下技术方案：第一方面，本专利技术提供了一种DPI领域非对称流量xDR合成的方法，包括：根据五元组数据中的一项或者多项，生成可用于确定同一会话上行流量和下行流量的消息摘要；确定当前可提供话单合成服务的合成服务器总数量N；各DPI设备根据预设的同一分配策略，向分配策略所指定的目标话单合成服务器，发送自身存储的上行流量和/或下行流量；其中，所述分配策略中包括根据所述消息摘要和合成服务器总数量N，为各DPI设备指定目标话单合成服务器的方法。优选的，所述根据五元组数据中的一项或者多项，生成可用于确定同一会话上行流量和下行流量的消息摘要，具体包括：根据五元组中的源IP、目的IP、源端口和目的端口，通过HASH算法得到所述消息摘要；或者，根据五元组中的源IP、目的IP、源端口、目的端口和协议，通过HASH算法得到所述消息摘要；或者，根据五元组中的源IP和目的IP，通过HASH算法得到所述消息摘要。优选的，所述HASH算法包括：MD4、MD5和/或SHA-1。优选的，所述分配策略中包括根据所述消息摘要和合成服务器总数量N，为各DPI设备指定目标话单合成服务器的方法，具体为：在各话单合成服务器是以0,1，…,N进行编号时，根据所述消息摘要直接与所述总数量N进行求余运算得到所述目标话单合成服务器的编号；或者，获取统计得到的消息摘要的分布区间，并将所述分布区间根据所述总数量N进行区间划分，则根据生成的消息摘要所属分布区间确定目标话单合成服务器。优选的，若第m话单合成服务器要进行离线维护，则所述方法还包括：话单合成服务器管理单元，向各DPI设备发送更新分配策略的请求消息；其中，所述更新分配策略的请求消息中包括，更新话单合成服务器和编号映射关系，或者，发送更新话单合成服务器和区域划分映射关系；话单合成服务器管理单元，向所述第m话单合成服务器获取其已经获取到的上行流量和/或下行流量；话单合成服务器管理单元，按照更新后的分配策略，将从第m话单合成服务器获取其已经获取到的上行流量和/或下行流量，转发给更新后的分配策略所指定的目的话单合成服务器。优选的，若话单合成服务器群中要新增第N+1话单合成服务器时，则所述方法包括：话单合成服务器管理单元，向各DPI设备发送更新分配策略的请求消息；其中，所述更新分配策略的请求消息中包括，更新话单合成服务器和编号映射关系，或者，发送更新话单合成服务器和区域划分映射关系；话单合成服务器管理单元，向所述第N+1话单合成服务器同时发送更新前的分配策略和更新后的分配策略；在上线后的预设时间内，若所述第N+1话单合成服务器，获取到的上行流量或下行流量，无法组成完整话单时，将相应的上行流量或下行流量按照更新前的分配策略转发给所述更新前的分配策略所执行的目的话单合成服务器。第二方面，本专利技术还提供了一种DPI领域非对称流量xDR合成的方法，若话单合成服务器群中的第m话单合成服务器要进行离线维护，系统包括：向各DPI设备发送更新分配策略的请求消息；其中，所述更新分配策略的请求消息中包括，更新话单合成服务器和编号映射关系，或者，发送更新话单合成服务器和区域划分映射关系；向所述第m话单合成服务器获取其已经获取到的上行流量和/或下行流量；按照更新后的分配策略，将从第m话单合成服务器获取其已经获取到的上行流量和/或下行流量，转发给更新后的分配策略所指定的目的话单合成服务器。优选的，所述分配策略包括：在各话单合成服务器是以0,1，…,N进行编号时，根据所述消息摘要直接与所述总数量N进行求余运算得到所述目标话单合成服务器的编号；或者，获取统计得到的消息摘要的分布区间，并将所述分布区间根据所述总数量N进行区间划分，则根据生成的消息摘要所属分布区间确定目标话单合成服务器。优选的，若话单合成服务器群中要新增第N+1话单合成服务器时，则所述方法还包括：向各DPI设备发送更新分配策略的请求消息；其中，所述更新分配策略的请求消息中包括，更新话单合成服务器和编号映射关系，或者，发送更新话单合成服务器和区域划分映射关系；向所本文档来自技高网...

【技术保护点】
1.一种DPI领域非对称流量xDR合成的方法，其特征在于，包括：/n根据五元组数据中的一项或者多项，生成可用于确定同一会话上行流量和下行流量的消息摘要；/n确定当前可提供话单合成服务的合成服务器总数量N；/n各DPI设备根据预设的同一分配策略，向分配策略所指定的目标话单合成服务器，发送自身存储的上行流量和/或下行流量；/n其中，所述分配策略中包括根据所述消息摘要和合成服务器总数量N，为各DPI设备指定目标话单合成服务器的方法。/n

【技术特征摘要】
1.一种DPI领域非对称流量xDR合成的方法，其特征在于，包括：
根据五元组数据中的一项或者多项，生成可用于确定同一会话上行流量和下行流量的消息摘要；
确定当前可提供话单合成服务的合成服务器总数量N；
各DPI设备根据预设的同一分配策略，向分配策略所指定的目标话单合成服务器，发送自身存储的上行流量和/或下行流量；
其中，所述分配策略中包括根据所述消息摘要和合成服务器总数量N，为各DPI设备指定目标话单合成服务器的方法。


2.根据权利要求1所述的DPI领域非对称流量xDR合成的方法，其特征在于，所述根据五元组数据中的一项或者多项，生成可用于确定同一会话上行流量和下行流量的消息摘要，具体包括：
根据五元组中的源IP、目的IP、源端口和目的端口，通过HASH算法得到所述消息摘要；或者，
根据五元组中的源IP、目的IP、源端口、目的端口和协议，通过HASH算法得到所述消息摘要；或者，
根据五元组中的源IP和目的IP，通过HASH算法得到所述消息摘要。


3.根据权利要求2所述的DPI领域非对称流量xDR合成的方法，其特征在于，所述HASH算法包括：
MD4、MD5和/或SHA-1。


4.根据权利要求1所述的DPI领域非对称流量xDR合成的方法，其特征在于，所述分配策略中包括根据所述消息摘要和合成服务器总数量N，为各DPI设备指定目标话单合成服务器的方法，具体为：
在各话单合成服务器是以0,1，…,N进行编号时，根据所述消息摘要直接与所述总数量N进行求余运算得到所述目标话单合成服务器的编号；或者，
获取统计得到的消息摘要的分布区间，并将所述分布区间根据所述总数量N进行区间划分，则根据生成的消息摘要所属分布区间确定目标话单合成服务器。


5.根据权利要求4所述的DPI领域非对称流量xDR合成的方法，其特征在于，若第m话单合成服务器要进行离线维护，则所述方法还包括：
话单合成服务器管理单元，向各DPI设备发送更新分配策略的请求消息；其中，所述更新分配策略的请求消息中包括，更新话单合成服务器和编号映射关系，或者，发送更新话单合成服务器和区域划分映射关系；
话单合成服务器管理单元，向所述第m话单合成服务器获取其已经获取到的上行流量和/或下行流量；
话单合成服务器管理单元，按照更新后的分配策略，将从第m话单合成服务器获取其已经获取到的上行流量和/或下行流量，转发给更新后的分配策略所指定的目的话单合成服务器。


6.根据权利要求4所述的DPI领域非对称流量xDR合成的方法，其特征在于，若话单合成服务器群中要新增第N+1话单合成服务器时，则所述方法包括：
话单合成...

【专利技术属性】
技术研发人员：黄察夫，叶志钢，黄华桥，程波，谭国权，李明栋，
申请(专利权)人：武汉绿色网络信息服务有限责任公司，
类型：发明
国别省市：湖北;42