DPI系统策略处理方法及装置制造方法及图纸

本发明专利技术属于通信技术领域，具体涉及一种DPI系统策略处理方法及装置。该方法包括：启动策略接收线程，与DPI系统的策略发送平台进行通信，将策略发送平台发送的策略消息存入数据接收缓存队列；启动多个策略处理线程，循环遍历地解析数据接收缓存队列中的策略消息，将解析得到的策略指令信息存入数据发送缓存队列，并将解析完的策略消息在数据接收缓存队列中清空；启动多个策略发送线程，与DPI系统的执行单元进行通信，根据执行单元的策略需求将匹配的策略指令信息发送给执行单元，并将发送完的策略指令信息在数据发送缓存队列中清空。该方法通过构造线程池，实现了多个策略接收、处理、响应并行化，提升了整体DPI系统的处理能力。

DPI system strategy processing method and device

【技术实现步骤摘要】
DPI系统策略处理方法及装置
本专利技术属于通信
，具体涉及一种DPI系统策略处理方法及装置。
技术介绍
DPI(DeepPacketInspection)设备通过对网络的关键点处的流量和报文内容进行检测分析，可以根据事先定义的策略对检测流量进行过滤控制，能完成所在链路的业务精细化识别、业务流量流向分析、业务流量占比统计、业务占比整形、以及应用层拒绝服务攻击、对病毒、木马进行过滤和滥用P2P的控制等功能。根据《中国电信统一DPI数据标准和接口规范》，在城域网出口、IDC出口(含互联网专线)和骨干网网间场景下部署对外统一数据接口。该接口实现了DPI设备与共享层平台间的数据对接、DPI设备与信息安全管理系统(ISMS)的综合分析平台(简称CU平台)数据对接、DPI设备与共享层平台的数据接口。实施过程中，CU平台及共享层平台下发数据准确性要求较高，同时下发策略数据较多，需要数据接口所在机器(接口机)具有较快的数据策略处理能力及响应策略下发的能力。现有的实现方法主要采用接口机通过socket连接到CU平台及共享层平台，通过socket的方式，接收到策略数据，解析相应的策略内容，然后再转发到已注册的DPI服务器。该方法解决了准确性的问题，但是在处理较多策略数据场景下，接收和处理策略流程线性排列，会出现DPI设备接收到策略的时延较大，CU平台和共享层平台等待时间长，整体策略处理慢的现象，策略积压情况下，由于操作系统socket收发机制，甚至导致丢包情况发生。
技术实现思路
本专利技术的目的在于针对现有技术中存在的缺陷，提供一种DPI系统策略处理方法及装置，保证DPI接口机高效的接收策略，并进行实时处理，实现多策略的接收、解析、响应并行化，提升整体DPI系统的处理能力。本专利技术第一方面提出一种DPI系统策略处理方法。本专利技术实施例的DPI系统策略处理方法，包括：启动策略接收线程，与DPI系统的策略发送平台进行通信，将所述策略发送平台发送的策略消息存入数据接收缓存队列；启动多个策略处理线程，循环遍历地解析所述数据接收缓存队列中的所述策略消息，将策略指令信息存入数据发送缓存队列，并将解析完的所述策略消息在所述数据接收缓存队列中清空；启动多个策略发送线程，与DPI系统的执行单元进行通信，根据所述执行单元的策略需求将匹配的策略指令信息发送给所述执行单元，并将发送完的所述策略指令信息在所述数据发送缓存队列中清空。进一步地，所述策略发送平台包括共享层平台和综合分析平台；所述策略接收线程包括共享层平台接收线程以及综合分析平台接收线程；所述共享层平台和所述综合分析平台发送的策略消息存储以不同的内存结构存入所述数据接收缓冲队列中。进一步地，还包括：在所述数据接收缓冲队列中设定第一全局标志位，并且在所述数据发送缓冲队列中设定第二全局标志位。进一步地，所述启动多个策略处理线程，循环遍历地解析所述数据接收缓存队列中的所述策略消息的步骤中：若所述策略处理线程解析所述策略消息失败，则定义该策略消息为坏消息，然后所述策略处理线程跳过所述坏消息继续处理后续的所述策略消息。进一步地，所述策略接收线程以socket方式与所述DPI系统的策略发送平台进行通信；并且，所述多个策略发送线程以socket方式与所述DPI系统的执行单元进行通信。本专利技术第一方面提出一种DPI系统策略处理装置。本专利技术实施例的DPI系统策略处理装置，包括：数据接收缓存模块，用于存储策略消息；数据发送缓存模块，用于存储策略指令信息；策略接收线程模块，用于与DPI系统的策略发送平台进行通信，将所述策略发送平台发送的策略消息存入所述数据接收缓存队列；多个策略处理线程模块，用于循环遍历地解析所述数据接收缓存队列中的所述策略消息，将策略指令信息存入所述数据发送缓存队列，并将解析完的所述策略消息在所述数据接收缓存队列中清空；多个策略发送线程模块，用于与DPI系统的执行单元进行通信，根据所述执行单元的策略需求将匹配的策略指令信息发送给所述执行单元，并将发送完的所述策略指令信息在所述数据发送缓存队列中清空。进一步地，所述策略发送平台包括共享层平台和综合分析平台；所述策略接收线程包括共享层平台接收线程以及综合分析平台接收线程；所述共享层平台和所述综合分析平台发送的策略消息存储以不同的内存结构存入所述数据接收缓冲队列中。进一步地，所述数据接收缓冲队列中具有第一全局标志位，并且所述数据发送缓冲队列中具有第二全局标志位。进一步地，所述策略处理线程还用于，在解析所述策略消息失败时，定义该策略消息为坏消息，然后跳过所述坏消息继续处理后续的所述策略消息。进一步地，所述策略接收线程用于以socket方式与所述DPI系统的策略发送平台进行通信；并且，所述多个策略发送线程用于以socket方式与所述DPI系统的执行单元进行通信。本专利技术的DPI系统策略处理方法及装置，在采用socket通信保证准确性的基础上，通过在策略发送平台与DPI系统的执行单元之间构造线程池，在CU平台及共享层平台下发多策略数据场景之下，可以高效的接收多策略消息，进行实时处理，将结果快速的发送到DPI设备，并同时能够及时向CU平台及共享层平台发送回应消息，实现多个策略接收、解析、响应并行化，提升DPI接口机的策略处理水平，做到了策略零积压，零排队，提升了整体DPI系统的处理能力。附图说明图1为本专利技术DPI策略处理方法及装置的原理示意图；图2为本专利技术具体实施例中DPI策略处理方法的流程图；图3为本专利技术具体实施例中策略接收线程接收策略消息的流程图；图4为本专利技术具体实施例中策略处理线程处理策略消息的流程图；图5为本专利技术具体实施例中策略发送线程发送策略指令信息的流程图。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面结合附图和实施例对本专利技术进行详细的介绍。此处所描述的具体实施例仅用于解释本专利技术，并不用于限定本专利技术的技术方案。本专利技术主要提供了在DPI系统中，DPI系统共享层平台和信息安全管理系统的综合分析平台(CU平台)与DPI系统的执行单元(EU模块)之间的数据共享的一种优化方法。主要采用线程池技术及队列缓冲技术来提升数据处理吞吐量。线程池技术是一种多线程处理形式，处理过程中将任务添加到队列，然后在创建线程后自动启动这些任务。由于线程过多会带来调度开销，进而影响缓存局部性和整体性能。而线程池维护着多个线程，等待着监督管理者分配可并发执行的任务。这避免了在处理短时间任务时创建与销毁线程的代价。线程池不仅能够保证内核的充分利用，还能防止过分调度。因此，可以采用线程池技术及队列缓冲技术来提升数据处理的吞吐量。DPI设备一般设置在网络出口处，能够同时处理下行流量和上行流量。DPI设备作为网络接口设备，其位置可以根据实际需要灵活设置，除了部署在网络出口处，还可以部署在网络骨干层、城域网或企业内部。另外，DPI设备还可以直接与不同用户的主机相连接，不同的用户通过各自的主机经由D本文档来自技高网...

【技术保护点】
1.一种DPI系统策略处理方法，包括：/n启动策略接收线程，与DPI系统的策略发送平台进行通信，将所述策略发送平台发送的策略消息存入数据接收缓存队列；/n启动多个策略处理线程，循环遍历地解析所述数据接收缓存队列中的所述策略消息，将策略指令信息存入数据发送缓存队列，并将解析完的所述策略消息在所述数据接收缓存队列中清空；/n启动多个策略发送线程，与DPI系统的执行单元进行通信，根据所述执行单元的策略需求将匹配的策略指令信息发送给所述执行单元，并将发送完的所述策略指令信息在所述数据发送缓存队列中清空。/n

【技术特征摘要】
1.一种DPI系统策略处理方法，包括：
启动策略接收线程，与DPI系统的策略发送平台进行通信，将所述策略发送平台发送的策略消息存入数据接收缓存队列；
启动多个策略处理线程，循环遍历地解析所述数据接收缓存队列中的所述策略消息，将策略指令信息存入数据发送缓存队列，并将解析完的所述策略消息在所述数据接收缓存队列中清空；
启动多个策略发送线程，与DPI系统的执行单元进行通信，根据所述执行单元的策略需求将匹配的策略指令信息发送给所述执行单元，并将发送完的所述策略指令信息在所述数据发送缓存队列中清空。


2.如权利要求1所述的DPI系统策略处理方法，其特征在于：
所述策略发送平台包括共享层平台和综合分析平台；
所述策略接收线程包括共享层平台接收线程以及综合分析平台接收线程；
所述共享层平台和所述综合分析平台发送的策略消息存储以不同的内存结构存入所述数据接收缓冲队列中。


3.如权利要求2所述的DPI系统策略处理方法，其特征在于，还包括：
在所述数据接收缓冲队列中设定第一全局标志位，并且在所述数据发送缓冲队列中设定第二全局标志位。


4.如权利要求1所述的DPI系统策略处理方法，其特征在于，所述启动多个策略处理线程，循环遍历地解析所述数据接收缓存队列中的所述策略消息的步骤中：
若所述策略处理线程解析所述策略消息失败，则定义该策略消息为坏消息，然后所述策略处理线程跳过所述坏消息继续处理后续的所述策略消息。


5.如权利要求1所述的DPI系统策略处理方法，其特征在于：
所述策略接收线程以socket方式与所述DPI系统的策略发送平台进行通信；并且，所述多个策略发送线程以socket方式与所述DPI系统的执行单元进行通信。

【专利技术属性】
技术研发人员：梁田，郭峰，商杰，秦雪峰，
申请(专利权)人：北京拓明科技有限公司，
类型：发明
国别省市：北京;11