数据中心间透明实时流量压缩方法和系统技术方案

本发明专利技术提出一种数据中心间透明实时流量压缩方法，包括如下步骤：对数据流进行基于流的细粒度压缩，包括：根据数据流的端口属性对数据流进行基于流划分的对应的压缩策略进行压缩以获得多个压缩数据块；根据多个压缩数据块的流类型，将多个流类型的压缩数据块分别通过不同的隧道同时传输，其中，采用批处理策略和局部缓冲池方法对压缩数据块进行传输。本发明专利技术压缩特定业务的冗余信息，充分挖掘数据中心间传输链路的带宽利用率，优化系统开销，灵活性好，效率高，性能优势明显。本发明专利技术还公开了一种数据中心间透明实时流量压缩系统。

【技术实现步骤摘要】

本专利技术涉及计算机
，特别涉及一种数据中心间透明实时流量压缩方法和系统。
技术介绍
在量级为IOGbps的高速链路下，数据包的实时压缩将面临很大挑战，下面分三个层面对实时压缩的挑战进行说明。(一)、在系统实现中，一般采用硬件加速设备辅助卸载(Offload)系统处理压力，然而，作为外设的加速设备在参与系统交互时，将面临巨额的系统开销，例如I/o效率(包括PCIe带宽利用效率、高延迟的设备寄存器访存优化等)、操作系统开销(包括系统调用开销，内核态与用户态数据包拷贝开销等)。(二)、在通用多核平台下，IOGbps量级线速处理需求必然导致并发设计。根据Amdahl定律，系统串行部分将最·终将制约系统的并发加速比。因此，优化并发设计至关重要。然而，目前部分压缩卡驱动从硬件和驱动两个层面均未能很好的应用于高速并发的处理场景。虽然增大待压缩数据包长度可以优化压缩设备的效率，但同时也增加了额外数据包的处理延。基于阻塞式的I/O通信模式不能充分驾驭通用处理器与加速设备之间的并发处理效率。(三)、在网络设计层面，透明化压缩设计需要满足对称式的压缩/解压缩部署。这带来了如何最大程度利用应用特性本文档来自技高网...

【技术保护点】
一种数据中心间透明实时流量压缩方法，其特征在于，包括如下步骤：对数据流进行基于流的细粒度压缩，包括：根据数据流的端口属性对所述数据流进行基于流划分的对应的压缩策略进行压缩以获得多个压缩数据块；根据所述多个压缩数据块的流类型，将多个流类型的压缩数据块分别通过不同的隧道同时传输，其中，采用批处理策略和局部缓冲池方法对所述压缩数据块进行传输。

【技术特征摘要】
1.一种数据中心间透明实时流量压缩方法，其特征在于，包括如下步骤: 对数据流进行基于流的细粒度压缩，包括:根据数据流的端口属性对所述数据流进行基于流划分的对应的压缩策略进行压缩以获得多个压缩数据块； 根据所述多个压缩数据块的流类型，将多个流类型的压缩数据块分别通过不同的隧道同时传输， 其中，采用批处理策略和局部缓冲池方法对所述压缩数据块进行传输。2.如权利要求1所述的方法，其特征在于，所述隧道的量级与所述数据流的数据包的量级相等。3.如权利要求1所述的方法，其特征在于，所述对数据流进行基于流的细粒度压缩采用流水策略运转，其中，中央处理器CPU接收请求压缩队列，有压缩卡对所述请求压缩队列进行压缩，并将压缩后数据送入响应出队队列，所述中央处理器CPU获取所述响应出队队列中的所述压缩数据。4.如权利要求3所述的方法，其特征在于，利用所述中央处理器CPU和压缩卡之间的缓冲系统，根据系统负载抖动幅度增加所述中央处理器CPU和压缩卡之间的缓冲区大小。5.如权利要求3所述的方法，其特征在于，对所述请求压缩队列和所述响应出队队列进行轮询操作。6.如权利要求1所述的方法，其特征在于，还包括如下步骤:采用用户态驱动的I/O模型对所述压缩数据块进行传输。7.一种数据中心间透明实时流量压缩系统，其特征在于，包括: 压缩处理装置，用于对数据流进行基于流的细粒度...

【专利技术属性】
技术研发人员：王燕飞，吴教仁，刘晓光，刘涛，刘宁，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：