用于资源受限主机的选择性数据冗余消除的系统和方法技术方案

提供了用于选择性数据冗余消除的系统和方法实施例。在实施例中，所述方法包括在传输点处接收包含内容的传入数据包，其中所述内容包括内容类型；当所述内容类型匹配选择性数据冗余消除类型时，使用所述传输点将冗余数据元素从所述数据包中消除；以及当所述内容类型匹配绕过-消除类型时，使用所述传输点绕过选择性数据冗余消除。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种用于数据兀余消除的系统和方法，W及在具体实施例中，涉及一 种用于资源受限主机的选择性数据兀余消除的系统和方法。
技术介绍
当前信息技术（IT)组织往往在广域网（WAN)地理上部署其基础设施来提高生产 效率，支持全球协作W及最大限度地降低成本，从而构成了当前W WAN为中也的环境。与局 域网（LAN)相比，WAN通常是一种覆盖了广阔区域的电信网络；WAN可跨越都市、地区和/ 或国家边界连接。传统的W LAN为导向的基础设施不足W支持高应用性能、低成本的全球 协作。由于WAN的高时延和高丢包率等内在本质，在WAN上部署应用通常会导致性能下降。 LAN中不常遇到的很多因素可W迅速导致跨WAN运行的应用性能下降。 提升WAN速度的需求刺激了 WAN上的应用性能的改善。WAN优化，通常也被称为 WAN加速，大体描述了 WAN上的应用性能的提升。WAN加速旨在提供对远程数据（例如文件 和视频）的高性能访问。已提出了多种WAN加速技术。一些技术着重于最大限度地提高带 宽利用率，其他技术着重于解决延迟问题，还有一些技术着重于解决协议的低效率问题，该 低效率问题阻碍了跨WAN的数据包的有效传递。数据压缩降低了在WAN传输期间链路上消 耗的带宽量，也可W通过减少传输的数据量来减少特定数据遍历WAN的传输时间。数据兀 余消除值RE)，也称为数据去重，是一种数据精简技术，是数据压缩的衍生。数据压缩通过消 除对象内包含的兀余数据来缩减文件大小，而DRE可W识别和消除对象间和对象内复制的 数据元素（例如整个文件和数据块）来减少待传输或存储的数据量。当检测到相同数据元 素的多个实例时，仅传输或存储该数据元素一个副本。兀余数据元素替换为唯一数据副本 的引用或指针。 基于算法粒度，DRE算法可W分为H类；整个文件散列（whole file hashing)、子文 件散列（sub-file hashing)和增量编码（delta encoding)。传统DRE，例如网络缓存在应 用层操作来消除兀余数据传输。随着互联网中网络流量的快速增长，已基于不同的分块和 取样方法部署了对单个数据包进行操作的DRE技术。包级兀余消除识别并消除了所有数据 包的兀余数据块。如果在服务提供商的接入链路或路由器之间部署包级兀余消除技术，可 W平均节省15%至60%的带宽。
技术实现思路
根据实施例，一种用于选择性数据兀余消除的方法包括在传输点处接收包含内容 的传入数据包，其中所述内容包括内容类型；当所述内容类型匹配选择性兀余消除类型时， 使用所述传输点将兀余数据元素从所述数据包中消除；W及当所述内容类型匹配绕过-消 除类型时，使用所述传输点绕过选择性兀余消除。 根据另一实施例，一种用于选择性数据兀余消除的网络部件包括处理器W及计算 机可读存储介质，所述计算机可读存储介质存储由所述处理器执行的程序，所述程序包括 如下指令：接收包含内容的传入数据包，其中所述内容包括内容类型；当所述内容类型匹 配选择性兀余消除类型时，将兀余数据元素从所述数据包中消除；W及当所述内容类型匹 配绕过-消除类型时，绕过选择性兀余消除。 根据另一实施例，一种用于选择性数据兀余消除（SDR巧的系统包括SDRE管理器， 用于维护端到端SDRE列表；包分类器，用于对内容类型的传入数据包进行分类；包缓存管 理器，用于在包缓存中存储数据包；W及端到端SDRE模块，用于将兀余元素从数据包中消 除，所述数据包的内容类型与用于执行数据兀余消除值R巧过程的类型相匹配，其中内容 类型与用于进行SDRE的类型不匹配的数据包在不执行所述DRE过程的情况下被转发到末 端节点。 【附图说明】 [000引为了更完整地理解本专利技术及其优点，现在参考W下结合附图进行的描述，其中： 图1示出了用于传输数据的网络； 图2示出了 SDRE管理器的实施例； 图3示出了选择性数据兀余消除方法300 ; 图4为示出了对于不同智能手机流量跟踪和不同大小的数据包存储缓存（从 IOOMB到1MB) SDRE相对DRE的带宽节约率的图400 ; W及 图5是可用于实施各种实施例的处理系统。 【具体实施方式】 下文将详细论述当前优选实施例的制作和使用。然而，应了解，本专利技术提供可在各 种具体上下文中体现的许多适用的专利技术性概念。所论述的具体实施例仅仅说明用W实施和 使用本专利技术的具体方式，而不限制本专利技术的范围。 数据兀余消除值R巧通过识别及消除对象内和对象间复制的数据元素来减少待 传输或存储的数据。在终端主机部署DRE最大限度地节约带宽，因为发送到目标主机的内 容量被减至最小。但是，就存储和处理能力而言，特别是在资源受限的主机上，用于识别兀 余内容块的标准DRE非常昂贵。通过分析网络应用流量跟踪，已经确定一些类型的内容的 兀余内容比其他类型的多，例如文本的兀余数据元素比视频的多，因为视频通常W压缩格 式存储，所W视频内几乎无兀余数据块。因此，选择性地并且适时地在比其他内容类型具有 更多的兀余数据元素的内容上应用DRE来节省主机处的存储和处理资源，该一做法是有可 能的。 实施例提供了基于内容类型的选择性DRE(SDRE),其选择性地在具有最多兀余内 容识别机会的内容上部署DRE。实施例SDRE利用更少的计算资源和更高的存储利用率实现 了与标准DRE几乎相同的带宽节省。带宽节省的缩减通常是由于SDRE没有识别出从源传 输到目标的所有内容中的兀余内容。 实施例提供了基于内容类型的选择性数据兀余消除（SDRE)，SDRE在具有最多兀 余内容识别机会的内容上选择性地部署DRE，W便资源受限主机节省计算和存储资源。实施 例减少了 WAN应用的数据传输，并且使用更少的计算功率和存储实现了几乎相同的性能。 实施例可应用于WAN系统和设备，例如WAN优化控制器W及应用交付控制器。 图I示出了用于传输数据的网络100。网络100包括多个具有覆盖区域112的 接入点（AP)llO、多个用户设备扣E) 120、网络130 W及多个源节点140。本文所用的术语 AP还可称为传输点（T巧、基站炬巧或基站收发信台炬TS)，该些术语可在本专利技术中互换 使用。该些覆盖区域112表示每个APllO很好地传输数据的范围，相邻APllO的覆盖区域 可能具有一些重叠114 W适应每当肥120退出一个覆盖区域112并进入相邻覆盖区域112 时APllO之间的切换。APllO可包括尤其能够通过与肥120建立上行（虚线）和/或下行 (点线）连接提供无线接入的任意部件，例如基站收发信台炬TS)、增强基站（eNB)、毫微微 小区W及其他启用无线的设备。肥120可包括能够与APllO建立无线连接的任意部件。例 女口，肥120可为智能手机、笔记本电脑、平板电脑、无线电话等。肥120还可称为无线设备、移 动设备或无线移动设备。网络130可包括回程网络、互联网、内网、广域网（WAN)和/或局 域网（LAN)。网络130可为允许数据在APllO和源节点140之间进行交换的任意部件或各 部件的任意集合。在一些实施例中，网络100可包括各种其他无线设备，例如中继器、毫微 微小区等。源节点14本文档来自技高网...

【技术保护点】
一种用于选择性冗余消除的方法，其特征在于，所述方法包括：在传输点处接收包含内容的传入数据包，其中所述内容包括内容类型；当所述内容类型匹配选择性冗余消除类型时，使用所述传输点将冗余数据元素从所述数据包中消除；以及当所述内容类型匹配绕过‑消除类型时，使用所述传输点绕过选择性冗余消除。

【技术特征摘要】
【国外来华专利技术】2012.04.04 US 61/620,065;2013.04.04 US 13/857,0231. 一种用于选择性冗余消除的方法，其特征在于，所述方法包括： 在传输点处接收包含内容的传入数据包，其中所述内容包括内容类型； 当所述内容类型匹配选择性冗余消除类型时，使用所述传输点将冗余数据元素从所述 数据包中消除；以及 当所述内容类型匹配绕过-消除类型时，使用所述传输点绕过选择性冗余消除。2. 根据权利要求1所述的方法，其特征在于，进一步包括当所述数据包长度小于阈值 时，绕过选择性冗余消除。3. 根据权利要求2所述的方法，其特征在于，所述阈值大小等于拉宾滑动窗口大小。4. 根据权利要求1所述的方法，其特征在于，从所述数据包中的超文本传输协议 (HTTP)头中识别所述内容类型。5. 根据权利要求1所述的方法，其特征在于，所述绕过-消除类型包括图像、视频和音 频中的至少一个。6. 根据权利要求1所述的方法，其特征在于，所述选择性冗余消除类型包括文本和应 用中的至少一个。7. 根据权利要求1所述的方法，其特征在于，维护包分类器，其中所述包分类器根据传 输控制协议流元组维护内容类型表。8. 根据权利要求7所述的方法，其特征在于，所述内容类型表包括源因特网协议（IP) 地址、源端口、目标IP地址以及目标端口中的至少一个。9. 一种用于选择性数据冗余消除的网络部件，其特征在于，包括： 处理器；以及 计算机可读存储介质，所述计算机可读存储介质存储由所述处理器执行的程序，所述 程序包括如下指令： 接收包含内容的传入数据包，其中所述内容包括内容类型； 当所述内容类型匹配选择性冗余消除类型时，将冗余数据元素从所述数据包中消除； 以及 当所述内容类型匹配绕过-消除类型时，绕过选择性冗余消除。10. 根据权利要求9所述的网络部件，其特征在于...

【专利技术属性】
技术研发人员：张艳，尼曼·安萨里，吴明权，虹·希瑟·郁，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44