网络包去重方法、装置、网络分流设备及存储介质制造方法及图纸

本发明专利技术涉及网络通信技术领域，提供一种网络包去重方法、装置、网络分流设备及存储介质，所述方法包括：接收所述网络转发设备发送的第一网络包，并对所述第一网络包进行解封装得到所述第一网络包的特征信息；依据所述第一网络包的特征信息和预设时间窗口内的第二网络包的特征信息对所述预设时间窗口内的第二网络包进行更新。本发明专利技术采用时间窗口机制，通过对时间窗口内的网络包进行去重，实现了合理地网络包在线去重，提升了去重效率和准确性，同时，根据网络包的产生场景进行针对性去重，进一步提升了去重效率和准确性。

【技术实现步骤摘要】
网络包去重方法、装置、网络分流设备及存储介质
本专利技术涉及网络通信
，具体而言，涉及一种网络包去重方法、装置、网络分流设备及存储介质。
技术介绍
众所周知，在网络通信与流量传输过程中，大量重复的数据包的产生是不可避免的。重复的数据包在传输过程中会占用网络带宽，降低数据传输质量，终端做业务处理时也会降低业务效率，而且在存储时也浪费存储空间。结合OSI七层网络模型以及网络数据包在转发时的封装特性，仅仅计算数据包的md5值并对md5值进行比较还不足以作为评判数据包是否相同的标准。由于网络数据包在转发设备上进行转发时，各层包头的字段有些是确定变化的，有些是可能变化的，有些是不变的，以具体情况而定，甚至还存在即使两个数据包md5值相同，两个数据包也是不同数据包的情况，因此简单的用md5值对网络设备转发的数据包进行去重不准确。
技术实现思路
本专利技术实施例的目的在于提供一种网络包去重方法、装置、网络分流设备及存储介质，用以改善上述问题。为了实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术实施例提供了一种网络包去重方法，所述方法包括：接收网络转发设备发送的第一网络包，并对第一网络包进行解封装得到第一网络包的特征信息；依据第一网络包的特征信息和预设时间窗口内的第二网络包的特征信息对预设时间窗口内的第二网络包进行更新。第二方面，本专利技术实施例还提供了一种网络包去重装置，所述装置包括接收模块和更新模块。其中，接收模块用于接收网络转发设备发送的第一网络包，并对第一网络包进行解封装得到第一网络包的特征信息；更新模块用于依据第一网络包的特征信息和预设时间窗口内的第二网络包的特征信息对预设时间窗口内的第二网络包进行更新。第三方面，本专利技术实施例还提供了一种网络分流设备，所述网络分流设备包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的网络包去重方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述网络包去重方法。相对现有技术，本专利技术实施例提供的一种网络包去重方法、装置、网络分流设备及存储介质，首先，接收网络转发设备发送的第一网络包，并对第一网络包进行解封装得到第一网络包的特征信息；其次，依据第一网络包的特征信息和预设时间窗口内的第二网络包的特征信息对预设时间窗口内的第二网络包进行更新。与现有技术相比，本专利技术采用时间窗口机制，通过对时间窗口内的网络包进行去重，实现了合理地网络包在线去重，提升了去重效率和准确性，同时，根据网络包的产生场景进行针对性去重，进一步提升了去重效率和准确性。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1示出了本专利技术实施例提供的网络包去重方法应用场景示意图。图2示出了本专利技术实施例提供的网络分流设备的方框示意图。图3示出了本专利技术实施例提供的网络包去重方法流程图。图4为图3示出的步骤S102的子步骤流程图。图5为图4示出的子步骤S1022的子步骤流程图。图6为图4示出的子步骤S1023的子步骤流程图。图7示出了本专利技术实施例提供的网络包去重装置的方框示意图。图标：100-网络分流设备；101-存储器；102-存储控制器；103-处理器；200-网络包去重装置；201-接收模块；202-更新模块；300-网络转发设备。具体实施方式下面将结合本专利技术实施例中附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本专利技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。请参照图1，图1示出了本专利技术实施例提供的网络包去重方法应用场景示意图。网络分流设备100与网络转发设备300通信连接，以接收网络转发设备300发送的网络包，网络分流设备100利用网络包去重装置200对接收到的网络包进行去重。网络转发设备300可以，但不限于是实体的交换机或者路由器，也可以是能够实现和交换机或者路由器同等网络包转发功能的服务器、物理机或者虚拟机等。请参照图2，图2示出了本专利技术实施例提供的网络分流设备100的方框示意图。网络分流设备100是一种在线网络设备，将其接入到网络中可以实现流量去重、流量复制、流量汇聚、流量分流、镜像复制等功能。所述网络分流设备100包括网络包去重装置200、存储器101、存储控制器102及处理器103。存储器101、存储控制器102及处理器103各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。网络包去重装置200包括至少一个可以软件或固件(firmware)的形式存储于存储器101中或固化在所述网络分流设备100的操作系统(operatingsystem，OS)中的软件功能模块。处理器103用于执行存储器101中存储的可执行模块，例如网络包去重装置200所包括的软件功能模块及计算机程序等。其中，存储器101可以是，但不限于，随机存取存储器(RandomAccessMemory，RAM)，只读存储器(ReadOnlyMemory，ROM)，可编程只读存储器(ProgrammableRead-OnlyMemory，PROM)，可擦除只读存储器(ErasableProgrammableRead-OnlyMemory，EPROM)，电可擦除只读存储器(ElectricErasableProgrammableRead-OnlyMemory，EEPROM)等。其中，存储器101用于存储程序，所述处理器103在接收到执行指令后，执行所述程序。处理器103可以是一种集成电路芯片，具有信号处理能力。上述的处理器103可以是通用处理器，包括中央处理器(CentralProcessingUnit，CPU)、网络处理器(NetworkProcessor，NP)、语音处理器以及视频处理器等；还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本专利技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器等。第一实施例请本文档来自技高网...

【技术保护点】
1.一种网络包去重方法，其特征在于，应用于网络分流设备，所述网络分流设备与网络转发设备通信连接，所述方法包括：接收所述网络转发设备发送的第一网络包，并对所述第一网络包进行解封装得到所述第一网络包的特征信息；依据所述第一网络包的特征信息和预设时间窗口内的第二网络包的特征信息对所述预设时间窗口内的第二网络包进行更新。

【技术特征摘要】
1.一种网络包去重方法，其特征在于，应用于网络分流设备，所述网络分流设备与网络转发设备通信连接，所述方法包括：接收所述网络转发设备发送的第一网络包，并对所述第一网络包进行解封装得到所述第一网络包的特征信息；依据所述第一网络包的特征信息和预设时间窗口内的第二网络包的特征信息对所述预设时间窗口内的第二网络包进行更新。2.如权利要求1所述的方法，其特征在于，所述第一网络包和所述第二网络包均包括第一特征信息和第二特征信息，所述依据所述第一网络包的特征信息和预设时间窗口内的第二网络包的特征信息对所述预设时间窗口内的第二网络包进行更新的步骤包括：若所述第一网络包的第一特征信息和所述预设时间窗口内的第二网络包的第一特征信息满足第一特征条件时，按照第一更新策略对所述预设时间窗口内的第二网络包进行更新；若所述第一网络包的第一特征信息和所述预设时间窗口内的第二网络包的第一特征信息满足第二特征条件时，按照第二更新策略对所述预设时间窗口内的第二网络包进行更新。3.如权利要求2所述的方法，其特征在于，所述按照第一更新策略对所述预设时间窗口内的第二网络包进行更新的步骤，包括：若所述第一网络包的第二特征信息和所述预设时间窗口内的第二网络包的第二特征信息满足第一预设条件时，删除第二特征信息满足所述第一预设条件的所述第二网络包并将第二特征信息满足所述第一预设条件的所述第一网络包加入所述预设时间窗口内；若所述第一网络包的第二特征信息和所述预设时间窗口内的第二网络包的第二特征信息不满足第一预设条件时，将第二特征信息不满足所述第一预设条件的所述第一网络包加入所述预设时间窗口内。4.如权利要求2所述的方法，其特征在于，所述按照第二更新策略对所述预设时间窗口内的第二网络包进行更新的步骤，包括：若所...

【专利技术属性】
技术研发人员：曾浩，熊常春，
申请(专利权)人：广州西麦科技股份有限公司，
类型：发明
国别省市：广东,44