本发明专利技术涉及网络数据处理领域，具体涉及一种报文去重方法、装置、汇聚分流设备及存储介质，包括获取待过滤报文，并将待过滤报文存入缓存；计算待过滤报文中前多个字节的哈希值，及计算缓存的循环冗余校验值；获取待过滤报文的预设位置的字节值对应的数据；将由哈希值、循环冗余校验值和预设位置的字节值对应的数据构成的待识别校验码与预设去重表中的校验码进行对比，如果预设去重表中存在待识别校验码，则待过滤报文为重复报文，并将重复报文丢弃。利用该待识别校验码与预设去重表进行对比，进而实现对待过滤报文是否为重复报文的检测，且通过多重对比进而提高对重复报文检测的正确率，以避免出现将不为重复报文的待过滤报文当作重复报文处理。文当作重复报文处理。文当作重复报文处理。
【技术实现步骤摘要】
一种报文去重方法、装置、汇聚分流设备及存储介质
[0001]本专利技术涉及网络数据传输领域，具体涉及一种报文去重方法、装置、汇聚分流设备及存储介质。
技术介绍
[0002]从网络诞生之日起，就同时存在对网络进行监测和维护的需求。当前，网络流量可视化分析是网络维护保障的发展趋势，目前此类相关产品从应用上可大体分为两类，一种是网络性能分析（NPM），另外一种是业务性能分析（APM），其中，NPM是针对带宽、时延、抖动、丢包、重传、拥塞、网络攻击等网络性能指标进行分析统计和故障定位，APM主要是根据数据报文所承载的业务的具体特性，分析业务质量。
[0003]进行网络流量可视化分析的底层基础是对网络线路中实时传输的数据报文进行采集捕获，根据对原始数据包中的相关信息的解析进一步进行统计分析，对数据包完成报文识别、流管理、流统计、规则匹配、包采样、打标等处理，并支持正交连接大流量交换输出。
[0004]而在数据传输的过程中存在大量的重复报文，这些重复报文将严重影响网络处理器的处理、传输速度，导致汇聚分流设备处理性能较低。目前现有的报文去重方法对重复报文的识别准确率低，会导致有大量的正常报文当作重复报文处理。
技术实现思路
[0005]因此，本专利技术要解决的技术问题在于克服现有技术中报文去重方法对重复报文的识别准确率低的缺陷，从而提供一种报文去重方法，包括如下步骤：获取待过滤报文，并将所述待过滤报文存入缓存；计算所述待过滤报文中前多个字节的哈希值，及计算所述缓存的循环冗余校验值；获取所述待过滤报文的预设位置的字节值对应的数据；将由所述哈希值、循环冗余校验值和所述预设位置的字节值对应的数据构成的待识别校验码与预设去重表中的校验码进行对比，如果所述预设去重表中存在所述待识别校验码，则所述待过滤报文为重复报文，并将所述重复报文丢弃或转发。
[0006]优选地，还包括：如果所述预设去重表中不存在所述待识别校验码，则所述待过滤报文不为重复报文；并将所述待识别校验码添加至所述预设去重表中。
[0007]优选地，所述计算所述待过滤报文中前多个字节的哈希值，包括：获取所述待过滤报文的去重方式，所述去重方式为全包去重或载荷去重；如果所述去重方式为全包去重，则从局域网开始计算所述待过滤报文中前多个字节的哈希值；如果所述去重方式为载荷去重，则从载荷开始计算所述待过滤报文中前多个字节
的哈希值。
[0008]优选地，所述计算所述缓存的循环冗余校验值，包括：判断所述待过滤报文占用的缓存的个数；如果占用的缓存的个数为一个，则计算所述缓存的循环冗余校验值；如果占用的缓存的个数为多个，则在计算第一个缓存的循环冗余校验值后，继续依次计算剩余所述缓存的循环冗余校验值。
[0009]优选地，所述待过滤报文的预设位置为所述待过滤报文的最后两个字节值，所述获取所述待过滤报文的预设位置的字节值对应的数据，包括：判断存储所述待过滤报文的最后一个缓存的字节长度；如果所述最后一个缓存的字节长度为一，则取所述最后一个缓存的字节值对应的数据，及所述最后一个缓存的前一个缓存的最后一个字节值对应的数据；如果所述最后一个缓存的字节长度不为一，则取所述最后一个缓存的最后两个字节值对应的数据。
[0010]优选地，在所述获取待过滤报文后，还包括：对所述待过滤报文进行全局配置；对所述待过滤报文进行协议解析，以对所述待过滤报文进行识别；如果对所述待过滤报文未识别成功，则对未识别成功的待过滤报文进行丢弃处理，或将未识别成功的待过滤报文转发至预设分流组。
[0011]优选地，还包括：根据所述全局配置获取外层或最内层的五元信息，其中，所述五元信息包括源IP地址、目的IP地址、源端口号、目的端口号和协议；如果所述待过滤报文被识别成功，利用所述五元信息依次进行源IP地址、目的IP地址、五元、源端口号+协议、目的端口号+协议、源IP地址+目的端口号、目的IP地址+源端口号、源IP地址+协议、目的IP地址+协议查找；其中，查找包括精确五元查找和掩码五元查找。
[0012]本专利技术还提供了一种报文去重装置，包括：第一获取单元，用于获取待过滤报文，并将所述待过滤报文存入缓存；计算单元，用于计算所述待过滤报文中前多个字节的哈希值，及计算所述缓存的循环冗余校验值；第二获取单元，用于获取所述待过滤报文的预设位置的字节值对应的数据；判断单元，用于将由所述哈希值、循环冗余校验值和所述预设位置的字节值对应的数据构成的待识别校验码与预设去重表中的校验码进行对比，如果所述预设去重表中存在所述待识别校验码，则所述待过滤报文为重复报文，并将所述重复报文丢弃或转发。
[0013]本专利技术还提供了一种汇聚分流设备，包括：网络处理器模块，用于执行上述的报文去重方法；光接口模块，与所述网络处理器模块连接。
[0014]本专利技术还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行上述的报文去重方法。
[0015]本专利技术技术方案，具有如下优点：1.在本专利技术提供的报文去重方法中，通过将所获得的待过滤报文存入缓存，进而
计算得到待过滤报文中前多个字节的哈希值、缓存的循环冗余校验值及预设位置的字节值对应的数据，并将由哈希值、循环冗余校验值和预设位置的字节值对应的数据所构成的待识别校验码与预设去重表中的校验码进行对比，如果预设去重表中存在该待识别校验码，则该待过滤报文为重复报文，可对该重复报文进行丢弃或转发处理。该方法采用由哈希值、循环冗余校验值和预设位置的字节值对应的数据构成的待识别校验码，利用该待识别校验码与预设去重表进行对比，进而实现对待过滤报文是否为重复报文的检测，且通过多重对比进而提高对重复报文检测的正确率，以避免出现将不为重复报文的待过滤报文当作重复报文处理。
[0016]2.在本专利技术提供的报文去重装置中，第一获取单元将所获得的待过滤报文存入缓存，计算单元计算得到待过滤报文中前多个字节的哈希值、缓存的循环冗余校验值，第二获取单元获取到预设位置的字节值对应的数据，判断单元将由哈希值、循环冗余校验值和预设位置的字节值对应的数据所构成的待识别校验码与预设去重表中的校验码进行对比，如果预设去重表中存在该待识别校验码，则该待过滤报文为重复报文，可对该重复报文进行丢弃或转发处理。该装置采用由哈希值、循环冗余校验值和预设位置的字节值对应的数据构成的待识别校验码，利用该待识别校验码与预设去重表进行对比，进而实现对待过滤报文是否为重复报文的检测，且通过多重对比进而提高对重复报文检测的正确率，以避免出现将不为重复报文的待过滤报文当作重复报文处理。
附图说明
[0017]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本专利技术实施例1中报文去重方法的流程图；图2为本专利技术实施本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种报文去重方法，其特征在于，包括如下步骤：获取待过滤报文，并将所述待过滤报文存入缓存；计算所述待过滤报文中前多个字节的哈希值，及计算所述缓存的循环冗余校验值；获取所述待过滤报文的预设位置的字节值对应的数据；将由所述哈希值、循环冗余校验值和所述预设位置的字节值对应的数据构成的待识别校验码与预设去重表中的校验码进行对比，如果所述预设去重表中存在所述待识别校验码，则所述待过滤报文为重复报文，并将所述重复报文丢弃或转发。2.如权利要求1所述的报文去重方法，其特征在于，所述方法，还包括：如果所述预设去重表中不存在所述待识别校验码，则所述待过滤报文不为重复报文；并将所述待识别校验码添加至所述预设去重表中。3.如权利要求1或2所述的报文去重方法，其特征在于，所述计算所述待过滤报文中前多个字节的哈希值，包括：获取所述待过滤报文的去重方式，所述去重方式为全包去重或载荷去重；如果所述去重方式为全包去重，则从局域网地址开始计算所述待过滤报文中前多个字节的哈希值；如果所述去重方式为载荷去重，则从载荷开始计算所述待过滤报文中前多个字节的哈希值。4.如权利要求1或2所述的报文去重方法，其特征在于，所述计算所述缓存的循环冗余校验值，包括：判断所述待过滤报文占用的缓存的个数；如果占用的缓存的个数为一个，则计算所述缓存的循环冗余校验值；如果占用的缓存的个数为多个，则在计算第一个缓存的循环冗余校验值后，继续依次计算剩余所述缓存的循环冗余校验值。5.如权利要求1或2所述的报文去重方法，其特征在于，所述待过滤报文的预设位置为所述待过滤报文的最后两个字节值，所述获取所述待过滤报文的预设位置的字节值对应的数据，包括：判断存储所述待过滤报文的最后一个缓存的字节长度；如果所述最后一个缓存的字节长度为一，则取所述最后一个缓存的字节值对应的数据，及所述最后一个缓存的前一个缓存的最后一个字节值对应的数据；如果所述最后一个缓存的字节长度不为一，...
【专利技术属性】
技术研发人员：王佳，张卫国，姜代伟，王志鹏，
申请(专利权)人：江苏金陵科技集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。