一种基于tcp连接的网络报文采样系统和方法技术方案

本发明专利技术提供一种基于tcp连接的网络报文采样系统，包括：tcp报文判断模块、tcp标识判断模块和采样比例判断模块；与所述tcp标识判断模块连接的tcp查找模块，及分别与所述tcp查找模块和所述采样比例判断模块相连接的tcp连接管理表；还提供一种基于tcp连接的网络报文采样方法，在报文采样系统中建立一张tcp连接管理表，管理tcp连接建立、传输、关闭的过程。本发明专利技术提供的基于tcp连接的网络报文采样系统和方法，可对报文进行连续采集，提高采样数据的有效性。

【技术实现步骤摘要】

本专利技术属于网络数据处理领域，具体讲涉及。
技术介绍
当前的网络数据处理系统需要对网络上的报文进行接收处理，在网络流量很大的情况下，为降低系统负载，一般采用报文采样的方法，也就是说，系统不接收所有报文，而是从所有报文中抽取一定量的报文进行分析。报文采样往往是基于报文的，用统计报文计数的方法，按照一定的采样比例，随机采样报文，比如从每10个报文中抽取一个报文进行分析。但在实际应用中，很多网络数据分析工作不是针对单个报文的，而是针对tcp连接的。专利号为ZL200910073048. 4、名称为“一种用于异常检测的自适应网络流量采样方法”的专利技术披露了一种自适应网络流量采样方法，利用统计报文计数的方法对传输的数据包报文进行采样，但这样对报文进行采样往往会丢掉tcp连接中的某些报文，使tcp连接的数据不完整，导致在分析采样数据时存在采样数据有效性不高的问题。
技术实现思路
本专利技术的目的在于，提出，可对报文进行连续采集，提高采样数据的有效性。为实现上述目的，本专利技术提供一种基于tcp连接的网络报文采样系统，所述报文采样系统包括tcp报文判断模块、tcp标识判断模块和采样比例判断模块；其特征在于，与所述tcp标识判断模块连接的tcp查找模块，及所述tcp查找模块和所述采样比例判断模块分别与tcp管理表连接；所述tcp报文判断模块、所述tcp标识判断模块和所述采样比例判断模块依次连接。本专利技术提供的优选技术方案中，所述tcp连接管理表中的每个表项为标识tcp连接的四元组结构。本专利技术提供的第二优选技术方案中，所述tcp报文判断模块对输入的报文是否是 tcp报文做出判断，确定是按采样比例随机采样，继续处理下一个输入报文还是将该报文传输到tcp标识判断模块。本专利技术提供的第三优选技术方案中，所述tcp标识判断模块判断报文的tcp标识， 确定将所述报文传输到所述采样比例判断模块还是将所述tcp报文传输到所述tcp查找模块。本专利技术提供的第四优选技术方案中，所述采样比例判断模块判断当前采样的数据量是否达到了系统预设的采样比例，判断是丢弃收到的报文，继续处理下一个输入报文，还是采样收到的报文，并且提取出所述收到的报文的四元组结构并传输到所述tcp连接管理表中。本专利技术提供的第五优选技术方案中，所述四元组结构包括源ip、目的ip、源端口和目的端口。本专利技术提供的第六优选技术方案中，所述tcp查找模块在接到所述tcp标识判断模块发出的tcp报文后，提取出该tcp报文的四元组结构，并到所述tcp连接管理表中去查找是否有与所述提取的tcp报文相同的表项。本专利技术提供的第七优选技术方案中，提供一种基于tcp连接的网络报文采样方法，其改进之处在于，所述网络报文采样方法包括如下步骤(1)在报文采样系统中建立一张tcp连接管理表；(2)判断输入报文的类型，如该报文类型是TCP报文，则查看该报文的tcp标识位； 否则按采样比例随机采样，然后继续处理下一个输入报文；(3)判断报文的tcp标识位，如果该tcp报文属于新建的tcp连接的，则进行步骤 4 ；如果该tcp报文属于已建的tcp连接的数据报文，则进行步骤5 ；如果该tcp报文属于 tcp连接的关闭报文，则进行步骤6 ；(4)判断当前采样的数据量是否达到了系统预设的采样比例，如果达到了采样比例，则丢弃收到的报文，继续处理下一个输入报文；否则采样收到的报文，并且提取出所述收到的报文的四元组结构，插入到所述tcp连接管理表中；(5)提取出tcp报文的四元组结构，到所述tcp连接管理表中去查找是否有与所述提取的tcp报文相同的表项，如果查找到了，则采样该tcp报文；否则丢弃该tcp报文，继续处理下一个输入报文；(6)提取出tcp报文的四元组结构，到所述tcp连接管理表中去查找是否有与所述提取的tcp报文相同的表项；如果查找到了，则采样该tcp报文，并从所述tcp连接管理表中删除该tcp连接；否则丢弃该tcp报文，继续处理下一个输入报文。与现有技术比，本专利技术提供的，可在报文采样系统中建立一张tcp连接管理表，管理tcp连接建立、传输、关闭的过程，通过 tcp连接管理表实现基于tcp连接的报文采样；当一个新的tcp连接被发现时，如果需要采样，就把它在tcp连接表中管理起来，整个传输过程中所有的报文都采样，直到连接关闭。 如果一个新发现的tcp连接不需要采样，就不在tcp连接管理表中建立该tcp连接的选项，后继报文全部丢弃；而且，避免了现有的报文采样系统在对报文进行采样时往往会丢掉 tcp连接中的某些报文，使tcp连接的数据不完整，导致在分析采样数据时存在采样数据有效性不高的问题。附图说明图1为网络报文采样系统的结构示意图。图2为网络报文采样方法的流程图。具体实施方式如图1所示，基于tcp连接的网络报文采样系统，包括tcp报文判断模块、tcp标识判断模块和采样比例判断模块，与所述tcp标识判断模块连接的tcp查找模块，及分别与所述tcp查找模块和所述采样比例判断模块相连接的tcp连接管理表；所述tcp报文判断4模块、所述tcp标识判断模块和所述采样比例判断模块依次连接。所述tcp连接管理表中的每个表项是标识tcp连接的四元组结构；所述四元组结构包括源ip、目的ip、源端口和目的端口。所述tcp报文判断模块对输入的报文是否是tcp 报文进行判断，判断结果为“否”，则按采样比例随机采样，然后继续处理下一个输入报文； 判断结果为“是”，则将该报文传输到tcp标识判断模块。所述tcp标识判断模块可对tcp 报文的标识进行判断，如果tcp标识显示所述tcp报文属于新建的tcp连接，则将所述tcp 报文传输到所述采样比例判断模块；如果tcp标识显示所述tcp报文属于已建的tcp连接的数据报文或者tcp连接的关闭报文，则将所述tcp报文传输到所述tcp查找模块。所述采样比例判断模块判断当前采样的数据量是否达到了系统预设的采样比例，判断结果为 “是”，则丢弃收到的报文，继续处理下一个输入报文；判断结果为“否”，则采样收到的报文， 并且提取出所述收到的报文的四元组结构并传输到所述tcp连接管理表中。所述tcp查找模块在接到所述tcp标识判断模块发出的tcp报文后，提取出该tcp报文的四元组结构，并到所述tcp连接管理表中去查找是否有与所述提取的tcp报文相同的表项。如图2所示，为一种基于tcp连接的网络报文采样方法，包括如下步骤(1)在报文采样系统中建立一张tcp连接管理表；(2)对输入的报文是否是tcp报文进行判断，判断结果为“否”，则按采样比例随机采样，然后继续处理下一个输入报文；判断结果为“是”，则查看报文的tcp标识位；(3)对报文的tcp标识位进行判断，判断结果显示该tcp报文属于新建的tcp连接的，则进行步骤4 ；判断结果显示该tcp报文属于已建的tcp连接的数据报文，则进行步骤 5 ；判断结果显示该tcp报文属于tcp连接的关闭报文，则进行步骤6 ；(4)判断当前采样的数据量是否达到了系统预设的采样比例，判断结果为“是”，则丢弃收到的报文，继续处理下一个输入报文；判断结果为“否”，则采样收到的报文，并且提取出所述收到的报文的四元组结构，插入到所述tcp连接管理表中；(5)提取出tcp报文的四元组结构，到所述tcp本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于tcp连接的网络报文采样系统，所述报文采样系统包括tcp报文判断模块、tcp标识判断模块和采样比例判断模块；其特征在于，与所述tcp标识判断模块连接的 tcp查找模块，及所述tcp查找模块和所述采样比例判断模块分别与tcp管理表连接；所述 tcp报文判断模块、所述tcp标识判断模块和所述采样比例判断模块依次连接。2.根据权利要求1所述的报文采样系统，其特征在于，所述tcp连接管理表中的每个表项为标识tcp连接的四元组结构。3.根据权利要求1所述的报文采样系统，其特征在于，所述tcp报文判断模块对输入的报文是否是tcp报文做出判断，确定是按采样比例随机采样，继续处理下一个输入报文还是将该报文传输到tcp标识判断模块。4.根据权利要求1所述的报文采样系统，其特征在于，所述tcp标识判断模块判断报文的tcp标识，确定将所述tcp报文传输到所述采样比例判断模块还是将所述tcp报文传输到所述tcp查找模块。5.根据权利要求1所述的报文采样系统，其特征在于，所述采样比例判断模块判断当前采样的数据量是否达到了系统预设的采样比例，判断是丢弃收到的报文，继续处理下一个输入报文，还是采样收到的报文，并且提取出所述收到的报文的四元组结构并传输到所述tcp连接管理表中。6.根据权利要求2所述的报文采样系统，其特征在于，所述四元组结构包括源ip、目的 ip、源端口和目的端口。7.根据权利要求4所述的报文采样系统，其特征在于，所述tcp查找模块在接到所述 tcp标识判断模块...

【专利技术属性】
技术研发人员：刘朝辉，纪奎，姬乃军，白宗元，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：