一种基于内容提供商标识的互联口ICP流量统计系统及方法技术方案

本发明专利技术公开了一种基于内容提供商标识的互联口ICP流量统计系统，该系统包括：分流设备，用于将接收到的镜像数据流转发给数据采集处理解析服务器；数据采集处理解析服务器，用于对镜像数据流进行筛选解析处理、提取报文信息，并将报文信息存储到IP地址存储关联服务器上；交换机与数据采集处理解析服务器、IP地址存储关联服务器、ICP分类分级服务器相连；IP地址存储关联服务器，用于将报文信息与IP地址对应的域名文件记录进行关联；ICP分类分级服务器，用于根据事先设定的策略对ICP进行分类分级。本发明专利技术还公开了一种相应的流量统计方法。本发明专利技术能够对大客户流量进行多维度高效的排名和统计。

【技术实现步骤摘要】
一种基于内容提供商标识的互联口ICP流量统计系统及方法
本专利技术涉及网络行为监控与网络行为管理
，更具体地，涉及一种基于运营商IP地址段内容提供商标识的互联口ICP流量统计系统及方法。
技术介绍
计算机网络在过去十几年中经历了爆炸式的增长，随着互联网技术的迅猛发展，越来越多的用户频繁地使用网络中的资源，虽然网络带宽等资源也在不断增加，但与日益增长的用户数量比起来仍然不能满足用户的需求，网络拥塞问题逐渐暴露出来。网络拥塞问题得到全世界的关注始于1986年10月，当时美国LBL到UCBerkeley网络由于发生严重的网络拥塞导致网络崩溃，使得数据吞吐量从32kbps跌落到40bps，至此以后，拥塞成为一个热点研究领域。目前我国高校接入双路10G流量的带宽连接外网，但是大网常常出现拥堵情况，面对日益拥堵的网络，如果能够通过技术手段将占用带宽的运营商进行多维度排名统计，直观地显示拥堵资源，将教育网外运营商资源迁入教育网内，将可大大缓解网络拥堵，给高校以及其他单位带来更好的上网体验。
技术实现思路
为了解决上述问题，本专利技术提出一种基于内容提供商标识的互联口ICP流量统计系统及方法。本专利技术可以独立对互联口ICP流量进行分类统计，也可以根据一个运行商进行精准定位。根据本专利技术的一方面，提出一种基于内容提供商标识的互联口ICP流量统计系统，该系统包括：分流设备、数据采集处理解析服务器、交换机、IP地址存储关联服务器和ICP分级分类服务器，其中：所述分流设备用于将从外部网络所接收到的镜像数据流转发给所述数据采集处理解析服务器；所述数据采集处理解析服务器用于接收经过所述分流设备收集的镜像数据流、对其进行筛选解析处理、从解析后得到的数据流中提取报文信息，并将所述报文信息存储到所述IP地址存储关联服务器上；所述交换机与所述数据采集处理解析服务器、IP地址存储关联服务器、ICP分类分级服务器的配置管理网络接口相连，用于对数据采集处理解析服务器及运行其上的程序进行远程配置管理，提供数据采集处理解析服务器、IP地址存储关联服务器、ICP分级分类服务器之间的数据传输通道；所述IP地址存储关联服务器与所述交换机相连，用于根据所接收到的报文信息，将所述报文信息与所述IP地址对应的域名文件记录进行关联，并将关联上的数据以记录格式按行存入存储文件；所述ICP分类分级服务器与所述交换机相连，用于根据事先设定的策略，通过所述交换机访问所述IP地址关联存储服务器中的记录信息，对ICP进行分类分级。根据本专利技术的另一方面，提出一种基于内容提供商标识的互联口ICP流量统计方法，该方法包括以下步骤：步骤S1，获取流量包和数据包镜像数据流，并将所述镜像数据流发送给数据采集处理解析服务器；步骤S2，所述数据采集处理解析服务器对所接收的镜像数据流进行筛选处理，然后将筛选处理后得到的镜像数据流进行解析，提取出报文信息，并将所述报文信息存储到IP地址存储关联服务器中；步骤S3，IP地址存储关联服务器根据所述报文信息，将所述报文信息与C类地址所在的相应的域名段字典表进行关联对应，并将关联后得到的数据以记录格式按行存入存储文件；步骤S4，ICP分类分级服务器根据用户预定的策略，访问所述IP地址存储关联服务器中存储文件记录的信息，对ICP进行多维度的分类分级；步骤S5，将经过分类分级后的信息按照IP地址精确对应到单个或多个数据发送方。根据本专利技术的上述技术方案，本专利技术的有益效果为：（1）通过近似度模糊算法，快速查找算法和域名对应运行商策略将IP地址准对应到相应的域名中，将域名准确对应到相应的运行商，从而提升数据匹配的速度；（2）直观地获取拥堵网络的ICP用户，多维度地统计分析网络资源；（3）按照流量排名精确定位ICP用户。附图说明图1为本专利技术提出的一种基于内容提供商标识的互联口ICP流量统计系统的结构示意图。图2为本专利技术提出的一种基于内容提供商标识的互联口ICP流量统计方法的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。图1为本专利技术一种基于内容提供商标识的互联口ICP流量统计系统结构示意图，如图1所示，根据本专利技术的一方面，提出一种基于内容提供商标识的互联口ICP流量统计系统，该系统包括：分流设备、数据采集处理解析服务器、交换机、IP地址存储关联服务器和ICP分级分类服务器，其中：所述分流设备用于将从外部网络所接收到的镜像数据流转发给所述数据采集处理解析服务器；具体地，所述分流设备具有两个网络接口，第一网络接口用于接收所述镜像数据流；第二网络接口用于将所述镜像数据流发送给所述数据采集处理解析服务器。所述数据采集处理解析服务器用于接收经过所述分流设备收集的镜像数据流、对其进行筛选解析处理、从解析后得到的数据流中提取报文信息，并将所述报文信息以比如HTTP请求文件记录的形式存储到所述IP地址存储关联服务器上；所述数据采集处理解析服务器具有两个网络接口，第一网络接口与所述分流设备的第二网络接口相连，用于接收所述镜像数据流，并对其进行筛选处理，然后将筛选处理后得到的数据流进行解析，提取出服务器IP地址（server_ip）、流量（byte）、关联序列号（rel_seqno）等报文信息，并将提取出的上述报文信息比如以HTTP文件记录的形式通过与所述交换机相连的第二网络接口存储到所述IP地址存储关联服务器上；所述交换机与所述数据采集处理解析服务器、IP地址存储关联服务器、ICP分类分级服务器的配置管理网络接口相连，用于对数据采集处理解析服务器及运行其上的程序进行远程配置管理，另外也作为数据采集处理解析服务器、IP地址存储关联服务器、ICP分级分类服务器之间的数据传输通道；在本专利技术一实施例中，所述交换机为通讯千兆交换机。所述IP地址存储关联服务器与所述交换机相连，用于根据所接收到的报文信息中的server_ip、byte、rel_seqno三元组信息，将所述报文信息与所述IP地址对应的域名文件记录进行关联，并将关联上的数据以记录格式按行存入存储文件；所述IP地址存储关联服务器具有一个网络接口，所述IP地址存储关联服务器通过该网络接口与所述交换机连接，用于与数据采集处理解析服务器、ICP分类分级服务器之间进行数据传输。所述ICP分类分级服务器与所述交换机相连，用于根据事先设定的策略，通过所述交换机访问所述IP地址关联存储服务器中的记录信息，对ICP进行分类分级。所述ICP分类分级服务器具有一个网络接口，所述ICP分类分级服务器通过该网络接口与所述交换机连接，用于与IP地址存储关联服务器之间进行数据传输。图2为本专利技术一种基于内容提供商标识的互联口ICP流量统计方法流程图，如图2所示，根据本专利技术的另一方面，还提出一种基于内容提供商标识的互联口ICP流量统计方法，该方法包括以下步骤：步骤S1，获取流量包和数据包镜像数据流，并将所述镜像数据流发送给数据采集处理解析服务器；步骤S2，所述数据采集处理解析服务器对所接收的镜像数据流进行筛选处理，然后将筛选处理后得到的镜像数据流进行解析，提取出server_ip、rel_seqno、byte等报文信息，并将提取出的上述报文信息比如以HTTP文件记录的形式存储到IP地址本文档来自技高网...

【技术保护点】
一种基于内容提供商标识的互联口ICP流量统计系统，其特征在于，该系统包括：分流设备、数据采集处理解析服务器、交换机、IP地址存储关联服务器和ICP分级分类服务器，其中：所述分流设备用于将从外部网络所接收到的镜像数据流转发给所述数据采集处理解析服务器；所述数据采集处理解析服务器用于接收经过所述分流设备收集的镜像数据流、对其进行筛选解析处理、从解析后得到的数据流中提取报文信息，并将所述报文信息存储到所述IP地址存储关联服务器上；所述交换机与所述数据采集处理解析服务器、IP地址存储关联服务器、ICP分类分级服务器的配置管理网络接口相连，用于对数据采集处理解析服务器及运行其上的程序进行远程配置管理，提供数据采集处理解析服务器、IP地址存储关联服务器、ICP分级分类服务器之间的数据传输通道；所述IP地址存储关联服务器与所述交换机相连，用于根据所接收到的报文信息，将所述报文信息与所述IP地址对应的域名文件记录进行关联，并将关联上的数据以记录格式按行存入存储文件；所述ICP分类分级服务器与所述交换机相连，用于根据事先设定的策略，通过所述交换机访问所述IP地址关联存储服务器中的记录信息，对ICP进行分类分级。...

【技术特征摘要】
1.一种基于内容提供商标识的互联口ICP流量统计系统，其特征在于，该系统包括：分流设备、数据采集处理解析服务器、交换机、IP地址存储关联服务器和ICP分级分类服务器，其中：所述分流设备用于将从外部网络所接收到的镜像数据流转发给所述数据采集处理解析服务器；所述数据采集处理解析服务器用于接收经过所述分流设备收集的镜像数据流、对其进行筛选解析处理、从解析后得到的数据流中提取报文信息，并将所述报文信息存储到所述IP地址存储关联服务器上；所述交换机与所述数据采集处理解析服务器、IP地址存储关联服务器、ICP分级分类服务器的配置管理网络接口相连，用于对数据采集处理解析服务器及运行其上的程序进行远程配置管理，提供数据采集处理解析服务器、IP地址存储关联服务器、ICP分级分类服务器之间的数据传输通道；所述IP地址存储关联服务器与所述交换机相连，用于根据所接收到的报文信息，将所述报文信息与所述IP地址对应的域名文件记录进行关联，并将关联上的数据以记录格式按行存入存储文件；所述ICP分级分类服务器与所述交换机相连，用于根据事先设定的策略，通过所述交换机访问所述IP地址关联存储服务器中的记录信息，对ICP进行分级分类，并对ICP打上相应的标签，包括以下至少之一：根据二级域名将ICP按照所在网站分类；根据服务器IP地址将ICP按照所处网段进行分类；根据24小时的流量统计最大流量并排名；根据30天内的流量汇总计算并排名，将ICP按照热点程度分级；或者结合以上一种或多种进行多维度的分级分类。2.根据权利要求1所述的系统，其特征在于，所述报文信息包括服务器IP地址、流量和/或关联序列号。3.一种基于内容提供商标识的互联口ICP流量统计方法，其特征在于，该方法包括以下步骤：步骤S1，获取流量包和数据包镜像数据流，并将所述镜像数据流发送给数据采集处理解析服务器；步骤S2，所述数据采集处理解析服务器对所接收的镜像数据流进行筛选处理，然后将筛选处理后得到的镜...

【专利技术属性】
技术研发人员：黄友俊，李星，吴建平，李威，王菁菁，
申请(专利权)人：赛尔网络有限公司，
类型：发明
国别省市：