快速的web流量采集统计系统和方法技术方案
【技术实现步骤摘要】
快速的web流量采集统计系统和方法
本专利技术涉及web流量统计技术，尤其涉及内容分发网络（CDN）服务商的web流量的采集统计系统和方法。
技术介绍
CDN服务商为了给CDN加速客户提供有效的加速服务，一般都会部署大规模的CDN节点，这些节点覆盖范围很广，甚至是覆盖全球范围，而为了实时监控客户及节点应用服务的各种流量数据变化，需要对这些节点上的web流量快速地进行采集统计。现有的web流量统计技术，由于涉及到业务层面的流量统计，例如要统计客户域名的流量相关数据，是通过收集和分析web访问日志，来统计客户及节点应用服务的流量数据。这种传统的web流量统计技术，要处理的是分布在各个节点上的web访问日志，日志量的规模同web访问量的规模成正比，CDN服务商每天web访问日志量的规模一般都达到TB级别甚至PB级别，即海量日志，可以说这种技术存在以下缺点：1)为了处理海量web访问日志，而且这些日志还是分散的，需要消耗大量的资源，包括带宽传输和机器设备的消耗。2)统计数据延迟较大，因为收集、处理和分析web访问日志的时间长，而且由于架构上的层级较多，即使增加资源，也很难...
【技术保护点】
一种快速的web流量采集统计系统，包括流量采集分析装置、流量中转合并装置以及流量最终合并装置，其中：流量采集分析装置，部署在内容分发网络节点上，实时采集分析流量日志，统计生成单点的业务流量数据，将单点的业务流量数据发送到流量中转合并装置；流量中转合并装置，部署在流量中转合并节点上，将内容分发网络节点上的业务流量数据合并统计，实时生成业务的中间流量数据，再传输到流量最终合并装置；流量最终合并装置，部署在流量最终合并节点上，实时合并统计业务的中间流量数据，生成业务最终的流量数据。
【技术特征摘要】
1.一种快速的web流量采集统计系统，包括流量采集分析装置、流量中转合并装置以及流量最终合并装置，其中：流量采集分析装置，部署在内容分发网络节点上，实时采集分析只包含业务流量数据统计需要的基本信息且已经格式化的流量日志，统计生成单点的业务流量数据，将单点的业务流量数据发送到流量中转合并装置，其中单点的业务流量数据包含了连接时间、请求书和请求方式的多元化的数据；流量中转合并装置，部署在根据内容分发网络的节点范围所选取的流量中转合并节点上，将内容分发网络节点上的业务流量数据合并统计，实时生成业务的中间流量数据，再传输到流量最终合并装置，且流量中转合并节点根据内容分发网络的节点规模进行横向扩展；流量最终合并装置，部署在流量最终合并节点上，实时合并统计业务的中间流量数据，生成业务最终的流量数据。2.根据权利要求1所述的快速...
【专利技术属性】
技术研发人员：洪珂，邹宁勇，张芽，
申请(专利权)人：网宿科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。