一种内容分发网络热点分析方法和系统技术方案

本发明专利技术实施例提供一种内容分发网络热点分析系统和方法，该系统包括：CDN服务器、分布式发布系统和日志分析系统；CDN服务器，用于实时检测用户访问请求，按照设定规则确定热点URL，将访问热点URL的用户访问请求添加热点标签后得到热点URL日志数据，将热点URL日志数据推送至分布式发布系统；日志分析系统，用于从分布式发布系统获取热点URL日志数据并解析，提取选定的属性特征信息，生成用于展示的热点URL日志分析结果。能够准确及时的定位网络中的热点，数据传输量和计算量小。数据传输量和计算量小。数据传输量和计算量小。

【技术实现步骤摘要】
一种内容分发网络热点分析方法和系统


[0001]本专利技术涉及网络
，尤指一种内容分发网络热点分析方法和系统。

技术介绍

[0002]内容分发网络(Content Delivery Network，CDN)一般是依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块实现内容存储和分发，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。
[0003]CDN系统在运行过程中，不可避免的会发生一些突发事件，比如：某个时间CDN各个机房的带宽需求突然增大，导致服务器带宽需求、CPU需求等都上涨，机房的交换机出口也爆满，这种情况下很可能是发生了热点事件，而想要定位热点事件的话，则需要人工去服务器上过滤日志经过正则匹配、过滤、排序等操作，确定访问最多的统一资源定位符(uniform resource locator，URL是哪一个)，但有时候用户访问最多的URL并不是导致带宽暴涨的原因，这是因为虽然用户访问的这个URL最多，但是这个URL下载下来的资源很小，所以还得结合资源的大小来进行排序，经过一系列定位，才能定位到热点URL。
[0004]现有技术中突发热点后的热点定位处理方式，存在以下问题：
[0005]1)CDN系统中由于突发热点事件是人工处理，需要人工登录一台或几台服务器来去查找访问日志、写过滤条件等，经过排序处理等一系列的处理才能定位到热点URL，导致定位过程太过繁琐。
[0006]2)由于突发热点事件人工确认的步骤程序过于复杂繁琐，日志量大、过滤条件多，导致等待时长增加，且由于人工处理不可控的原因，大大增加了定位时长，最终使得热点URL定位不够及时。
[0007]3)人工到某一台或者某几台服务器上去过滤日志，并不能代表全网CDN的访问情况，难免会出现判断错误或者判断的不全的情况，最终导致热点URL定位不够准确。
[0008]4)人工处理的结果比较粗糙、信息不全、自由度不高、且不方便查看，信息可读性差。

技术实现思路

[0009]本专利技术实施例提供一种内容分发网络热点分析方法和系统，用以解决现有技术中存在的内容分发网络热点定位不准确的问题。
[0010]本专利技术实施例提供了一种内容分发网络热点分析系统，包括：内容分发网络CDN服务器、分布式发布系统和日志分析系统；
[0011]CDN服务器，用于实时检测用户访问请求，按照设定规则确定热点URL，将访问热点URL的用户访问请求添加热点标签后得到热点URL日志数据，将热点URL日志数据推送至分布式发布系统；
[0012]日志分析系统，用于从分布式发布系统获取热点URL日志数据并解析，提取选定的属性特征信息，生成用于展示的热点URL日志分析结果。
[0013]在一些可选的实施例中，所述CDN服务器包括：
[0014]热点识别模块，用于实时检测内容分发网络CDN中的用户访问请求，若检测到用户访问请求中有超过预设比例阈值的访问请求访问同一个URL时，或访问一个URL的访问资源量达到预设的资源量阈值时，确定该URL为热点URL；
[0015]日志处理模块，用于将访问所述热点URL的用户访问请求添加热点标签后存储到热点日志文件中，将非热点URL存储到非热点日志文件中，以及使用配置的目的地址和路径将热点日志文件中的热点URL日志数据推送至分布式发布系统。
[0016]在一些可选的实施例中，所述日志分析系统，包括消费日志系统和日志分析引擎；
[0017]消费日志系统，用于从分布式发布系统获取热点URL日志数据，解析出热点URL日志数据中的属性信息字段，并提取选定的属性特征信息，写入日志分析引擎中；
[0018]日志分析引擎，用于基于提取的属性特征信息对热点URL日志数据进行实时分析，生成用于展示的热点URL日志分析结果。
[0019]在一些可选的实施例中，所述日志分析引擎，具体用于：
[0020]基于提取的属性特征信息确定热点URL日志数据包括的热点URL的热点类型，以及针对每个热点URL，将所涉及到的热点URL日志数据的属性特征信息进行分析处理，生成包括每个热点URL对应的热点类型和属性特征信息的热点URL日志分析结果。
[0021]在一些可选的实施例中，上述系统还包括：
[0022]可视化展示系统，用于展示所述热点URL日志分析结果。
[0023]本专利技术实施例还提供了一种内容分发网络热点分析方法，包括：
[0024]内容分发网络CDN服务器实时检测用户访问请求，按照设定规则确定热点URL，将访问热点URL的用户访问请求添加热点标签后得到热点URL日志数据，将热点URL日志数据推送至分布式发布系统；
[0025]日志分析系统从分布式发布系统获取热点URL日志数据并解析，提取选定的属性特征信息，生成用于展示的热点URL日志分析结果。
[0026]在一些可选的实施例中，所述按照设定规则确定热点URL，将访问热点URL的用户访问请求添加热点标签后得到热点URL日志数据，将热点URL日志数据推送至分布式发布系统，具体包括：
[0027]若检测到用户访问请求中有超过预设比例阈值的访问请求访问同一个URL时，或访问一个URL的访问资源量达到预设的资源量阈值时，确定该URL为热点URL；
[0028]将访问所述热点URL的用户访问请求添加热点标签后存储到热点日志文件中，将非热点URL存储到非热点日志文件中，以及使用配置的目的地址和路径将热点日志文件中的热点URL日志数据推送至分布式发布系统。
[0029]在一些可选的实施例中，所述日志分析系统从分布式发布系统获取热点URL日志数据并解析，提取选定的日志属性特征信息，生成用于展示的热点URL日志分析结果，包括：
[0030]消费日志系统从分布式发布系统获取热点URL日志数据，解析出热点URL日志数据中的属性信息字段，并提取选定的属性特征信息，写入日志分析引擎中；
[0031]日志分析引擎基于提取的属性特征信息对热点URL日志数据进行实时分析，生成用于展示的热点URL日志分析结果。
[0032]在一些可选的实施例中，所述基于提取的属性特征信息对热点URL日志数据进行
实时分析，生成用于展示的热点URL日志分析结果，具体包括：
[0033]基于提取的属性特征信息确定热点URL日志数据包括的热点URL的热点类型，以及针对每个热点URL，将所涉及到的热点URL日志数据的属性特征信息进行分析处理，生成包括每个热点URL对应的热点类型和属性特征信息的热点URL日志分析结果。
[0034]在一些可选的实施例中，上述方法还包括：
[0035]将热点URL日志分析结果推送到可视化展示系统进行展示。
[0036]上述技术方案具有如下有益效果：
[0037]在CDN服务器端，实时检测用户访问请求，确定热点URL，将访问URL的用户访问请求写入热点URL日志数据推送至分布式发布系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内容分发网络热点分析系统，其特征在于，包括：内容分发网络CDN服务器、分布式发布系统和日志分析系统；CDN服务器，用于实时检测用户访问请求，按照设定规则确定热点URL，将访问热点URL的用户访问请求添加热点标签后得到热点URL日志数据，将热点URL日志数据推送至分布式发布系统；日志分析系统，用于从分布式发布系统获取热点URL日志数据并解析，提取选定的属性特征信息，生成用于展示的热点URL日志分析结果。2.如权利要求1所述的系统，其特征在于，所述CDN服务器包括：热点识别模块，用于实时检测内容分发网络CDN中的用户访问请求，若检测到用户访问请求中有超过预设比例阈值的访问请求访问同一个URL时，或访问一个URL的访问资源量达到预设的资源量阈值时，确定该URL为热点URL；日志处理模块，用于将访问所述热点URL的用户访问请求添加热点标签后存储到热点日志文件中，将非热点URL存储到非热点日志文件中，以及使用配置的目的地址和路径将热点日志文件中的热点URL日志数据推送至分布式发布系统。3.如权利要求1所述的系统，其特征在于，所述日志分析系统，包括消费日志系统和日志分析引擎；消费日志系统，用于从分布式发布系统获取热点URL日志数据，解析出热点URL日志数据中的属性信息字段，并提取选定的属性特征信息，写入日志分析引擎中；日志分析引擎，用于基于提取的属性特征信息对热点URL日志数据进行实时分析，生成用于展示的热点URL日志分析结果。4.如权利要求3所述的系统，其特征在于，所述日志分析引擎，具体用于：基于提取的属性特征信息确定热点URL日志数据包括的热点URL的热点类型，以及针对每个热点URL，将所涉及到的热点URL日志数据的属性特征信息进行分析处理，生成包括每个热点URL对应的热点类型和属性特征信息的热点URL日志分析结果。5.如权利要求1
‑
4任一所述的系统，其特征在于，还包括：可视化展示系统，用于展示所述热点URL日志分析结果。6.一种内容分发网络热点分析方法，其特征在于，包括：内容分发网络CDN服务器实时检测用户...

【专利技术属性】
技术研发人员：白淑贤，
申请(专利权)人：新浪网技术中国有限公司，
类型：发明
国别省市：