用于CDN节点的访问日志处理方法及系统技术方案

本公开提供一种用于CDN节点的访问日志处理方法，包括：响应访问请求，并生成访问日志记录；上传所述访问日志记录至访问日志服务器，不在本地磁盘存储所述访问日志记录。本公开还提供一种用于CDN节点的访问日志处理的系统。通过本公开提供的一种用于CDN节点的访问日志处理的方法及系统，使得所生成的访问日志记录无需占用本地磁盘空间，同时提高了网站的响应速度及系统的运行效率；内容分发中心只需与访问日志服务器进行通信便可分析查询有关访问日志记录信息，减少了访问CDN节点的次数，减缓了CDN节点的压力，同时也保证了内容分发的及时性。

【技术实现步骤摘要】

本公开实施例涉及计算机
，尤其涉及一种用于CDN节点的访问日志处理方法及系统。
技术介绍
CDN(Content Delivery Network，内容分发网络)是一种通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络。CDN能够实时地根据网络流量和各CDN节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上，其目的是能够选择离用户相对较近的CDN节点向用户发送用户所需的内容，缓解网络拥挤的状况，提高网站的响应速度。现有技术中技术方案中，全网的CDN节点在接收到用户的访问请求时除了响应该访问请求外，还将该访问请求以日志的形式进行记录，以用于内容分发中心根据CDN节点的日志分析出该CDN节点存储有哪些内容，需要进一步为该节点分发哪些内容(需要分发的内容为多次访问请求同一内容，但是该CDN节点没有缓存有该被访问的同一内容)等。但是在现有技术中，全网的CDN节点接收并响应用户的访问请求，并将所述访问请求以日志的形式进行记录，由于CDN节点每秒钟接收的访问请求的数量是相当大的，因此，就要耗费大量的CDN节点的资源用以记录访问日志，对CDN节点造成计算压力；所述生成的访问日志记录存储于本地磁盘空间，不仅占用本地资源，而且对磁盘内容不断的存入和删除导致磁盘碎片的产生，进而影响系统运行效率；该传统方法需要内容分发中心不断的与所有节点进行通信以访问对应的访问日志，而内容分发中心与所有的CDN节点间的通信质量又是难以保证的，因此也不利于内容分发中心及时的在全网准确及时的进行内容的分发。专利技术内容为了解决现有技术中内容分发中心分析查询用户访问日志信息时需与CDN节点不断进行通信对CDN节点造成的压力问题，以及用户访问日志记录存储于本地磁盘空间占用磁盘内存所导致系统响应速度与运行效率不高的问题，本公开实施例提供一种用于CDN节点的访问日志处理方法，包括：响应访问请求，并生成访问日志记录；上传所述访问日志记录至访问日志服务器，不在本地磁盘存储所述访问日志记录。另一方面，本公开实施例提供一种用于CDN节点的访问日志处理系统，包括：访问日志生成单元，用于响应访问请求，并生成访问日志记录；访问日志上传单元，用于上传所述访问日志记录至访问日志服务器，不在本地磁盘存储所述访问日志记录。本公开实施例通过在CDN节点与内容分发中心之间建立访问日志服务器用以存储用户的访问日志记录，使得所述访问日志记录无需占用本地磁盘空间，节约了系统资源，同时提高了网站的响应速度及系统的运行效率；内容分发中心只需与访问日志服务器进行通信便可分析查询用户访问日志记录，避免了因通信质量不佳不能及时为CDN节点分发内容的情况，保证了内容分发的准确有效性，所述方法同时减少了对CDN节点的访问次数，减缓了CDN节点的压力。附图说明为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出的是本公开实施例的一种用于CDN节点的访问日志处理方法的
流程图；图2示出的是图1中所示方法的一种优选实施例方法的流程图；图3示出的是图1中所示方法的另一种优选实施例方法的流程图；图4示出的是本公开实施例的一种用于CDN节点的访问日志处理系统的结构示意图；图5示出的是图3中所示系统的一种优选实施例系统的结构示意图。图6示出的是本公开实施例提供的一种用户设备的结构示意图。具体实施方式为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。参见图1示出的是本公开实施例的一种用于CDN节点的访问日志处理方法的流程图，其中包括：S110：响应访问请求，并生成访问日志记录；S120：上传所述访问日志记录至访问日志服务器，不在本地磁盘存储所述访问日志记录。本公开实施例中，所述访问日志记录至少包含用户的访问信息以及网络信息，所述用户的访问信息至少包含用户的访问时间、访问内容、访问类型等信息；所述网络信息至少包含网络的IP地址、网络界面信息、网络状态(如网络错误信息)等信息。所述实施方法中，所述访问日志服务器可以为一个网络服务器，也可以为一个虚拟服务器。参见图2示出的是图1中所示方法的一种优选实施例方法的流程图，其中包括：S110：响应访问请求，并生成访问日志记录；S120’：每生成一条访问日志记录，不写入本地磁盘进行存储，直接
上传至访问日志服务器。本公开实施例中，用户每发出一次访问请求，CDN节点便响应一次所述访问请求，并将所述访问请求以日志形式进行记录。所述访问日志记录不存储于本地磁盘中，而是经由所述CDN节点使用UDP协议直接上传至访问日志服务器中。进一步的，所述访问日志记录经由缓存、压缩后通过CDN节点使用UDP协议上传至所述访问日志服务器中。其中所述访问日志记录缓存于代理服务器中(比如Nginx服务器)。需要说明的是，所述UDP协议提供的是不可靠的传输服务(不需与对方建立连接，不论对方状态如何直接发送，比如QQ、微信)，只是将访问日志记录发送出去，并不能保证它们能够到达目的地(没有重发等机制，传输速度快)，因此当使用UDP协议传输访问日志记录时，用户应用程序需解决数据包丢失、重复、排序、差错确认等问题。参见图3示出的是图1中所示方法的另一种优选实施例方法的流程图，其中包括：S210：响应访问请求，并生成访问日志记录；S220：缓存所述访问日志记录，基于预定缓存时间和/或预定缓存数量对缓存后统计的访问日志记录进行压缩；S230：上传压缩后的访问日志记录至访问日志服务器，清空与上传的压缩后的访问日志记录相关的缓存。本公开实施例中，所述访问日志记录经由缓存、压缩后通过CDN节点使用TCP协议上传至所述访问日志服务器中，当上传完毕后，清空与所述访问日志记录相关的缓存。一种实施方式中，所述对缓存后统计的访问日志记录进行压缩之前会定时(设定频率为3m/s)判断所述访问日志记录是否满足压缩条件，所述压缩条件包括预定缓存时间(比如1秒钟上传1次)和/或预定缓存数量(比如每接收1000条访问日志记录后上传1次)。若满足压缩条件，则对缓存后统计的访问日志记录进行压缩操作。比如，系统同时进行计时和统计访问日志记录数量操作，并以3m/s的频率进行判断是否满足压缩条件，
当计时达到1秒而所统计到的访问日志记录的数量不足1000条时，为保证日志上传的有效性，CDN节点会压缩已统计到的访问日志记录并上传所述压缩的访问日志记录；同样的，当计时未达到1秒而统计到的访问日志记录数据已达到1000条时，为避免累计文件过多导致上传失败的情况，CDN节点会压缩所统计到的访问日志记录并上传操作。进一步的，所述对缓存后统计的访问日志记录进行压缩可有效节省50％本文档来自技高网...

【技术保护点】
一种用于CDN节点的访问日志处理方法，包括：响应访问请求，并生成访问日志记录；上传所述访问日志记录至访问日志服务器，不在本地磁盘存储所述访问日志记录。

【技术特征摘要】
1.一种用于CDN节点的访问日志处理方法，包括：响应访问请求，并生成访问日志记录；上传所述访问日志记录至访问日志服务器，不在本地磁盘存储所述访问日志记录。2.根据权利要求1所述的方法，其中，所述上传所述访问日志记录至访问日志服务器，不在本地磁盘存储所述访问日志记录包括：每生成一条访问日志记录，不写入本地磁盘进行存储，直接上传至访问日志服务器。3.根据权利要求1所述的方法，其中，在生成访问日志记录后，包括：缓存所述访问日志记录，基于预定缓存时间和/或预定缓存数量对缓存后统计的访问日志记录进行压缩；上传所述访问日志记录至访问日志服务器，不在本地磁盘存储所述访问日志记录包括：上传压缩后的访问日志记录至访问日志服务器，清空与上传的压缩后的访问日志记录相关的缓存。4.根据权利要求3所述的方法，其中，所述基于预定缓存时间和/或预定缓存数量对缓存后统计的访问日志记录进行压缩包括：只要达到预定缓存时间和预定缓存数量其中之一时，对缓存后统计的访问日志记录进行压缩。5.根据权利要求3所述的方法，其中，所述上传压缩后的访问日志记录至访问日志服务器，清空与上传的压缩后的访问日志记录相关的缓存包括：在上传压缩后的访问日志记录至访问日志服务器后，接收访问日志服务器的反馈；当所述反馈为接收成功时，清空与上传的压缩后的访问日志记录相关
\t的缓存；当所述反馈为接收失败时，重新上传压缩后的访问日志记录至访问日志服务器。6.根据权利要求5所述的方法，其中，当所述重新上传次数超过预定阈值时，停止上传，清空与上传的压缩后的访问日志记录相关的缓存。7.根据权利要求3-6中任一项所述的方法，其中，所述缓存后统计的访问日志记录为对缓存后的访问日志记录分类后生成各类访问日志记录；所述基于预定缓存时间和/或预定缓存数量对缓存后统计的访问日志记录进行压缩包括：基于预定缓存时间和/或预定缓存数量对缓存后分类后的各类访问日志记录进行...

【专利技术属性】
技术研发人员：夏彦刚，
申请(专利权)人：乐视控股北京有限公司，乐视云计算有限公司，
类型：发明
国别省市：北京;11