本申请实施例提供了一种内容分发网络的信息处理方法、装置和系统，该方法在子节点有故障发生时，获取当前子节点的故障信息，根据故障信息，通过采集当前子节点的故障日志以及故障日志前后预定时间范围内的原始日志，并将采集的故障日志和原始日志存储在日志存储系统中，节约了大量的日志采集资源和本地存储资源；当需要查询分析故障的时候，响应于数据中心服务器下发的日志获取任务命令，将存储的故障日志和原始日志上传至数据中心服务器，节约了网络数据上传带宽，数据中心服务器的存储及计算资源，从而极大地节约了日志处理成本。从而极大地节约了日志处理成本。从而极大地节约了日志处理成本。
【技术实现步骤摘要】
内容分发网络的信息处理方法、装置和系统
[0001]本申请涉及内容分发网络
，具体而言，本申请涉及一种内容分发网络(Content Delivery Network，CDN)的信息处理方法、装置和系统。
技术介绍
[0002]随着互联网的发展，短视频、直播等流媒体日渐融入大家的生活，对采用CDN来降低网络拥塞，提高访问响应速度的需求越来越强烈，CDN产生的日志量呈飞跃式的增加。现有技术中，CDN网络对于产生的故障，一般会采集所有日志来进行针对故障的排查。然而，CDN服务的可靠性很高，对于故障相关的日志在所有日志中占的比重很小。对所有的日志全量采集、传输、存储、查询、分析等工作，需要大量占用服务器和网络成本。随着业务的不断扩大，现有的故障日志排查方式所需的硬件成本还会不断的增加，可能会导致日志服务质量下降，从而出现数据延迟、数据丢失、查询分析慢等不良现象。
技术实现思路
[0003]本申请实施例的目的旨在能解决如何节约对故障日志查询分析成本的技术问题。
[0004]根据本申请实施例的一个方面，提供了一种CDN的信息处理方法，CDN包括数据中心服务器和与数据中心服务器交互的CDN节点，该方法应用于每个CDN节点，其中，每个CDN节点包括子节点以及日志存储系统，该方法包括：
[0005]当子节点有故障发生时，获取当前子节点的故障信息；
[0006]根据故障信息，采集当前子节点的故障日志以及故障日志前后预定时间范围内的原始日志；
[0007]将采集的故障日志和原始日志存储在日志存储系统中，以用于响应于数据中心服务器下发的日志获取命令，将存储的故障日志和原始日志上传至数据中心服务器。
[0008]在一种可选的实施方式中，故障信息包括故障时间和故障类型；根据故障信息，采集当前子节点的故障日志以及故障日志前后预定时间范围内的原始日志，包括：
[0009]获取故障类型对应的故障类型权重；
[0010]根据故障时间和故障类型权重，确定预定时间范围；
[0011]基于预定时间范围，采集当前子节点的故障日志以及故障日志前后预定时间范围内的原始日志。
[0012]在一种可选的实施方式中，响应于数据中心服务器下发的日志获取命令，将存储的故障日志和原始日志上传至数据中心服务器，包括：
[0013]响应于数据中心服务器下发的ETL(extract、transform、load，抽取、转换、加载)任务命令，将存储的故障日志和原始日志执行ETL任务后上传至数据中心服务器。
[0014]在一种可选的实施方式中，将采集的故障日志和原始日志存储在日志存储系统中，包括：
[0015]若故障日志包括多个种类的日志，则对故障日志和原始日志进行分类；
[0016]将分类后的故障日志和原始日志存储在日志存储系统中。
[0017]在一种可选的实施方式中，日志存储系统包括与子节点分别对应的日志存储子系统；将采集的故障日志和原始日志存储在日志存储系统中，包括：
[0018]针对每个当前子节点，将采集的该当前子节点的故障日志和原始日志存储在该当前子节点对应的日志存储子系统中。
[0019]根据本申请实施例的另一个方面，提供了一种CDN的信息处理方法，CDN包括数据中心服务器和与数据中心服务器交互的CDN节点，该方法应用于数据中心服务器，该方法包括：
[0020]下发日志获取命令到目标CDN节点；
[0021]接收目标CDN节点根据日志获取命令上传的故障日志和原始日志，用于查询分析，故障日志为目标CDN节点的子节点的故障日志，原始日志为采集的故障日志前后预定时间范围内的原始日志。
[0022]在一种可选的实施方式中，下发日志获取命令到目标CDN节点，包括：
[0023]下发ETL任务命令到目标CDN节点；
[0024]接收目标CDN节点根据日志获取命令上传的故障日志和原始日志，包括：
[0025]接收目标CDN节点执行ETL任务后上传的故障日志和原始日志。
[0026]在一种可选的实施方式中，下发日志获取命令到目标CDN节点之后，还包括：
[0027]获取目标CDN节点对日志获取命令的处理状态，用于查询分析。
[0028]在一种可选的实施方式中，数据中心服务器中包括REDIS(Remote Dictionary Server，远程字典服务)数据库，获取目标CDN节点对日志获取命令的处理状态，包括：
[0029]通过REDIS数据库，接收ETL任务的执行状态。
[0030]在一种可选的实施方式中，数据中心服务器中包括与CDN节点对应的分布式任务调度系统，每两个任务调度系统之间同步数据，下发日志获取命令到目标CDN节点，包括：
[0031]确定目标CDN节点对应的目标任务调度系统；
[0032]通过目标任务调度系统，下发日志获取命令到目标CDN节点。
[0033]在一种可选的实施方式中，数据中心服务器中预置有REST(Representational State Transfer，表述性状态转移)接口，下发的ETL任务命令到目标CDN节点，包括：
[0034]调用REST接口，下发ETL任务命令到目标CDN节点。
[0035]以及，调用REST接口，查询ETL任务的执行状态。
[0036]在一种可选的实施方式中，接收目标CDN节点上传的日志数据，用于查询分析，包括：
[0037]接收日志数据并进行存储；
[0038]消费存储的日志数据，得到数据处理结果，用于查询分析。
[0039]在一种可选的实施方式中，数据中心服务器中包括Kafka(卡夫卡)系统，接收目标CDN节点上传的日志数据，用于查询分析，包括：
[0040]通过Kafka系统，接收日志数据并进行存储；
[0041]消费存储于Kafka系统中的日志数据，得到数据处理结果，用于查询分析。
[0042]根据本申请实施例的另一个方面，提供了一种CDN节点，该CDN节点与数据中心服务器交互，其中，该CDN节点包括子节点以及日志存储系统，该CDN节点包括：
[0043]获取模块，用于当子节点有故障发生时，获取当前子节点的故障信息；
[0044]采集模块，用于根据故障信息，采集当前子节点的故障日志以及故障日志前后预定时间范围内的原始日志；
[0045]存储和上传模块，用于将采集的故障日志和原始日志存储在日志存储系统中，以用于响应于数据中心服务器下发的日志获取命令，将存储的故障日志和原始日志上传至数据中心服务器。
[0046]在一种可选的实施方式中，故障信息包括故障时间和故障类型；采集模块在用于根据故障信息，采集当前子节点的故障日志以及故障日志前后预定时间范围内的原始日志时，具体用于：
[0047]获取故障类型对应的故障类型权重；
[0048]根据故障时间和故障类型权重，确定预定时间范围；...
【技术保护点】
【技术特征摘要】
1.一种内容分发网络CDN的信息处理方法，其特征在于，所述CDN包括数据中心服务器和与数据中心服务器交互的CDN节点，所述方法应用于每个CDN节点，其中，每个CDN节点包括子节点以及日志存储系统，所述方法包括：当子节点有故障发生时，获取当前子节点的故障信息；根据所述故障信息，采集所述当前子节点的故障日志以及所述故障日志前后预定时间范围内的原始日志；将采集的所述故障日志和所述原始日志存储在所述日志存储系统中，以用于响应于所述数据中心服务器下发的日志获取命令，将存储的所述故障日志和所述原始日志上传至所述数据中心服务器。2.根据权利要求1所述的信息处理方法，其特征在于，所述故障信息包括故障时间和故障类型；所述根据所述故障信息，采集所述当前子节点的故障日志以及所述故障日志前后预定时间范围内的原始日志，包括：获取所述故障类型对应的故障类型权重；根据所述故障时间和所述故障类型权重，确定所述预定时间范围；基于所述预定时间范围，采集所述当前子节点的故障日志以及所述故障日志前后预定时间范围内的原始日志。3.根据权利要求1或2所述的信息处理方法，其特征在于，所述将采集的所述故障日志和所述原始日志存储在所述日志存储系统中，包括：若所述故障日志包括多个种类的日志，则对所述故障日志和所述原始日志进行分类；将分类后的所述故障日志和所述原始日志存储在所述日志存储系统中。4.根据权利要求1或2所述的信息处理方法，其特征在于，所述日志存储系统包括与所述子节点分别对应的日志存储子系统；所述将采集的所述故障日志和所述原始日志存储在所述日志存储系统中，包括：针对每个当前子节点，将采集的该当前子节点的所述故障日志和所述原始日志存储在该当前子节点对应的日志存储子系统中。5.一种内容分发网络CDN的信息处理方法，其特征在于，所述CDN包括数据中心服务器和与数据中心服务器交互的CDN节点，所述方法应用于所述数据中心服务器，所述方法包括：下发日志获取命令到目标CDN节点；接收所述目标CDN节点根据所述日志获取命令上传的故障日志和原始日志，用于查询分析，所述故障日志为所述目标CDN节点的子节点的故障日志，所述原始日志为采集的所述故障日志前后预定时间范围内的原始日志。6.根据权利要求5所述的信息处理方法，其特征在于，所述下发日志获取命令到目标CDN节点之后，还包括：获取所述目标CDN节点对所述日志获取命令的处理状态，用于查询分析。7.根据权利要求5所述的信息处理方法，其特征在于，所述数据中心服务器中包括与所述...
【专利技术属性】
技术研发人员：杜志豪，高亮，李学良，刘万攀，张宗权，周爱娟，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。