基于融合CDN厂商实时日志的域名日志提供方法及系统技术方案

本申请涉及一种基于融合CDN厂商实时日志的域名日志提供方法及系统，包括获取CDN厂商提供的实时日志，并基于日志接受服务将所述实时日志写入至第一分布式日志系统，将所述第一分布式日志系统中的实时日志写入至分布式文件系统中，基于预设的特定工作流平台调度特定计算引擎对分布式文件系统上的实时日志进行分割，并生成已分割日志，将所述已分割日志上传至上传至特定云存储空间，并生成日志下载链接，同时将所述日志下载连接发送至日志需求方。本发明专利技术结合分布式系统落地和分割技术，让日志提供具备极强的扩展能力，进一步地大大提升用户获取日志时效性和稳定性，满足用户的使用需求。用需求。用需求。

【技术实现步骤摘要】
基于融合CDN厂商实时日志的域名日志提供方法及系统


[0001]本申请涉及日志生成
，特别是涉及一种基于融合CDN厂商实时日志的域名日志提供方法及系统。

技术介绍

[0002]CDN的全称是Content Delivery Network，即内容分发网络。CDN是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。CDN的关键技术主要有内容存储和分发技术。
[0003]目前，七牛融合CDN的域名配置在多个上游CDN上，因此提供给客户的日志来自于多个上游CDN厂商，而当前为了提供日志给客户，需要定时调用该域名所配置的多个CDN厂商API，获取域名日志下载链接，再通过下载链接下载日志到服务器，然后对从不同厂商下载下来的该域名日志进行融合分割处理，上传到七牛存储空间，提供日志下载链接给到客户。
[0004]但是，目前的这种方案依赖厂商离线日志，因不同CDN厂商技术架构不同，提供提供日志下载接口的时效本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于融合CDN厂商实时日志的域名日志提供方法，其特征在于，所述方法包括：步骤S100：获取CDN厂商提供的实时日志，并基于日志接受服务将所述实时日志写入至第一分布式日志系统，其中，所述第一分布式日志系统为kafka；步骤S200：将所述第一分布式日志系统中的实时日志写入至分布式文件系统中，其中，所述分布式文件系统为HDFS；步骤S300：基于预设的特定工作流平台调度特定计算引擎对分布式文件系统上的实时日志进行分割，并生成已分割日志，其中，所述特定工作流平台为Airflow，所述特定计算引擎为SPARK；步骤S400：将所述已分割日志上传至上传至特定云存储空间，并生成日志下载链接，同时将所述日志下载连接发送至日志需求方。2.根据权利要求1所述的基于融合CDN厂商实时日志的域名日志提供方法，其特征在于，步骤S200：将所述第一分布式日志系统中的实时日志写入至分布式文件系统中，其中，所述分布式文件系统为HDFS，具体包括：步骤S211：将所述第一分布式日志系统中的实时日志以特定时间段，按照日志生成时间，5分钟粒度基于flink在HDFS中分桶，其中，分桶为将实时日志写到文件系统上的文件夹里，也即将实时日志写到HDFS上的文件夹里；步骤S212：间隔特定时间后，转步骤S300，其中，所述特定时间为1小时。3.根据权利要求2所述的基于融合CDN厂商实时日志的域名日志提供方法，其特征在于，步骤S300：基于预设的特定工作流平台调度特定计算引擎对分布式文件系统上的实时日志进行分割，并生成已分割日志，其中，所述特定工作流平台为Airflow，所述特定计算引擎为SPARK；具体包括：基于Airflow调度SPARK对HDFS上的实时日志进行分桶，并生成已分割日志。4.根据权利要求1所述的基于融合CDN厂商实时日志的域名日志提供方法，其特征在于，步骤S200：将所述第一分布式日志系统中的实时日志写入至分布式文件系统中，其中，所述分布式文件系统为HDFS，具体包括：步骤S221：预先配置域名白名单，其中，所述域名白名单上包括多个白名单域名；步骤S222：根据白名单域名通过flink消费kafka日志按照当前系统时间5分钟粒度，在HDFS分桶。5.根据权利要求4所述的基于融合CD...

【专利技术属性】
技术研发人员：荀聿霖，章超君，
申请(专利权)人：上海七牛信息技术有限公司，
类型：发明
国别省市：