一种基于Hadoop平台的DNS日志分析方法及系统技术方案

本发明专利技术公开了一种基于Hadoop平台的DNS日志分析方法及系统，方法包括：S1、接收云服务器发送的DNS日志数据处理任务；S2、根据DNS日志数据处理任务从云服务器下载DNS日志数据处理任务对应的海量DNS日志数据并分布式存入Hadoop平台；S3、通过Hadoop平台的多个节点分别对分配给自身的DNS日志数据进行分布式处理；S4、根据预设的多个维度对处理后的海量DNS日志数据进行统计分析，生成多维度的DNS日志数据分析结果，将多维度的DNS日志数据分析结果存入数据库。本发明专利技术的有益效果是：大大地提高了DNS日志数据的数据处理效率，满足了更精细和更多维度的日志处理需求。

DNS log analysis method and system based on Hadoop platform

The invention discloses a DNS log analysis method and system based on Hadoop platform, including: S1, receiving DNS log data processing tasks sent by cloud servers; S2, downloading DNS log data processing tasks from cloud servers according to DNS log data processing tasks and storing massive DNS log data into Hadoop level in a distributed manner. Statistical analysis of the large amount of DNS log data is carried out according to the preset multi-dimension, and the results of multi-dimension DNS log data analysis are generated. The results of multi-dimension DNS log data analysis are stored in the number of data. According to the library. The invention has the beneficial effect of greatly improving the data processing efficiency of DNS log data and meeting the needs of more fine and more dimensional log processing.

【技术实现步骤摘要】
一种基于Hadoop平台的DNS日志分析方法及系统
本专利技术涉及大数据平台
，特别涉及一种基于Hadoop平台的DNS日志分析方法及系统。
技术介绍
现有技术虽然在处理数据量小的日志文件时能够保证处理效率，但是在处理百亿级的日志量时并不能保证处理效率，也很难满足更精细和更多维度的日志处理需求。
技术实现思路
本专利技术提供了一种基于Hadoop平台的DNS日志分析方法及系统，解决了现有技术的技术问题。本专利技术解决上述技术问题的技术方案如下：一种基于Hadoop平台的DNS日志分析方法，包括：S1、接收云服务器发送的DNS日志数据处理任务；S2、根据所述DNS日志数据处理任务从所述云服务器下载所述DNS日志数据处理任务对应的海量DNS日志数据并分布式存入Hadoop平台；S3、通过所述Hadoop平台的多个节点分别对分配给自身的DNS日志数据进行分布式处理；S4、根据预设的多个维度对处理后的所述海量DNS日志数据进行统计分析，生成多维度的DNS日志数据分析结果，将所述多维度的DNS日志数据分析结果存入数据库。本专利技术的有益效果是：在海量DNS日志数据处理环节，将海量DNS日志数据分布式存入Hadoop平台，通过Hadoop平台的各个节点对分配给自身的DNS日志数据分别进行分布式处理，从而大大地提高了DNS日志数据的数据处理效率，满足了更精细和更多维度的日志处理需求。在上述技术方案的基础上，本专利技术还可以做如下改进。优选地，所述S1之前，还包括：S0、实时采集多台DNS服务器的DNS日志数据，并对采集的所述DNS日志数据进行汇总，得到海量DNS日志数据，将所述海量DNS日志数据上传至所述云服务器。优选地，所述S4具体包括：将公司信息作为第一维度，从所述Hadoop平台的所述海量DNS日志数据中检索第一预设时间段内的包含所述公司信息的第一DNS日志记录，基于所述第一DNS日志记录对所述第一预设时间段内对所述公司信息中的公司网站进行访问的客户端数量和访问时长进行统计，基于第一统计结果对所述公司网站的公司点击量和公司本网率进行分析，将第一分析结果存入所述数据库；将目的IP作为第二维度，从所述Hadoop平台的所述海量DNS日志数据中检索第二预设时间段内的包含所述目的IP的第二DNS日志记录，基于所述第二DNS日志记录对所述第二预设时间段内对所述目的IP对应的网站服务器进行访问的客户端数量进行统计，基于第二统计结果对所述进行访问的客户端的分布状况进行分析，将第二分析结果存入所述数据库；将域名作为第三维度，从所述Hadoop平台的所述海量DNS日志数据中检索第三预设时间段内的包含所述域名的第三DNS日志记录，对所述第三DNS日志记录的条数进行统计，将该统计值作为第三分析结果存入数据库。优选地，所述S4还包括：将泛域作为第四维度，从所述Hadoop平台的所述海量DNS日志数据中检索第四预设时间段内的包含所述泛域的第四DNS日志记录，在接收到包含第一域名的网站访问量查询请求时，从所述第四DNS日志记录中提取包含有所述第一域名的第五DNS日志记录，对所述第五DNS日志记录的条数进行统计，将该统计值作为第四分析结果存入数据库。一种基于Hadoop平台的DNS日志分析系统，包括：接收模块，用于接收云服务器发送的DNS日志数据处理任务；下载模块，用于根据所述DNS日志数据处理任务从所述云服务器下载所述DNS日志数据处理任务对应的海量DNS日志数据并分布式存入Hadoop平台；处理模块，用于通过所述Hadoop平台的多个节点分别对分配给自身的DNS日志数据进行分布式处理；分析模块，用于根据预设的多个维度对处理后的所述海量DNS日志数据进行统计分析，生成多维度的DNS日志数据分析结果，将所述多维度的DNS日志数据分析结果存入数据库。优选地，还包括：采集模块，用于实时采集多台DNS服务器的DNS日志数据，并对采集的所述DNS日志数据进行汇总，得到海量DNS日志数据，将所述海量DNS日志数据上传至所述云服务器。优选地，所述分析模块具体用于：将公司信息作为第一维度，从所述Hadoop平台的所述海量DNS日志数据中检索第一预设时间段内的包含所述公司信息的第一DNS日志记录，基于所述第一DNS日志记录对所述第一预设时间段内对所述公司信息中的公司网站进行访问的客户端数量和访问时长进行统计，基于第一统计结果对所述公司网站的公司点击量和公司本网率进行分析，将第一分析结果存入所述数据库；将目的IP作为第二维度，从所述Hadoop平台的所述海量DNS日志数据中检索第二预设时间段内的包含所述目的IP的第二DNS日志记录，基于所述第二DNS日志记录对所述第二预设时间段内对所述目的IP对应的网站服务器进行访问的客户端数量进行统计，基于第二统计结果对所述进行访问的客户端的分布状况进行分析，将第二分析结果存入所述数据库；将域名作为第三维度，从所述Hadoop平台的所述海量DNS日志数据中检索第三预设时间段内的包含所述域名的第三DNS日志记录，对所述第三DNS日志记录的条数进行统计，将该统计值作为第三分析结果存入数据库。优选地，所述分析模块还用于：将泛域作为第四维度，从所述Hadoop平台的所述海量DNS日志数据中检索第四预设时间段内的包含所述泛域的第四DNS日志记录，在接收到包含第一域名的网站访问量查询请求时，从所述第四DNS日志记录中提取包含有所述第一域名的第五DNS日志记录，对所述第五DNS日志记录的条数进行统计，将该统计值作为第四分析结果存入数据库。附图说明图1为本专利技术实施例提供的一种基于Hadoop平台的DNS日志分析方法的流程示意图；图2为本专利技术另一实施例提供的一种基于Hadoop平台的DNS日志分析方法的流程示意图；图3为本专利技术另一实施例提供的一种基于Hadoop平台的DNS日志分析系统的结构示意图；图4为本专利技术另一实施例提供的一种基于Hadoop平台的DNS日志分析系统的结构示意图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。如图1所示，一种基于Hadoop平台的DNS日志分析方法，包括：S1、接收云服务器发送的DNS日志数据处理任务；S2、根据DNS日志数据处理任务从云服务器下载DNS日志数据处理任务对应的海量DNS日志数据并分布式存入Hadoop平台；S3、通过Hadoop平台的多个节点分别对分配给自身的DNS日志数据进行分布式处理；S4、根据预设的多个维度对处理后的海量DNS日志数据进行统计分析，生成多维度的DNS日志数据分析结果，将多维度的DNS日志数据分析结果存入数据库。在海量DNS日志数据处理环节，将海量DNS日志数据分布式存入Hadoop平台，通过Hadoop平台的各个节点对分配给自身的DNS日志数据分别进行分布式处理，从而大大地提高了DNS日志数据的数据处理效率。如图2所示，在图1中的S1之前，还包括：S0、实时采集多台DNS服务器的DNS日志数据，并对采集的DNS日志数据进行汇总，得到海量DNS日志数据，将海量DNS日志数据上传至云服务器。在海量DNS日志数据处理环节之前，首先要先将采集的DNS日志数据上传至云服务器，从而实现DNS日志数据的同步和共享。任何有权限本文档来自技高网...

【技术保护点】
1.一种基于Hadoop平台的DNS日志分析方法，其特征在于，包括：S1、接收云服务器发送的DNS日志数据处理任务；S2、根据所述DNS日志数据处理任务从所述云服务器下载所述DNS日志数据处理任务对应的海量DNS日志数据并分布式存入Hadoop平台；S3、通过所述Hadoop平台的多个节点分别对分配给自身的DNS日志数据进行分布式处理；S4、根据预设的多个维度对处理后的所述海量DNS日志数据进行统计分析，生成多维度的DNS日志数据分析结果，将所述多维度的DNS日志数据分析结果存入数据库。

【技术特征摘要】
1.一种基于Hadoop平台的DNS日志分析方法，其特征在于，包括：S1、接收云服务器发送的DNS日志数据处理任务；S2、根据所述DNS日志数据处理任务从所述云服务器下载所述DNS日志数据处理任务对应的海量DNS日志数据并分布式存入Hadoop平台；S3、通过所述Hadoop平台的多个节点分别对分配给自身的DNS日志数据进行分布式处理；S4、根据预设的多个维度对处理后的所述海量DNS日志数据进行统计分析，生成多维度的DNS日志数据分析结果，将所述多维度的DNS日志数据分析结果存入数据库。2.根据权利要求1所述的一种基于Hadoop平台的DNS日志分析方法，其特征在于，所述S1之前，还包括：S0、实时采集多台DNS服务器的DNS日志数据，并对采集的所述DNS日志数据进行汇总，得到海量DNS日志数据，将所述海量DNS日志数据上传至所述云服务器。3.根据权利要求1或2所述的一种基于Hadoop平台的DNS日志分析方法，其特征在于，所述S4具体包括：将公司信息作为第一维度，从所述Hadoop平台的所述海量DNS日志数据中检索第一预设时间段内的包含所述公司信息的第一DNS日志记录，基于所述第一DNS日志记录对所述第一预设时间段内对所述公司信息中的公司网站进行访问的客户端数量和访问时长进行统计，基于第一统计结果对所述公司网站的公司点击量和公司本网率进行分析，将第一分析结果存入所述数据库；将目的IP作为第二维度，从所述Hadoop平台的所述海量DNS日志数据中检索第二预设时间段内的包含所述目的IP的第二DNS日志记录，基于所述第二DNS日志记录对所述第二预设时间段内对所述目的IP对应的网站服务器进行访问的客户端数量进行统计，基于第二统计结果对所述进行访问的客户端的分布状况进行分析，将第二分析结果存入所述数据库；将域名作为第三维度，从所述Hadoop平台的所述海量DNS日志数据中检索第三预设时间段内的包含所述域名的第三DNS日志记录，对所述第三DNS日志记录的条数进行统计，将该统计值作为第三分析结果存入数据库。4.根据权利要求3所述的一种基于Hadoop平台的DNS日志分析方法，其特征在于，所述S4还包括：将泛域作为第四维度，从所述Hadoop平台的所述海量DNS日志数据中检索第四预设时间段内的包含所述泛域的第四DNS日志记录，在接收到包含第一域名的网站访问量查询请求时，从所述第四DNS日志记录中提取包含有所述第一域名的第五DNS日志记录，对所述第五DNS日志记录的条数进行统计，将该统计值作为第四分析结果存入数据库。5.一种基于Ha...

【专利技术属性】
技术研发人员：李卫群，张佳杰，王友，兰海翔，文川，杨迪，周发辉，
申请(专利权)人：贵州力创科技发展有限公司，
类型：发明
国别省市：贵州,52