DNS日志分析方法、DNS日志分析系统及计算机可读存储介质技术方案

本发明专利技术提供了一种DNS日志分析方法、DNS日志分析系统及计算机可读存储介质。本发明专利技术提供的DNS日志分析方法包括：步骤S1，定义一个匹配域，并将包含匹配域的流表项插入流表中；步骤S2，数据包输入智能分流器后，统计与包含匹配域的流表项匹配的数据包；步骤S3，在匹配域的可用字段中写入标记；步骤S4，将匹配域的可用字段中写入了标记的流表项与数据包共同输出智能分流器；步骤S5，解码分析服务器根据匹配域中的标记，解析数据包并生成DNS日志。上述DNS日志分析方法，通过标记简化了DNS日志的解析计算，提高了DNS日志解析效率，同时节省了进行DNS日志的解析计算产生大量的服务器资源占用，减少中间缓存和分析设备。

【技术实现步骤摘要】
DNS日志分析方法、DNS日志分析系统及计算机可读存储介质
本专利技术涉及DNS数据分析领域，具体涉及一种DNS日志分析方法、DNS日志分析系统及计算机可读存储介质。
技术介绍
当前DNS数据分析领域中正面临着一个难题，运营商DNS解析日志数据量巨大，每天可达8T以上，解码分析服务器处理能力有限，通常采用智能分流器将DNS解析日志分配到多台采集、解码分析服务器上，为了达到线速地分析DNS解析日志，需要配置大量的日志解构、索引入库、分析服务器，对于运营商来说会需要大量的机房空间及高昂的分析成本。现有技术中，为解决上述问题，会采用开源日志管理(Logstash)，是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，然后Logstash过滤器解析各个事件，识别已命名的字段以构建结构，将它们转换成通用格式，并将数据标准化到选择的目的地存储起来。但是，Logstash的问题是它的性能以及资源消耗，其默认的堆大小是1GB，而为了解决性能和资源问题，通常在数据解码后在解构入库前增加一级缓存存储，以匹配两端的速率不一致问题。由此，Logstash及各种过滤器插件对数据的处理会大量地占用服务器资源。因此，亟待一种技术方案，能够将DNS日志的解构计算从Logstash类似技术中解放出来，简化DNS日志的解析计算，提高DNS日志的解构、入库、索引等的解析效率，同时避免产生大量的服务器资源占用，减少中间缓存和分析设备。
技术实现思路
针对以上问题，本专利技术提供了一种DNS日志分析方法，简化了DNS日志的解构、入库、索引等步骤，提高了DNS日志解析效率，同时减少了中间缓存和分析设备。本专利技术提供的一种DNS日志分析方法，包括步骤S1，定义一个匹配域，并将包含匹配域的流表项插入流表中；步骤S2，数据包输入智能分流器后，统计与包含匹配域的流表项匹配的数据包；步骤S3，在匹配域的可用字段中写入标记；步骤S4，将匹配域的可用字段中写入了标记的流表项与数据包共同输出智能分流器；步骤S5，解码分析服务器根据匹配域中的标记，解析数据包并生成DNS日志。基于OpenFlow协议，智能分流器能够通过用户定义的流表项来匹配和处理数据包，将数据包发往后续处理器中，这些步骤是智能分流器本身工作的步骤。而上述步骤中，智能分流器基于OpenFlow协议定义了一个新的匹配域，可以根据包含自定义匹配域的流表项对数据包进行处理；同时在匹配域的可用字段中写入标记，使得解码分析服务器根据匹配域中的标记即可进行DNS日志解构、索引入库、分析等动作，无需进行大量的DNS日志解析计算工作。即在现有技术中，智能分流器和解码分析服务器分别都需要对数据包进行大量的解析计算，本专利技术提供的DNS日志分析方法，只需在智能分流器中进行解析计算，并给数据包打上标记，后续的解码分析服务器只需要根据标记进行DNS日志解构、索引入库、分析，将两次大量的数据计算分析过程，简化为一次在智能分流器中数据计算分析，大大简化了DNS日志的解析计算，提高了DNS日志解析效率，同时节省了进行DNS日志的解析计算产生大量的服务器资源占用，减少中间缓存和分析设备。在本专利技术的较优技术方案中，DNS日志分析方法的步骤S2，通过OpenFlow的计量表统计与包含自定义匹配域的流表项匹配的数据包。OpenFlow的计量表用于关联流表项，能够对匹配流表项的数据包执行服务质量(QoS)策略，包括对匹配流表项的数据包进行分类统计等。进一步地，在本专利技术的较优技术方案中，DNS日志分析方法还将OpenFlow的计量表的计数日志和数据包共同输出智能分流器。后续的解码分析服务器即可通过与数据包共同输出OpenFlow的计量表的计数日志和标记，了解与包含自定义匹配域的流表项匹配的数据包的数量和标记的相关内容，形成带有统计数据的DNS日志，进一步地节省了DNS日志的计算步骤，提高了DNS日志解析效率。优选地，在本专利技术的较优技术方案中，DNS日志分析方法的步骤S3中，通过流表项的动作在匹配域的可用字段中写入标记。数据包与包含自定义匹配域的流表项匹配成功，流表项中可以规定相应的动作(Action)，将标记写入可用字段中。因为OpenFlow中流表项的功能本身即为通过动作(Action)匹配和处理数据包，通过动作(Action)将标记写入可用字段利用了OpenFlow自身的规则，无需附加的动作和流程即可实现标记功能。优选地，在本专利技术的较优技术方案中，DNS日志分析方法中的匹配域的可用字段包括VLANID字段、VLAN优先级字段、MPLS字段、MPLS优先级字段、目标MAC字段中的一种或多种。因为写入标记的步骤是在智能分流器中完成的，而上述的VLANID字段、VLAN优先级字段、MPLS字段、MPLS优先级字段、目标MAC字段等是在智能分流器的前序设备中发挥作用的，而在智能分流器及后续的处理器中没有实际作用。因此，选择在上述字段中写入标记，覆盖掉的数据对智能分流器及后续的处理器是没有意义的，不会影响到后续的解析步骤。在本专利技术的较优技术方案提供的DNS日志分析方法中，标记包括对源IP地址、解析结果IP地址、解析域名中的一种或多种进行的编码。DNS日志解析时同样会涉及源IP地址、解析结果IP地址、解析域名三个维度的解码分析，因此通过源IP地址、解析结果IP地址、解析域名三个维度对数据包进行分类标记，能够大大减少DNS日志的解析计算。而且，对源IP地址、解析结果IP地址、解析域名三个维度的编码可以根据DNS日志的解析要求进行进一步细化，如根据源IP地址的运营商、地理位置、解析结果的类型、域名的应用等不同的依据进行编码，使得DNS日志解析时不用进行大量的解析计算也能够得到详细分类的解析结果。在本专利技术的较优技术方案中，还提供了一种DNS日志分析系统，包括智能分流器，包括虚拟交换机模块；解码分析服务器；上述的DNS日志分析系统能够执行：步骤S1，定义一个匹配域，并将包含匹配域的流表项插入流表中；步骤S2，数据包输入智能分流器后，统计与包含匹配域的流表项匹配的数据包；步骤S3，在匹配域的可用字段中写入标记；步骤S4，将匹配域的可用字段中写入了标记的流表项与数据包共同输出智能分流器；步骤S5，解码分析服务器根据匹配域中的标记，解析数据包并生成DNS日志。上述的DNS日志分析系统中，数据包在智能分流器中进行解析计算，并给数据包打上标记，后续的解码分析服务器只需要根据标记进行DNS日志解构、索引入库、分析，将智能分流器和解码分析服务器两次大量的数据计算分析过程，简化为一次在智能分流器中数据计算分析，大大简化了DNS日志的解析计算步骤，提高了DNS日志解析效率，同时节省了进行DNS日志的解析计算产生大量的服务器资源占用，减少中间缓存和分析设备。在本专利技术的较优技术方案中，还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序本文档来自技高网...

【技术保护点】
1.一种DNS日志分析方法，其特征在于，包括/n步骤S1，定义一个匹配域，并将包含所述匹配域的流表项插入流表中；/n步骤S2，数据包输入智能分流器后，统计与包含所述匹配域的所述流表项匹配的所述数据包；/n步骤S3，在所述匹配域的可用字段中写入标记；/n步骤S4，将所述匹配域的所述可用字段中写入了所述标记的流表项与所述数据包共同输出所述智能分流器；/n步骤S5，解码分析服务器根据所述匹配域中的所述标记，解析所述数据包并生成DNS日志。/n

【技术特征摘要】
1.一种DNS日志分析方法，其特征在于，包括
步骤S1，定义一个匹配域，并将包含所述匹配域的流表项插入流表中；
步骤S2，数据包输入智能分流器后，统计与包含所述匹配域的所述流表项匹配的所述数据包；
步骤S3，在所述匹配域的可用字段中写入标记；
步骤S4，将所述匹配域的所述可用字段中写入了所述标记的流表项与所述数据包共同输出所述智能分流器；
步骤S5，解码分析服务器根据所述匹配域中的所述标记，解析所述数据包并生成DNS日志。


2.如权利要求1所述的DNS日志分析方法，其特征在于，所述步骤S2中，通过OpenFlow的计量表统计与包含所述匹配域的所述流表项匹配的所述数据包。


3.如权利要求2所述的DNS日志分析方法，其特征在于，将OpenFlow的所述计量表的计数日志与所述数据包共同输出所述智能分流器。


4.如权利要求1所述的DNS日志分析方法，其特征在于，所述步骤S3中，通过所述流表项的动作在所述匹配域的所述可用字段中写入所述标记。


5.如权利要求4所述的DNS日志分析方法，其特征在于，所述标记包括对源IP地...

【专利技术属性】
技术研发人员：李文军，
申请(专利权)人：上海牙木通讯技术有限公司，
类型：发明
国别省市：上海;31