一种面向威胁检测的DNS日志统计特征抽取方法技术

本发明专利技术公开了一种面向威胁检测的DNS日志统计特征抽取方法，该方法包括：对DNS日志数据中若干特征字段的联合取值执行分组聚合统计，形成多级特征数据，得到DNS日志统计特征。采用本发明专利技术的方法能够解决对大量DNS日志进行处理需要消耗大量计算资源，甚至面对海量的DNS日志数据，对其进行处理并发现安全威胁，进行威胁预警不可行的问题，对海量DNS日志数据层层切片方式逐步降低分析挖掘的资源开销，让整个威胁发现过程具有可行性。

【技术实现步骤摘要】
一种面向威胁检测的DNS日志统计特征抽取方法
本专利技术属于计算机网络安全领域，具体涉及一种面向威胁检测的DNS日志统计特征抽取方法。
技术介绍
威胁(threat)是指对资产或组织可能导致负面结果的一个事件的潜在源(《信息安全术语:GB/T25069-2010》)。例如，网络空间中的恶意域名、有害IP、恶意程序都是一类威胁实体。威胁狩猎(threathunting)，也称威胁猎杀，就是在网络空间中发现和追踪安全威胁(securitythreat)的过程。也可称这一过程为威胁检测。被动流量日志(passivetrafficlogs)是指网络中各种实体的行为记录，通常由日志采集设备(logcollectors)通过对网络的被动观察而收集产生。这种观察过程通常不对网络状态产生影响。从所观察和记录到的行为类型看，被动流量日志包括DNS请求响应日志、流通联日志、HTTP请求日志及文件传输日志等。被动流量日志中蕴含着大量的威胁迹象(signsofthreat)。可通过预先在网络主机或网络链路部署被动流量日志采集设施，解析和处理捕获的数据，从而产生被动流量采集日志。基于被动流量日志可以执行各类数据分析挖掘过程，识别和发现网络中可疑的威胁迹象，形成威胁预警(threatalerts)。此时尚不能确认可疑的威胁迹象源自真正的威胁。威胁预警经专家诊断或同外部威胁情报核验后，可部分地确诊为真正的安全威胁。安全威胁的活动如产生了负面结果，则构成了安全事件(securityincident)。以上对于安全威胁进行捕捉和确认的工作构成一类威胁狩猎过程。在确认安全威胁和安全事件的基础上，受害组织机构、网络运营商、安全企业或监管部门对安全事件进行响应，对安全威胁执行消除。对大量DNS日志进行处理需要消耗大量计算资源，甚至面对海量的DNS日志数据，对其进行处理并发现安全威胁，进行威胁预警变得不可行，因此需要提供一种面向威胁检测的DNS日志统计特征抽取方法，以层层切片方式逐步降低分析挖掘的资源开销，让整个威胁发现过程具有可行性。
技术实现思路
本专利技术的目的在于，提供一种面向威胁检测的DNS日志统计特征抽取方法，以便能够发现网络中的安全威胁，并且能够解决威胁发现活动常受制于数据量过载和资源不足的问题。为解决上述技术问题，本专利技术提供种面向威胁检测的DNS日志统计特征抽取方法，所述方法包括：对DNS日志数据中若干特征字段的联合取值执行分组聚合统计，形成多级特征数据，得到DNS日志统计特征。所述DNS日志数据包括DNS日志和对DNS日志进行分组聚合统计后得到的中间结果数据。所述DNS日志记录中的特征字段包括方向、请求类型、响应类型、客户端IP、DNS服务器IP、TTL时间、被请求域名、被请求域名的主域名、包长、应答值、附加应答值。所述分组聚合统计过程如下：将DNS日志数据视作一组记录的集合，记作R＝{ri},i＝1,2,…,|R|，其中，每条记录包含若干特征字段，记作ri＝(ci1,ci2,...,cik)，在{1,2,…,k}中选择一个子集G作为分组元组，剩余下标集合A＝{1,2,…,k}-G构成聚合运算元组，RG是R在G上的投影，{RG}是可出现的所有分组组合值，选择f个特征算子Ψ＝(ψ1,…,ψf)，对于形成了一个聚合值，作为下一级记录集合的某一记录的第i字段，如此执行分组聚合则得到下一级聚合特征数据集合R′←{(ψ1(g),ψ2(g),…,ψf(g))|g∈RG}。所述特征算子包括记录数、条件记录数、某字段的统计值、某字段的条件统计值。所述多级特征数据包括五级特征数据。所述五级特征数据抽取方法如下：一级分组聚合；以各个采集源的DNS日志为基础，抽取部分实体作为分组实体，计算响应分组的若干聚合特征，得到“采集源-存储分区-请求IP-域名-服务IP”、“采集源-存储分区-域名-解析值”、“采集源-存储分区-时段-请求IP”一级分组聚合特征数据；二级分组聚合；在一级分组聚合得到的分组聚合特征数据的基础上，再次分组聚合，得到“存储分区-请求IP-域名-服务IP”、“存储分区-域名-解析值”、“存储分区-时段-请求IP”二级分组聚合特征数据；三级分组聚合；在二级分组聚合得到的分组聚合特征数据的基础上，再次分组聚合，得到“存储分区-域名”、“存储分区-服务IP”、“存储分区-请求IP”三级分组聚合特征数据；四级分组聚合；在三级分组聚合得到的分组聚合特征数据的基础上，再次分组聚合，得到“域名-解析值”、“域名”四级分组聚合特征数据；五级分组聚合；在四级分组聚合特征数据“域名”基础上提炼主域名实体的相关特征，得到“主域名”五级分组聚合特征数据。本专利技术还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。本专利技术所提供的面向威胁检测的DNS日志统计特征抽取方法，通过对DNS日志中的若干特征字段执行多级分组聚合统计，得到多层次的中间结果数据，以层层切片方式逐步降低数据计算资源的需求量，让整个威胁发现过程具有可行性。附图说明为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本专利技术可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本专利技术所能产生的功效及所能达成的目的下，均应仍落在本专利技术所揭示的
技术实现思路
能涵盖的范围内。图1为本专利技术所提供的面向威胁检测的DNS日志统计特征抽取方法的流程图；图2为本专利技术所提供的方法一个应用实施例的实现流程图；图3为本专利技术所提供的方法一个实施例的实现流程图；图4为本专利技术所提供的方法另一个实施例的实现流程图；其中：F1表示一级分组聚合，F2表示二级分组聚合，F3表示三级分组聚合，F4表示四级分组聚合，F5表示五级分组聚合。具体实施方式以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术所提供的面向威胁检测的DNS日志统计特征抽取方法，能够发现网络中的安全威胁，并且能够解决威胁发现活动常受制于数据量过载和资源不足的问题。在一种具体实施方式中，本专利技术所提供的面向威胁检测的DNS日志统计特征抽取方法，如图1所示，所述方法包括：对DNS日志数据中若本文档来自技高网...

【技术保护点】
1.一种面向威胁检测的DNS日志统计特征抽取方法，其特征在于，所述方法包括：/n对DNS日志数据中若干特征字段的联合取值执行分组聚合统计，形成多级特征数据，得到DNS日志统计特征。/n

【技术特征摘要】
1.一种面向威胁检测的DNS日志统计特征抽取方法，其特征在于，所述方法包括：
对DNS日志数据中若干特征字段的联合取值执行分组聚合统计，形成多级特征数据，得到DNS日志统计特征。


2.根据权利要求1所述的面向威胁检测的DNS日志统计特征抽取方法，其特征在于，所述DNS日志数据包括DNS日志和对DNS日志进行分组聚合统计后得到的中间结果数据。


3.根据权利要求1所述的面向威胁检测的DNS日志统计特征抽取方法，其特征在于，所述DNS日志记录中的特征字段包括方向、请求类型、响应类型、客户端IP、DNS服务器IP、TTL时间、被请求域名、被请求域名的主域名、包长、应答值、附加应答值。


4.根据权利要求1所述的面向威胁检测的DNS日志统计特征抽取方法，其特征在于，所述分组聚合统计过程如下：
将DNS日志数据视作一组记录的集合，记作R＝{ri},i＝1,2,…,|R|，其中，每条记录包含若干特征字段，记作ri＝(ci1,ci2,...,cik)，在{1,2,…,k}中选择一个子集G作为分组元组，剩余下标集合A＝{1,2,…,k}-G构成聚合运算元组，RG是R在G上的投影，{RG}是可出现的所有分组组合值，选择f个特征算子Ψ＝(ψ1,…,ψf)，对于ψi(g)＝ψi({rA|rG＝g})形成了一个聚合值，作为下一级记录集合的某一记录的第i字段，如此执行分组聚合则得到下一级聚合特征数据集合R′←{(ψ1(g),ψ2(g),…,ψf(g))|g∈RG}。


5.根据权利要求4所述的面向威胁检测的DNS日志统计特征抽...

【专利技术属性】
技术研发人员：严寒冰，李明哲，周昊，徐剑，郭晶，丁丽，李志辉，朱天，饶毓，贺铮，吕志泉，韩志辉，马莉雅，雷君，高川，贾世琳，吕卓航，黄亮，刘伟，郝帅，杨云龙，
申请(专利权)人：国家计算机网络与信息安全管理中心，长安通信科技有限责任公司，
类型：发明
国别省市：北京;11