一种基于DNS解析的域名阴影检测方法和装置制造方法及图纸

本发明专利技术涉及域名阴影检测技术领域，具体涉及一种基于DNS解析的域名阴影检测方法和装置，方法包括：获取域名解析的DNS原始流量或PDNS数据，解析域名请求的特征数据并进行预处理，获取特征数据向量流；以预设的滑动时间窗口为检测周期对检测特征数据向量流进行检测统计，生成检测特征向量流；利用多阶段异常检测模型组对检测特征向量进行处理，逐步判断子域名是否为疑似域名阴影；对疑似域名阴影进行汇聚，输出疑似域名阴影的主域名、主机IP、受害人或组织以及证据向量，并写入数据库。本发明专利技术可以大规模分析实时的DNS请求流量，也可以分析离线的PDNS数据，通过多阶段异常检测模型组挖掘出潜在的域名阴影，极大的提高了分析效率。率。率。

【技术实现步骤摘要】
一种基于DNS解析的域名阴影检测方法和装置


[0001]本专利技术涉及域名阴影检测
，具体涉及一种基于DNS解析的域名阴影检测方法和装置。

技术介绍

[0002]臭名昭著的钓鱼工具包Angler Exploit Kit使用了许多漏洞利用工具(含Oday)，以及一项名为“域名阴影(Domain Shadowing)”的新技术，将另一个知名恶意工具包BlackHole exploit kit完全击败，成为当前市面上最“先进”的钓鱼攻击装备。攻击者通过钓鱼邮件或口令暴力破解方式盗取主域名拥有者的账户，并创建数以万计用于恶意用途的子域名。然后，利用子域名指向恶意网站，或者直接在这些域名绑定的服务器上挂恶意代码，进而通过域名阴影技术进行了大规模钓鱼攻击。这种恶意攻击手法非常有效，子域名非常多、生命周期短暂且域名随机分布。攻击者一般并没有明显的目的。这让遏止这种犯罪变得愈加困难，研究也变得十分不易。
[0003]现有技术中，对域名阴影的检测时，通常采用人工对钓鱼工具包Angler Exploit Kit进行分析，或者对大规模钓鱼事件进行分析，进而发现攻击者利用Adobe Flash和Microsoft Silverlight漏洞为基础，通过域名阴影技术进行了大规模钓鱼攻击。安全研究人员已经发现了约1万个这样的子域名，其中大部分为全球目前最大的域名提供商GoDaddy的帐户。此外，Liu等人在论文中提出了Woodpecker方法，通过对域名阴影的数据分析，发现两个维度的特性：
[0004](1)域名阴影和主域名下的合法子域名有较大的差异，例如IP、域名构成、服务器承载的业务、域名规模等；
[0005](2)不同主域名下的域名阴影可能来自同一非法组织。
[0006]进而，Liu等人从这两个维度提取了17个特征向量，并使用随机森林训练分类器对域名阴影进行建模。但是，由于作者提取的字段过于复杂，单个学习模型同时依赖在线和离线的数据，特别是作者为了平衡特征缺失的影响使用了随机森林分类器，导致检测性能和精度无法保证，并且算法缺少有效的检测框架，实际工程应用存在较大的问题。
[0007]鉴于此，现有技术有待改进和提高。

技术实现思路

[0008]为了解决上述技术问题，本专利技术提供了一种基于DNS解析的域名阴影检测方法和装置，解决了现有技术中对域名阴影检测时存在的性能、精度和工程化等问题。
[0009]本专利技术是这样实现的，提供一种基于DNS解析的域名阴影检测方法，包括如下步骤：
[0010]1)获取域名解析的DNS原始流量或PDNS数据，解析域名请求的特征数据，对解析后的特征数据进行预处理，获取特征数据向量流；
[0011]2)以预设的滑动时间窗口为检测周期对特征数据向量流进行检测统计，生成检测
特征向量流，所述的检测特征向量流提供两种分析能力，即分别对于同一域名的分析和同一IP的分析；
[0012]3)利用多阶段异常检测模型组对检测特征向量进行处理，逐步判断子域名是否为疑似域名阴影；
[0013]4)对疑似域名阴影进行汇聚，输出疑似域名阴影的主域名、主机IP、受害人或组织以及证据向量，并写入数据库。
[0014]优选地，所述步骤1)具体为：
[0015]101)利用协议解析引擎对DNS流量进行处理，按照标准PDNS数据格式提取相应特征，构造实时PDNS特征数据；
[0016]102)利用爬虫根据时间获取来自PDNS数据供应商的PDNS数据；
[0017]103)利用采集器获取来自实时DNS流量的PDNS特征数据和来自供应商的PDNS特征数据，送到消息队列；
[0018]104)利用DGA域名识别算法、白域名生成算法、CDN服务器列表以及黑名单获取情报黑白名单列表，用于后续过滤使用；
[0019]105)利用分布式数据流处理组件，从消息队列读取相应的PDNS数据流，并使用情报黑白名单列表形成的过滤算法、在线数据扩充算法、离线数据扩充算法对PDNS数据流进行数据特征扩充，补充相关特征向量；
[0020]106)生成特征数据向量流，并写回消息队列的特征数据向量流Topic。
[0021]进一步优选，所述步骤2)具体为：
[0022]201)利用分布式数据流处理组件，读取相应的特征数据向量流；
[0023]202)利用分布式数据流处理组件的滑动时间窗口机制，以预设的滑动时间窗口为检测周期对检测特征数据向量流进行检测统计，以解析的主机IP为分析对象进行汇聚，若解析的主机IP承载了大量的、不重复的主域名，则判定为该服务器为CDN加速服务器，更新CDN服务器列表获取；
[0024]203)利用分布式数据流处理组件的滑动时间窗口机制，以预设的滑动时间窗口为检测周期对检测特征数据向量流进行检测统计，以主域名为分析对象进行汇聚，若主域名包含的子域名具有子域名数量低于指定的阈值且子域名命名符合规范、子域名的活跃度大于指定的阈值等行为时，则过滤这部分特征数据向量流；
[0025]204)生成检测特征数据向量流，并写回消息队列的检测特征数据向量流Topic。
[0026]进一步优选，所述步骤3)具体为：
[0027]301)利用分布式数据流处理组件，读取相应的检测特征数据向量流；
[0028]302)利用分布式数据流处理组件的滑动时间窗口机制，以预设的滑动时间窗口为检测周期对检测特征数据向量流进行检测统计，以主域名为分析对象进行汇聚，提取汇聚结果的统计特征向量，包括子域名与主域名创建时间间隔F1、子域名组建立时间间隔F2、合法子域名的比例F3、子域名长度的多样性F4、IP的地理位置、阴影社区、K-L散度评估、Web关联性；
[0029]303)基于上述统计向量，利用阶段1异常检测模型进行域名阴影可信度评估，并根据可信度的阈值判断数据流是否进入下一阶段；
[0030]304)利用分布式数据流处理组件的滑动时间窗口机制，以预设的滑动时间窗口为
检测周期对检测特征数据向量流进行检测统计，以解析的主机IP为分析对象进行汇聚，提取汇聚结果的统计特征向量，包括K-L散度评估、Web关联性、主机IP承载的疑似域名阴影的数量；
[0031]305)基于步骤304)输出的统计向量，利用阶段2异常检测模型进行域名阴影可信度评估，并根据可信度的阈值判断对子域名进行最终的可信度标注，更新检测特征数据向量流相关字段。
[0032]进一步优选，所述步骤4)具体为：
[0033]401)获取步骤3)得到的检测特征数据向量流；
[0034]402)利用分布式数据流处理组件的滑动时间窗口机制，以预设的滑动时间窗口对判定为可疑域名阴影的检测特征数据向量流根据主域名进行汇聚；
[0035]403)提取疑似域名阴影的主域名、主机IP、受害人或组织以及证据向量，生成域名阴影检测结果向量流；
[0036]404)利用分布式数据流处理组件的数据库写入机制本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DNS解析的域名阴影检测方法，其特征在于，包括如下步骤：1)获取域名解析的DNS原始流量或PDNS数据，解析域名请求的特征数据，对解析后的特征数据进行预处理，获取特征数据向量流；2)以预设的滑动时间窗口为检测周期对特征数据向量流进行检测统计，生成检测特征向量流，所述的检测特征向量流提供两种分析能力，即分别对于同一域名的分析和同一IP的分析；3)利用多阶段异常检测模型组对检测特征向量进行处理，逐步判断子域名是否为疑似域名阴影；4)对疑似域名阴影进行汇聚，输出疑似域名阴影的主域名、主机IP、受害人或组织以及证据向量，并写入数据库。2.如权利要求1所述的基于DNS解析的域名阴影检测方法，其特征在于，所述步骤1)具体为：101)利用协议解析引擎对DNS流量进行处理，按照标准PDNS数据格式提取相应特征，构造实时PDNS特征数据；102)利用爬虫根据时间获取来自PDNS数据供应商的PDNS数据；103)利用采集器获取来自实时DNS流量的PDNS特征数据和来自供应商的PDNS特征数据，送到消息队列；104)利用DGA域名识别算法、白域名生成算法、CDN服务器列表以及黑名单获取情报黑白名单列表，用于后续过滤使用；105)利用分布式数据流处理组件，从消息队列读取相应的PDNS数据流，并使用情报黑白名单列表形成的过滤算法、在线数据扩充算法、离线数据扩充算法对PDNS数据流进行数据特征扩充，补充相关特征向量；106)生成特征数据向量流，并写回消息队列的特征数据向量流Topic。3.如权利要求1所述的基于DNS解析的域名阴影检测方法，其特征在于，所述步骤2)具体为：201)利用分布式数据流处理组件，读取相应的特征数据向量流；202)利用分布式数据流处理组件的滑动时间窗口机制，以预设的滑动时间窗口为检测周期对检测特征数据向量流进行检测统计，以解析的主机IP为分析对象进行汇聚，若解析的主机IP承载了大量的、不重复的主域名，则判定为该服务器为CDN加速服务器，更新CDN服务器列表获取；203)利用分布式数据流处理组件的滑动时间窗口机制，以预设的滑动时间窗口为检测周期对检测特征数据向量流进行检测统计，以主域名为分析对象进行汇聚，若主域名包含的子域名具有子域名数量低于指定的阈值且子域名命名符合规范、子域名的活跃度大于指定的阈值等行为时，则过滤这部分特征数据向量流；204)生成检测特征数据向量流，并写回消息队列的检测特征数据向量流Topic。4.如权利要求1所述的基于DNS解析的域名阴影检测方法，其特征在于，所述步骤3)具体为：301)利用分布式数据流处理组件，读取相应的检测特征数据向量流；302)利用分布式数据流处理组件的滑动时间窗口机制，以预设的滑动时间窗口为检测
周期对检测特征数据向量流进行检测统计，以主域名为分析对象进行汇聚，提取汇聚结果的统计特征向量，包括子域名与主域名创建时间间隔F1、子域名组建立时间间隔F2、合法子域名的比例F3、子域名长度的多样性F4、IP的地理位置、阴影社区、K-L散度评估、Web关联性；303)基于上述统计向量，利用阶段1异常检测模型进行域名阴影可信度评估，并根据可信度的阈值判断数据流是否进入下一阶段；304)利用分布式数据流处理组件的滑动时间窗口机制，以预设的滑动时间窗口为检测周期对检测特征数据向量流进行检测统计，以解析的主机IP为分析对象进行汇聚，提取汇聚结果的统计特征向量，包括K-L散度评估、Web关联性、主机IP承载的疑似域名阴影的数量；305)基于步骤304)输出的统计向量...

【专利技术属性】
技术研发人员：曲武，
申请(专利权)人：北京金睛云华科技有限公司，
类型：发明
国别省市：