【技术实现步骤摘要】
本专利技术属于网络，具体涉及一种基于域名池的黑灰产域名快速发现方法和分析方法及装置。
技术介绍
1、近年来，随着互联网的快速发展，网络黑产日益成为网络治理的重要内容。
2、网络黑产，一般是指借助互联网技术和网络平台，为网络色情、网络赌博、网络诈骗、网络钓鱼等违法活动提供帮助，并从中非法牟利的违法产业。网络灰产，一般是指处于法律灰色地带的“恶意注册”、“虚假认证”、“推广引流类”等不良应用域名，该类域名以降低黑产网站被发现风险、尽大可能增加其网站曝光度为目标，一般采用多层网站跳转、动态变换网站入口、实时检测被处置域名入口等方式，辅助黑产网站内容访问。
3、对于域名本身而言，已经通过实名审核的域名具有技术中立性，仅在被用于违法用途时才能确定该域名应用的违法性。灰产域名由于仅为黑产域名提供访问入口、中间跳转助推服务，所以一般无法通过网页浏览查看复现，灰产域名用于网络黑产取证的复杂性，导致大量灰产域名由于证据链不足而逃避相应的监管和治理。
技术实现思路
1、针对涉黄赌诈等网络黑产规模不断增加，同时交织网络灰产域名，其访问更为隐蔽，导致监测和治理难度不断增加的问题，本专利技术提供一种基于域名池的黑灰产域名的快速发现方法和分析方法及装置。
2、本专利技术采用的技术方案如下：
3、第一方面，本专利技术提供一种基于域名池的黑灰产域名快速发现方法，包括以下步骤：
4、获取域名列表；
5、遍历域名列表，筛选得到高疑似不良域名，并将
6、对高疑似不良域名的网页图像进行聚类，将聚类得到的高相似网页图像集对应的域名定义为域名池，将域名池内的所有域名标记为黑产域名；
7、以黑产域名作为落地域名，在跳转信息表中进行反向检索，获取从入口域名到落地域名的跳转域名，将入口域名、跳转域名加入域名池并标记为灰产域名。
8、可选地，所述获取域名列表，包括：通过公开来源获取通用顶级域名列表，以及获取国家域名列表。
9、可选地，所述筛选得到高疑似不良域名，包括：
10、在初筛模型中预置种子样本，利用基于域名、ip和asn关联关系的图路径算法，计算各域名不良得分；
11、将不良得分在设定的阈值以下的域名认为是低疑似不良域名；
12、若不良得分超过设定的阈值的域名认为是高疑似不良域名。
13、可选地，采用以下步骤得到所述黑色域名：
14、计算高疑似不良域名的网页图像的相似度；
15、将相似度大于等于相似度阈值的网页图像作为高相似网页图像并自动归为一类，每一类定义为一个域名池；
16、将相似度小于相似度阈值的网页图像对应的域名标记为一个新域名池；
17、将域名池中的域名标记为黑产域名。
18、第二方面，本专利技术提供一种基于域名池的黑灰产域名快速发现装置，其包括：
19、域名列表获取模块，用于获取域名列表；
20、域名筛选模块，用于遍历域名列表，筛选得到高疑似不良域名，并将筛选过程中的域名跳转信息存入跳转信息表；
21、黑产域名获取模块，用于对高疑似不良域名的网页图像进行聚类，将聚类得到的高相似网页图像集对应的域名定义为域名池，将域名池内的所有域名标记为黑产域名；
22、灰产域名获取模块，用于以黑产域名作为落地域名，在跳转信息表中进行反向检索，获取从入口域名到落地域名的跳转域名，将入口域名、跳转域名加入域名池并标记为灰产域名。
23、第三方面，本专利技术提供一种基于域名池的黑灰产域名分析方法，包括以下步骤：
24、基于本专利技术的上述方法得到的域名池、黑产域名及灰产域名，建立知识库；
25、基于知识库构建知识图谱；
26、利用知识图谱分析黑产域名、灰产域名的注册和运作规律。
27、可选地，所述基于域名池、黑产域名及灰产域名，建立知识库，包括：基于域名池、黑产域名、灰产域名及其他相关数据，依据域名解析、ns、cname解析、自治系统等技术原理，建立域名库、ip地址库、不良网站库、跳转信息库、域名解析日志库、asn信息库等各类知识库。
28、可选地，所述基于知识库构建知识图谱，包括：基于知识库，搭建关联黑产域名、灰产域名、域名池、解析ip的知识图谱。
29、可选地，所述利用知识图谱分析黑产域名、灰产域名的注册和运作规律，是针对所有域名池数据进行深度挖掘分析，具体包括：设置按照固定时间分类输出网络的黑产域名、灰产域名的动态域名清单；针对同一注册人、注册商名下持有大量域名、相同ip地址被多次解析等重要线索进行重点捕捉监测跟踪，建立注册人、注册商、域名、ip、asn等预警监测清单；通过分析注册时间等因素，掌握新注册黑产域名的注册和运作规律。
30、第四方面，本专利技术提供一种基于域名池的黑灰产域名分析装置，其包括：
31、知识库构建模块，用于基于本专利技术的上述方法得到的域名池、黑产域名及灰产域名，建立知识库；
32、知识图谱构建模块，用于基于知识库构建知识图谱；
33、域名分析模块，用于利用知识图谱分析黑产域名、灰产域名的注册和运作规律。
34、第五方面，本专利技术提供一种计算机设备，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本专利技术方法中各步骤的指令。
35、第六方面，本专利技术提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本专利技术方法的各个步骤。
36、本专利技术的有益效果如下：
37、本专利技术借助图计算、图像相似性及图像聚类分析等技术，通过构建全网域名网站的黑灰产域名快速发现方法和分析方法，能够实现全网域名网站内容进行快速扫描以及取证分析，并通过对黑灰产应用域名线索进行动态跟踪，分类输出网络黑产应用域名、灰产应用动态域名清单。基于生成的网络黑产应用域名清单，相关处置人员可进行网络色情、网络赌博、网络钓鱼等网络黑产应用处置，有效提高治理效率。采用本专利技术的方法，能够针对所有域名池数据进行深度挖掘分析，获取网络黑产动态和技术升级规律，发现更多黑产不良域名线索，进一步提升治理效率，实现不良域名及时判定及处置的工作目标。
本文档来自技高网...【技术保护点】
1.一种基于域名池的黑灰产域名快速发现方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述遍历域名列表，筛选得到高疑似不良域名，包括：
3.根据权利要求1所述的方法，其特征在于，采用以下步骤得到所述黑色域名：
4.一种基于域名池的黑灰产域名快速发现装置，其特征在于，包括：
5.一种基于域名池的黑灰产域名分析方法，其特征在于，包括以下步骤：
6.根据权利要求5所述的方法，其特征在于，所述知识库包括：域名库、IP地址库、不良网站库、跳转信息库、域名解析日志库、ASN信息库；所述知识图谱是关联黑产域名、灰产域名、域名池、解析IP的知识图谱。
7.根据权利要求5所述的方法，其特征在于，所述利用知识图谱分析黑产域名、灰产域名的注册和运作规律，包括：设置按照固定时间分类输出网络的黑产域名、灰产域名的动态域名清单；针对同一注册人、注册商名下持有大量域名、相同IP地址被多次解析等重要线索进行重点捕捉监测跟踪，建立注册人、注册商、域名、IP、ASN等预警监测清单；通过分析注册时间等因素，掌握新注册黑
8.一种基于域名池的黑灰产域名分析装置，其特征在于，包括：
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～3、5～7中任一项所述方法的指令。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～3、5～7中任一项所述的方法。
...【技术特征摘要】
1.一种基于域名池的黑灰产域名快速发现方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述遍历域名列表，筛选得到高疑似不良域名，包括：
3.根据权利要求1所述的方法，其特征在于，采用以下步骤得到所述黑色域名：
4.一种基于域名池的黑灰产域名快速发现装置，其特征在于，包括：
5.一种基于域名池的黑灰产域名分析方法，其特征在于，包括以下步骤：
6.根据权利要求5所述的方法，其特征在于，所述知识库包括：域名库、ip地址库、不良网站库、跳转信息库、域名解析日志库、asn信息库；所述知识图谱是关联黑产域名、灰产域名、域名池、解析ip的知识图谱。
7.根据权利要求5所述的方法，其特征在于，所述利用知识图谱分析黑产域名、灰产域名的注册和运...
【专利技术属性】
技术研发人员：尚秋明，王利军，邓桂英，王鹤子，赫巍，
申请(专利权)人：中国互联网络信息中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。