一种基于元搜索的隐藏服务发现方法技术

本发明专利技术公开了一种基于元搜索的隐藏服务发现方法，其步骤包括：1)根据设定的初始关键词进行搜索，并将搜索结果页面中的链接加入集合U中；2)根据设定的隐藏服务地址匹配规则从该集合U中提取匹配的隐藏服务地址并加入到集合V中；3)访问集合V中的每一地址，提取各地址对应网页中的链接并加入到一集合L中；4)访问集合L的每一地址，根据设定的隐藏服务地址匹配规则提取各地址对应网页中匹配的链接作为隐藏服务地址并加入到一集合H中；5)将该集合H中的地址作为隐藏服务地址输出。本发明专利技术摆脱了匿名网络协议的限制，并且体现出了良好的效果，提高了隐藏服务发现。

A hidden service discovery method based on Meta Search

【技术实现步骤摘要】
一种基于元搜索的隐藏服务发现方法
本专利技术涉及一种基于元搜索的隐藏服务发现方法，属于网络通信

技术介绍
匿名通信技术最早起源于1981年DavidChaum提出的Mix网络的概念。随后从Mix网络的设计理念而衍生出来的Tor、I2p等匿名通信系统在匿名通信领域大放异彩，成为了保障用户互联网隐私的有效技术手段。用户作为客户端访问互联网，匿名通信系统能够保证客户端的匿名性，使得服务端无法对客户端进行溯源，从而达到对用户的隐私保护目的。随着匿名通信技术近年来的快速发展，现有的匿名通信系统不仅保证客户端的匿名访问，也已经能够保证服务端的匿名性，即服务端位置如同客户端位置一样不可溯源。这种服务被称作隐藏服务，具有代表性的隐藏服务有Tor网络中的HiddenService和I2p网络中的Eepsite等，隐藏服务中的web服务在信息安全领域通常被称作暗网(Darkweb)。暗网本身是一把双刃剑，作为服务的提供者，暗网隐藏服务在保障了自身的隐私安全的同时，这些在暗网中的非法内容甚至构成了比隐私安全还要严重的安全威胁。据2013年卡巴斯基实验室报告，Tor网络中的暗网隐藏服务已经成了僵尸网络、恶意软件指令服务器和网络黑市的庇护所。随着暗网中非法活动的日益猖獗，针对隐藏服务的发现显得越来越有必要，是匿名网络领域中一个越来越重要的研究方向。本专利技术针对匿名网络之上的隐藏服务，提出了一种基于元搜索引擎的隐藏服务发现方法，并对该方法进行了相应的理论分析，最后通过实验论证了该方法的可行性与高效性。当前对隐藏服务地址的发现都需要遵循相关匿名网络的协议来进行发现。以TorHiddenService为例，当前HiddenService地址发现的一般过程为在Tor网络中部署具有日志记录功能的HSDir节点，当节点获得的HSDir记录标签之后，通过日志的方式将发布在该节点之上的隐藏服务地址记录下来，从而达到地址发现的目的。这样的方式往往具有较大的资源消耗，必须遵循匿名网络的相关协议，并且发现地址的数量受限于节点部署的数量。
技术实现思路
针对现有技术中存在的技术问题，为了发现匿名网络中的隐藏服务地址，本专利技术提出一种基于元搜索引擎的隐藏服务发现方法。本专利技术适用的对象包括TorHiddenService、I2PEepSite、ZeronetZsite三种暗网服务地址的发现本专利技术采用了匿名网络协议之外的方法，摆脱了匿名网络协议的限制，并且体现出了良好的效果，大大提高了隐藏服务发现能力。本专利技术提出了关键词搜索算法，并设计了针对于不同匿名网络的搜索关键词。本专利技术的技术方案为：一种基于元搜索的隐藏服务发现方法，其步骤包括：1)根据设定的初始关键词进行搜索，并将搜索结果页面中的链接加入集合U中；2)根据设定的隐藏服务地址匹配规则从该集合U中提取匹配的隐藏服务地址并加入到集合V中；3)访问集合V中的每一地址，提取各地址对应网页中的链接并加入到一集合L中；4)访问集合L的每一地址，根据设定的隐藏服务地址匹配规则提取各地址对应网页中匹配的链接作为隐藏服务地址并加入到一集合H中；5)将该集合H中的地址作为隐藏服务地址输出。进一步的，Tor网络的隐藏服务地址的匹配规则为：^[A-Za-z0-9]{16}.onion$。进一步的，I2P网络的隐藏服务地址的匹配规则为：^([A-Za-z0-9]{52}.b32)|([A-Za-z0-9]+).i2p$。进一步的，Zeronet网络中的隐藏服务地址的匹配规则为：^([a-km-zA-HJ-NP-Z1-9]{34})|([A-Za-z0-9]+.bit)$。进一步的，用于获取Tor网络隐藏服务地址的初始关键词为site:tor2web.org、site:tor2web.fi、site:torstorm.org、site:onion.city、site:onion.to、site:onion.cab、site:onion.direct、site:onion.lt、site:onion.nu、site:tor2web.blutmagie.de。进一步的，用于获取I2P网络隐藏服务地址的初始关键词为：site:i2p、site:i2p.xyz。进一步的，用于获取Zeronet网络隐藏服务地址的初始关键词为：site:bit.no。进一步的，对于集合U、集合L和集合V中的地址进行在线验证，根据在线状态筛选出有效的、可访问的隐藏服务地址。进一步的，对于集合H中的每一地址，根据设定的隐藏服务地址匹配规则提取各地址对应网页中匹配的链接作为隐藏服务地址并加入到一集合H(i)中；对于集合H(i)中的每一地址，根据设定的隐藏服务地址匹配规则提取各地址对应网页中匹配的链接作为隐藏服务地址并加入到一集合H(i+1)中，迭代执行，直至集合H(i+1)中地址数量相对集合H(i)中地址数量变化小于设定比例，或者集合H(i+1)中地址数量与一固定值N之差小于设定阈值。附图说明图1为本专利技术的方法流程图；图2为算法执行次数与收集地址总数在不同f值下的关系图；图3为算法执行次数与地址收集总数的理论与实际关系图。具体实施方式下面结合附图对本专利技术的技术方案做进一步的详细说明。首先指出基于元搜索引擎能够发现匿名网络隐藏服务的基础。以TorHiddenService为例，由于2008年A.Swartz等人发起的Tor2web项目的开展，使得部分Tor暗网站点能够以代理服务的形式通过表层网络入口进行访问，这样促使了商业搜索引擎对部分Tor暗网站点信息索引的构建。同时，一些个人维护的Tor暗网黄页类型的表层网页同样记录有Tor暗网的地址，也能够被商业搜索引擎所索引。这样就提供给了利用商业搜索引擎提供的信息检索服务来发现隐藏服务地址的突破口。同时其他匿名网络也拥有类似于Tor2Web的相关项目，如I2PEepSite的I2P.XYZ，Zeronet的bit.no。本专利技术的方法流程如图1所示，在具体实施中，本专利技术选取了一些特殊的关键词作为查询入口并进行搜索，提取搜索结果页面中的隐藏服务地址并作为关键词再进行迭代搜索。具体的算法描述如算法1所示。算法1关键词搜索算法输入：关键词集合S输出：隐藏服务地址集合H1.S表示搜索关键词集合2.U表示第一次检索返回的网址集合3.V表示U中的隐藏服务地址集合4.whilei<|S|5.在搜索引擎中搜索关键词集合S中的第i个关键词，将搜索结果中的链接加入U6.利用正则式匹配onion提取集合U中符合设定规则的地址作为隐藏服务的地址加入到V；隐藏服务的地址特征较为明显，可以通过正则表达式提取，如Tor中的隐藏服务地址，由16个随机的数字或字母组成，使用.onion域名。7.endwhile8.L表示第二次检索返回的地址集合9.whi本文档来自技高网...

【技术保护点】
1.一种基于元搜索的隐藏服务发现方法，其步骤包括：/n1)根据设定的初始关键词进行搜索，并将搜索结果页面中的链接加入集合U中；/n2)根据设定的隐藏服务地址匹配规则从该集合U中提取匹配的隐藏服务地址并加入到集合V中；/n3)访问集合V中的每一地址，提取各地址对应网页中的链接并加入到一集合L中；/n4)访问集合L的每一地址，根据设定的隐藏服务地址匹配规则提取各地址对应网页中匹配的链接作为隐藏服务地址并加入到一集合H中；/n5)将该集合H中的地址作为隐藏服务地址输出。/n

【技术特征摘要】
1.一种基于元搜索的隐藏服务发现方法，其步骤包括：
1)根据设定的初始关键词进行搜索，并将搜索结果页面中的链接加入集合U中；
2)根据设定的隐藏服务地址匹配规则从该集合U中提取匹配的隐藏服务地址并加入到集合V中；
3)访问集合V中的每一地址，提取各地址对应网页中的链接并加入到一集合L中；
4)访问集合L的每一地址，根据设定的隐藏服务地址匹配规则提取各地址对应网页中匹配的链接作为隐藏服务地址并加入到一集合H中；
5)将该集合H中的地址作为隐藏服务地址输出。


2.如权利要求1所述的方法，其特征在于，Tor网络的隐藏服务地址的匹配规则为：
^[A-Za-z0-9]{16}.onion$。


3.如权利要求1所述的方法，其特征在于，I2P网络的隐藏服务地址的匹配规则为：
^([A-Za-z0-9]{52}.b32)|([A-Za-z0-9]+).i2p$。


4.如权利要求1所述的方法，其特征在于，Zeronet网络中的隐藏服务地址的匹配规则为：
^([a-km-zA-HJ-NP-Z1-9]{34})|([A-Za-z0-9]+.bit)$。


5.如权利要求1所述的方法，其特征在于，用于获取Tor网络隐藏服务地址的初始关键词为site:tor2web.org、site:tor2...

【专利技术属性】
技术研发人员：王学宾，时金桥，李全刚，尹泽林，赵璨，高悦，陈牧谦，王美琪，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：北京;11