【技术实现步骤摘要】
访问网站的处理方法、装置、设备及存储介质
本专利技术实施例涉及互联网
,尤其涉及一种访问网站的处理方法、装置、设备及存储介质。
技术介绍
随着网络的迅速发展,互联网成为大量信息的载体,人们可以通过互联网获取需要的各种各样的信息,随着人们需求的不断提高,各种生活和娱乐等方面的服务需要监测互联网各网站的信息,比如为用户提供比价服务,需要监控各电商网站的价格浮动,再比如为用户提供舆情服务,需要监测搜索引擎、新闻门户、论坛、博客、微博、微信、报刊、视频等的舆情。实现网站信息的监控通常采用网络爬虫技术。网络爬虫,是一种按照一定规则,自动地抓取互联网信息的程序或者脚本,可以自动采集所有其能够访问到的网站页面内容。但是,当前存在一种反爬虫机制,针对被识别为爬虫的请求,网站会对请求的用户IP进行封锁拒绝该用户IP的请求。现有技术中,为了减少被封锁的风险,通常是通过代理IP进行访问。但是现有的获取代理IP的渠道有限,免费代理IP时效较短,购买稳定代理IP成本较高,从而导致无法有效地访问网站,无法从网站爬取信息。
技术实现思路
本专利技术实施例提供一种访问网站的处理方法、装置、设备及存储介质,以解决现有技术代理IP时效短,无法有效爬取网站信息等缺陷。第一个方面,本专利技术实施例提供一种访问网站的处理方法,包括:中继节点组中的节点接收终端发送的加密数据,所述加密数据包括加密的目标网站访问请求;对所述加密数据进行解密,获得目标网站访问请求;根据所述目标网站访问请求访问 ...
【技术保护点】
1.一种访问网站的处理方法,其特征在于,包括:/n中继节点组中的节点接收终端发送的加密数据,所述加密数据包括加密的目标网站访问请求;/n对所述加密数据进行解密,获得目标网站访问请求;/n根据所述目标网站访问请求访问目标网站,并返回访问结果数据。/n
【技术特征摘要】
1.一种访问网站的处理方法,其特征在于,包括:
中继节点组中的节点接收终端发送的加密数据,所述加密数据包括加密的目标网站访问请求;
对所述加密数据进行解密,获得目标网站访问请求;
根据所述目标网站访问请求访问目标网站,并返回访问结果数据。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
随机确定至少两个节点;
所述对所述加密数据进行解密,获得目标网站访问请求,包括:
所述至少两个节点中的第i节点进行第i重解密,i=1,2,…,N-1,N为加密数据的加密次数;
所述至少两个节点中的第N节点进行第N重解密,获得目标网站访问请求。
3.根据权利要求2所述的方法,其特征在于,所述对所述加密数据进行解密,获得目标网站访问请求,包括:
第i节点采用第N-i+1密钥对应的公钥进行解密,获得N-i重加密数据,i=1,2,…,N-1;
第N节点采用第一密钥对应的公钥进行解密,获得所述目标网站访问请求。
4.根据权利要求1-3任一项所述的方法,其特征在于,在中继节点组中的节点接收终端发送的加密数据之前,所述方法还包括:
中继节点组中的第一节点接收所述终端发送的第一连接请求,并返回第N密钥,所述第一连接请求包括所述终端的建立连接的第一参数;
所述第一节点接收所述终端发送的第i加密数据,所述第i加密数据包括经第i密钥、第i+1密钥、…、第N密钥加密的建立连接的第i+1参数,所述第一节点采用与所述第N密钥对应的公钥对所述第i加密数据进行解密,并发送给第二节点,第j节点采用与第N-j+1密钥对应的公钥解密后发送给第j+1节点,j=2,…,N-1,第N节点返回第一密钥,并经第N-1节点、第N-2节点、…、第一节点返回给所述终端,i=1,2,3,…,N-1。
5.一种访问网站的处理方法,其特征在于,包括:
在通过中继节点组与目标网站建立连接后,向所述中继节点组发送加密数据,以使所述中继节点组对所述加密数据进行解密后获得目标网站访问请求,并访问目标网站;所述加密数据包括加密的目标网站访问请求;
接收所述中继节点组返回的访问结果数据。
6.根据权利要求5所述的方法,其特征在于,所述加密数据包括采用第一密钥、…、第N密钥进行N次加密的目标网站访问请求,N为大于1的整数;
在向所述中继节点组发送加密数据之前,所述方法还包括:
向所述中继节点组的第一节点发送第一连接请求,并接收所述中继节点组返回的第N密钥,所述第一连接请求包括终端的建立连接的第一参数;
向所述第一节点发送第i加密数据,...
【专利技术属性】
技术研发人员:王森,
申请(专利权)人:北京沃东天骏信息技术有限公司,北京京东世纪贸易有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。