访问网站的处理方法、装置、设备及存储介质制造方法及图纸

技术编号:26226555 阅读:26 留言:0更新日期:2020-11-04 11:04
本发明专利技术实施例提供一种访问网站的处理方法、装置、设备及存储介质,该方法包括:中继节点组中的节点接收终端发送的加密数据,所述加密数据包括加密的目标网站访问请求;对所述加密数据进行解密,获得目标网站访问请求;根据所述目标网站访问请求访问目标网站,并返回访问结果数据。保证了终端IP对目标网站的隐匿性,避免被识别为爬虫IP被封锁,从而使得终端可以长期稳定地访问目标网站爬取信息,解决了现有技术因IP被封锁或时效短导致无法长期稳定访问目标网站的问题。

【技术实现步骤摘要】
访问网站的处理方法、装置、设备及存储介质
本专利技术实施例涉及互联网
,尤其涉及一种访问网站的处理方法、装置、设备及存储介质。
技术介绍
随着网络的迅速发展,互联网成为大量信息的载体,人们可以通过互联网获取需要的各种各样的信息,随着人们需求的不断提高,各种生活和娱乐等方面的服务需要监测互联网各网站的信息,比如为用户提供比价服务,需要监控各电商网站的价格浮动,再比如为用户提供舆情服务,需要监测搜索引擎、新闻门户、论坛、博客、微博、微信、报刊、视频等的舆情。实现网站信息的监控通常采用网络爬虫技术。网络爬虫,是一种按照一定规则,自动地抓取互联网信息的程序或者脚本,可以自动采集所有其能够访问到的网站页面内容。但是,当前存在一种反爬虫机制,针对被识别为爬虫的请求,网站会对请求的用户IP进行封锁拒绝该用户IP的请求。现有技术中,为了减少被封锁的风险,通常是通过代理IP进行访问。但是现有的获取代理IP的渠道有限,免费代理IP时效较短,购买稳定代理IP成本较高,从而导致无法有效地访问网站,无法从网站爬取信息。
技术实现思路
本专利技术实施例提供一种访问网站的处理方法、装置、设备及存储介质,以解决现有技术代理IP时效短,无法有效爬取网站信息等缺陷。第一个方面,本专利技术实施例提供一种访问网站的处理方法,包括:中继节点组中的节点接收终端发送的加密数据,所述加密数据包括加密的目标网站访问请求;对所述加密数据进行解密,获得目标网站访问请求;根据所述目标网站访问请求访问目标网站,并返回访问结果数据。可选地,所述方法还包括:随机确定至少两个节点;所述对所述加密数据进行解密,获得目标网站访问请求,包括:所述至少两个节点中的第i节点进行第i重解密,i=1,2,…,N-1,N为加密数据的加密次数;所述至少两个节点中的第N节点进行第N重解密,获得目标网站访问请求。可选地,所述对所述加密数据进行解密,获得目标网站访问请求,包括:第i节点采用第N-i+1密钥对应的公钥进行解密,获得N-i重加密数据,i=1,2,…,N-1;第N节点采用第一密钥对应的公钥进行解密,获得所述目标网站访问请求。可选地,在中继节点组中的节点接收终端发送的加密数据之前,所述方法还包括:中继节点组中的第一节点接收所述终端发送的第一连接请求,并返回第N密钥,所述第一连接请求包括所述终端的建立连接的第一参数;所述第一节点接收所述终端发送的第i加密数据,所述第i加密数据包括经第i密钥、第i+1密钥、…、第N密钥加密的建立连接的第i+1参数,所述第一节点采用与所述第N密钥对应的公钥对所述第i加密数据进行解密,并发送给所述第二节点,第j节点采用与所述第N-j+1密钥对应的公钥解密后发送给所述第j+1节点,j=2,…,N-1,第N节点返回第一密钥,并经第N-1节点、第N-2节点、…、第一节点返回给所述终端,i=1,2,3,…,N-1。第二个方面,本专利技术实施例提供一种访问网站的处理方法,包括:在通过中继节点组与目标网站建立连接后,向所述中继节点组发送加密数据,以使所述中继节点组对所述加密数据进行解密后获得目标网站访问请求,并访问目标网站;所述加密数据包括加密的目标网站访问请求;接收所述中继节点组返回的访问结果数据。可选地,所述加密数据包括采用第一密钥、…、第N密钥进行N次加密的目标网站访问请求,N为大于1的整数;在向所述中继节点组发送加密数据之前,所述方法还包括:向所述中继节点组的第一节点发送第一连接请求,并接收所述中继节点组返回的第N密钥,所述第一连接请求包括终端的建立连接的第一参数;向所述第一节点发送第i加密数据,以使所述第一节点对所述第i加密数据进行解密后发送给第二节点,由第j节点解密后发送给第j+1节点,j=2,…,i,由第i+1节点返回第N-i密钥;接收所述中继节点组返回的所述第N-i密钥;其中,所述第i加密数据包括经第i密钥、第i+1密钥、…、第N密钥加密的建立连接的第i+1参数,i=1,2,3,…,N-1。可选地,在向所述中继节点组发送加密数据之前,所述方法还包括:生成目标网站访问请求;依次采用预先获得的至少两个密钥对所述目标网站访问请求进行至少两次加密,获得所述加密数据。可选地,在向所述中继节点组发送加密数据之前,所述方法还包括:访问目录服务器获取所述中继节点组的节点信息。第三个方面,本专利技术实施例提供一种访问网站的处理装置,包括:第一接收模块,用于接收终端发送的加密数据,所述加密数据包括加密的目标网站访问请求;解密模块,用于对所述加密数据进行解密,获得目标网站访问请求;访问模块,用于根据所述目标网站访问请求访问目标网站,并返回访问结果数据。可选地,访问模块,还用于随机确定至少两个节点;所述解密模块,具体用于作为第i节点时,进行第i重解密,i=1,2,…,N-1,N为加密数据的加密次数;作为第N节点时,进行第N重解密,获得目标网站访问请求。可选地,所述解密模块,具体用于:作为第i节点时,采用第N-i+1密钥对应的公钥进行解密,获得N-i重加密数据,i=1,2,…,N-1;作为第N节点时,采用第一密钥对应的公钥进行解密,获得所述目标网站访问请求。可选地,所述第一接收模块,还用于:作为第一节点时,接收所述终端发送的第一连接请求,并返回第N密钥,所述第一连接请求包括所述终端的建立连接的第一参数;所述第一接收模块,还用于:作为第一节点时,接收所述终端发送的第i加密数据,采用与所述第N密钥对应的公钥对所述第i加密数据进行解密,并发送给第二节点;所述解密模块,还用于:作为第j节点时,采用与第N-j+1密钥对应的公钥解密后发送给第j+1节点,j=2,…,N-1,所述解密模块,还用于,作为第N节点时,返回第一密钥,并经第N-1节点、第N-2节点、…、第一节点返回给所述终端,i=1,2,3,…,N-1;所述第i加密数据包括经第i密钥、第i+1密钥、…、第N密钥加密的建立连接的第i+1参数。第四个方面,本专利技术实施例提供一种访问网站的处理装置,包括:第一发送模块,用于在通过中继节点组与目标网站建立连接后,向所述中继节点组发送加密数据,以使所述中继节点组对所述加密数据进行解密后获得目标网站访问请求,并访问目标网站;所述加密数据包括加密的目标网站访问请求;第二接收模块,用于接收所述中继节点组返回的访问结果数据。可选地,所述加密数据包括采用第一密钥、…、第N密钥进行N次加密的目标网站访问请求,N为大于1的整数;所述第一发送模块,还用于向所述中继节点组的第一节点发送第一连接请求,所述第一连接请求包括所述终端的建立连接的第一参数;所述第二接收模块,还用于接收所述中继节点组返回的第N密钥;所述第一发送模块,还用于向所述第一节点发送第i加密数据,以使所述第一节点本文档来自技高网...

【技术保护点】
1.一种访问网站的处理方法,其特征在于,包括:/n中继节点组中的节点接收终端发送的加密数据,所述加密数据包括加密的目标网站访问请求;/n对所述加密数据进行解密,获得目标网站访问请求;/n根据所述目标网站访问请求访问目标网站,并返回访问结果数据。/n

【技术特征摘要】
1.一种访问网站的处理方法,其特征在于,包括:
中继节点组中的节点接收终端发送的加密数据,所述加密数据包括加密的目标网站访问请求;
对所述加密数据进行解密,获得目标网站访问请求;
根据所述目标网站访问请求访问目标网站,并返回访问结果数据。


2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
随机确定至少两个节点;
所述对所述加密数据进行解密,获得目标网站访问请求,包括:
所述至少两个节点中的第i节点进行第i重解密,i=1,2,…,N-1,N为加密数据的加密次数;
所述至少两个节点中的第N节点进行第N重解密,获得目标网站访问请求。


3.根据权利要求2所述的方法,其特征在于,所述对所述加密数据进行解密,获得目标网站访问请求,包括:
第i节点采用第N-i+1密钥对应的公钥进行解密,获得N-i重加密数据,i=1,2,…,N-1;
第N节点采用第一密钥对应的公钥进行解密,获得所述目标网站访问请求。


4.根据权利要求1-3任一项所述的方法,其特征在于,在中继节点组中的节点接收终端发送的加密数据之前,所述方法还包括:
中继节点组中的第一节点接收所述终端发送的第一连接请求,并返回第N密钥,所述第一连接请求包括所述终端的建立连接的第一参数;
所述第一节点接收所述终端发送的第i加密数据,所述第i加密数据包括经第i密钥、第i+1密钥、…、第N密钥加密的建立连接的第i+1参数,所述第一节点采用与所述第N密钥对应的公钥对所述第i加密数据进行解密,并发送给第二节点,第j节点采用与第N-j+1密钥对应的公钥解密后发送给第j+1节点,j=2,…,N-1,第N节点返回第一密钥,并经第N-1节点、第N-2节点、…、第一节点返回给所述终端,i=1,2,3,…,N-1。


5.一种访问网站的处理方法,其特征在于,包括:
在通过中继节点组与目标网站建立连接后,向所述中继节点组发送加密数据,以使所述中继节点组对所述加密数据进行解密后获得目标网站访问请求,并访问目标网站;所述加密数据包括加密的目标网站访问请求;
接收所述中继节点组返回的访问结果数据。


6.根据权利要求5所述的方法,其特征在于,所述加密数据包括采用第一密钥、…、第N密钥进行N次加密的目标网站访问请求,N为大于1的整数;
在向所述中继节点组发送加密数据之前,所述方法还包括:
向所述中继节点组的第一节点发送第一连接请求,并接收所述中继节点组返回的第N密钥,所述第一连接请求包括终端的建立连接的第一参数;
向所述第一节点发送第i加密数据,...

【专利技术属性】
技术研发人员:王森
申请(专利权)人:北京沃东天骏信息技术有限公司北京京东世纪贸易有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1