【技术实现步骤摘要】
一种爬虫设备业务请求方法、装置和系统
本专利技术涉及互联网
，特别涉及一种爬虫设备业务请求方法、装置和系统。
技术介绍
互联网很多应用都需要使用到爬虫技术，利用爬虫设备，如爬虫机器人代理人工完成一些频繁执行的操作。现在一般的网络部署，都是将机器人部署在外网，但是由于安全问题，大部分运营客户的开发资源是不对外开放的，因此，部署在外网的爬虫设备也就失去了使用这些资源的权限。为解决上述问题，需要重新在公网建立一套开发环境资源，例如：redis集群、MQ集群、RPC调度中心、监控系统。另外一个方面部署在外网的机器人也不安全，需要投入额外的运维、安全防护的精力。
技术实现思路
有鉴于此，本申请提供一种爬虫设备业务请求方法、装置和系统，能够降低成本，提高安全性，以及可用性。为解决上述技术问题，本申请的技术方案是这样实现的：一种爬虫设备业务请求系统，该系统包括：爬虫设备、负载均衡设备、多个代理服务器和多个代理客户端；负载均衡设备，接收到部署在内网的爬虫设备发送的业务请求时，...
【技术保护点】
1.一种爬虫设备业务请求系统，其特征在于，该系统包括：爬虫设备、负载均衡设备、多个代理服务器和多个代理客户端；/n负载均衡设备，接收到部署在内网的爬虫设备发送的业务请求时，若该业务请求携带route cookie，则将所述业务请求发送给所述route cookie对应的代理服务器；/n代理服务器，接收到负载均衡设备发送的业务请求时，确定本地是否存储routecookie和长连接标识的映射关系，如果是，通过对应长连接将所述业务请求发送给对应代理客户端；否则，按照第一预设规则，选择一个长连接并将所述业务请求发送给对应的代理客户端；/n代理客户端，接收到代理服务器发送的业务请求时...
【技术特征摘要】
1.一种爬虫设备业务请求系统，其特征在于，该系统包括：爬虫设备、负载均衡设备、多个代理服务器和多个代理客户端；
负载均衡设备，接收到部署在内网的爬虫设备发送的业务请求时，若该业务请求携带routecookie，则将所述业务请求发送给所述routecookie对应的代理服务器；
代理服务器，接收到负载均衡设备发送的业务请求时，确定本地是否存储routecookie和长连接标识的映射关系，如果是，通过对应长连接将所述业务请求发送给对应代理客户端；否则，按照第一预设规则，选择一个长连接并将所述业务请求发送给对应的代理客户端；
代理客户端，接收到代理服务器发送的业务请求时，向目标站发送所述业务请求。
2.一种爬虫设备业务请求方法，其特征在于，应用于包括爬虫设备、负载均衡设备、多个代理服务器和多个代理客户端的系统中的任一代理服务器上，该方法包括：
接收到负载均衡设备转发的部署在内网的爬虫设备发送的业务请求时，确定本地是否存储所述业务请求携带的routecookie和长连接标识的映射关系，如果是，通过对应长连接将所述业务请求发送给对应代理客户端，使代理客户端向目标站发送所述业务请求；否则，按照第一预设规则，选择一个长连接并将所述业务请求发送给对应的代理客户端，使代理客户端向目标站发送所述业务请求。
3.根据权利要求2所述的方法，其特征在于，
与所述代理客户端建立长连接完成时，存储长连接标识与代理客户端标识的映射关系；其中，一个代理服务器与1个或多个代理终端建立长连接；一个代理客户端与1个或多个代理服务器建立长连接。
4.根据权利要求2所述的方法，其特征在于，所述方法进一步包括：
在按照第一预设规则，选择一个长连接并将所述业务请求发送给对应的代理客户端之后，将所述业务请求中携带的routecookie与选择的长连接的长连接标识建立映射关系，并锁定该长连接标识；
针对一业务请求按照第一预设规则，选择长连接时，在锁定的长连接标识对应的长连接之外的长连接中选择。
5.根据权利要求2所述的方法，其特征在于，所述方法进一步包括：
使代理客户端向目标站发送所述业务请求之前，向目标站发送连接请求；若第一预设时间内未接收到目标站的响应，或者，接收到目标站的拒绝响应，则切换当前使用的IP地址后向目标站发送连接请求；直到在发送连接请求后第一预设时间内接收到所述目标站发送的接受响应时，向所述目标站使用发送该连接请求的IP地址发送所述业务请求。
6.根据权利要求5所述的方法，其特征在于，所述方法进一步包括：
使代理客户端向所述目标站使用发送该连...
【专利技术属性】
技术研发人员：刘佳，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。