本申请实施例涉及数据抓取技术领域，具体而言，涉及一种数据抓取方法、装置、设备及存储介质，旨在实现对应用程序的请求与响应数据的自动抓取。所述方法包括：前置服务器根据来自于代理服务器的设备标识，对接收到的访问请求进行过滤，所述访问请求为移动终端发出的针对目标应用服务器的访问请求；所述前置服务器将过滤出的携带所述设备标识的访问请求发送给转发服务器；所述转发服务器将携带所述设备标识的访问请求转发给所述目标应用服务器，并接收所述目标应用服务器返回的响应数据；所述转发服务器对携带所述设备标识的访问请求以及所述目标应用服务器返回的响应数据进行监听；所述转发服务器将监听到的数据发送给所述代理服务器。理服务器。理服务器。
【技术实现步骤摘要】
一种数据抓取方法、装置、设备及存储介质
[0001]本申请实施例涉及数据抓取
，具体而言，涉及一种数据抓取方法、装置、设备及存储介质。
技术介绍
[0002]在移动端应用程序的开发测试环节，开发人员需要对应用程序的请求与响应的数据包进行抓取，查看请求与响应的参数的具体情况，这时应用程序开发工作中必不可少的环节，有助于开发人员找到应用程序上的漏洞，及时进行修复与改进。通常对应用程序的请求与响应的数据包进行抓取时，是通过代理端接收手机端的请求，将请求转发至应用服务器，接收应用服务器返回的数据，并转发至手机端，对数据进行抓包时，需要在代理端下载安装抓包工具，在手机端进行配置代理、安装证书等操作。
[0003]现有技术中，每次测试应用程序时，都需要设置代理端，在代理端安装抓包工具，在手机端配置代理、安装证书，操作十分的繁琐，并且通常要求手机与代理端处于同一网段中，测试条件比较严苛，影响测试的效率，对用户也是一种限制。
技术实现思路
[0004]本申请实施例提供一种数据抓取方法、装置、设备及存储介质，旨在实现对应用程序的请求与响应数据的自动抓取。
[0005]本申请实施例第一方面提供一种数据抓取方法，所述方法包括：
[0006]前置服务器根据来自于代理服务器的设备标识，对接收到的访问请求进行过滤，所述访问请求为移动终端发出的针对目标应用服务器的访问请求；
[0007]所述前置服务器将过滤出的携带所述设备标识的访问请求发送给转发服务器；
[0008]所述转发服务器将携带所述设备标识的访问请求转发给所述目标应用服务器，并接收所述目标应用服务器返回的响应数据；
[0009]所述转发服务器对携带所述设备标识的访问请求以及所述目标应用服务器返回的响应数据进行监听；
[0010]所述转发服务器将监听到的数据发送给所述代理服务器。
[0011]可选地，所述方法还包括：
[0012]所述代理服务器获取所述移动终端的设备标识；
[0013]所述代理服务器将所述设备标识推送给所述前置服务器。
[0014]可选地，所述方法还包括：
[0015]所述代理服务器将所述监听到的数据发送给用户设备；
[0016]所述用户设备在浏览器的监听数据展示界面中展示所述监听到的数据。
[0017]可选地，所述方法还包括：
[0018]所述移动终端检测针对用户设备展示的二维码的扫描操作；
[0019]响应于所述扫描操作，向所述代理服务器发送携带所述移动终端的设备标识的请
求；
[0020]所述代理服务器获取移动终端的设备标识，包括：
[0021]所述代理服务器解析携带所述移动终端的设备标识的请求，得到所述移动终端的设备标识。
[0022]可选地，所述前置服务器中预埋有过滤脚本，所述方法还包括：
[0023]所述前置服务器将所述设备标识写入所述过滤脚本中；
[0024]所述前置服务器根据来自于代理服务器的设备标识，对接收到的访问请求进行过滤，包括：
[0025]所述前置服务器运行写入有所述设备标识的过滤脚本，以对接收到的访问请求进行过滤。
[0026]可选地，所述转发服务器中部署有抓取工具；所述转发服务器对携带所述设备标识的访问请求以及所述目标应用服务器返回的响应数据进行监听，包括：
[0027]所述转发服务器运行所述抓取工具，以对携带所述设备标识的访问请求以及所述目标应用服务器返回的响应数据进行抓包操作。
[0028]可选地，所述方法还包括：
[0029]所述前置服务器将不携带所述设备标识的访问请求发送给所述目标应用服务器，并接收所述目标应用服务器返回的响应数据；
[0030]所述前置服务器将所述目标应用服务器返回的响应数据发送给所述移动终端。
[0031]本申请实施例第二方面提供一种数据抓取装置，所述装置包括：
[0032]访问请求过滤模块，用于前置服务器根据来自于代理服务器的设备标识，对接收到的访问请求进行过滤，所述访问请求为移动终端发出的针对目标应用服务器的访问请求；
[0033]访问请求转发模块，用于所述前置服务器将过滤出的携带所述设备标识的访问请求发送给转发服务器；
[0034]请求转发以及数据接收模块，用于所述转发服务器将携带所述设备标识的访问请求转发给所述目标应用服务器，并接收所述目标应用服务器返回的响应数据；
[0035]数据监听模块，用于所述转发服务器对携带所述设备标识的访问请求以及所述目标应用服务器返回的响应数据进行监听；
[0036]监听数据发送模块，用于所述转发服务器将监听到的数据发送给所述代理服务器。
[0037]可选地，所述装置还包括：
[0038]设备标识获取模块，用于所述代理服务器获取所述移动终端的设备标识；
[0039]设备标识推送模块，用于所述代理服务器将所述设备标识推送给所述前置服务器。
[0040]可选地，所述装置还包括：
[0041]代理监听数据发送模块，用于所述代理服务器将所述监听到的数据发送给用户设备；
[0042]监听数据展示模块，用于所述用户设备在浏览器的监听数据展示界面中展示所述监听到的数据。
[0043]可选地，所述装置还包括：
[0044]扫描操作检测模块，用于所述移动终端检测针对用户设备展示的二维码的扫描操作；
[0045]设备标识发送模块，用于响应于所述扫描操作，向所述代理服务器发送携带所述移动终端的设备标识的请求；
[0046]所述设备标识获取模块包括：
[0047]设备标识解析子模块，用于所述代理服务器解析携带所述移动终端的设备标识的请求，得到所述移动终端的设备标识。
[0048]可选地，所述前置服务器中预埋有过滤脚本，所述装置还包括：
[0049]设备标识写入模块，用于所述前置服务器将所述设备标识写入所述过滤脚本中；
[0050]所述访问请求过滤模块包括：
[0051]访问请求过滤子模块，用于所述前置服务器运行写入有所述设备标识的过滤脚本，以对接收到的访问请求进行过滤。
[0052]可选地，所述数据监听模块包括：
[0053]数据抓取子模块，用于所述转发服务器运行所述抓取工具，以对携带所述设备标识的访问请求以及所述目标应用服务器返回的响应数据进行抓包操作。
[0054]可选地，所述装置还包括：
[0055]请求转发模块，用于所述前置服务器将不携带所述设备标识的访问请求发送给所述目标应用服务器，并接收所述目标应用服务器返回的响应数据；
[0056]响应数据转发模块，用于所述前置服务器将所述目标应用服务器返回的响应数据发送给所述移动终端。
[0057]本申请实施例第三方面提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请第一方面所述的方法中的步骤。...
【技术保护点】
【技术特征摘要】
1.一种数据抓取方法，其特征在于，所述方法包括：前置服务器根据来自于代理服务器的设备标识，对接收到的访问请求进行过滤，所述访问请求为移动终端发出的针对目标应用服务器的访问请求；所述前置服务器将过滤出的携带所述设备标识的访问请求发送给转发服务器；所述转发服务器将携带所述设备标识的访问请求转发给所述目标应用服务器，并接收所述目标应用服务器返回的响应数据；所述转发服务器对携带所述设备标识的访问请求以及所述目标应用服务器返回的响应数据进行监听；所述转发服务器将监听到的数据发送给所述代理服务器。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述代理服务器获取所述移动终端的设备标识；所述代理服务器将所述设备标识推送给所述前置服务器。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述代理服务器将所述监听到的数据发送给用户设备；所述用户设备在浏览器的监听数据展示界面中展示所述监听到的数据。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述移动终端检测针对用户设备展示的二维码的扫描操作；响应于所述扫描操作，向所述代理服务器发送携带所述移动终端的设备标识的请求；所述代理服务器获取移动终端的设备标识，包括：所述代理服务器解析携带所述移动终端的设备标识的请求，得到所述移动终端的设备标识。5.根据权利要求1所述的方法，其特征在于，所述前置服务器中预埋有过滤脚本，所述方法还包括：所述前置服务器将所述设备标识写入所述过滤脚本中；所述前置服务器根据来自于代理服务器的设备标识，对接收到的访问请求进行过滤，包括：所述前置服务器运行写入有所述设备标识的过滤脚本，以对接收到的访问请求进行过滤。6.根据权利要求1所...
【专利技术属性】
技术研发人员：邱敬仰，翟维金，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。