一种网页数据获取方法、智能终端及存储介质技术

本发明专利技术公开了一种网页数据获取方法、智能终端及存储介质，所述方法包括：接收访问Nginx的请求，将所述访问Nginx的请求转发到代理的第三方web系统；在进行Nginx配置时，将Nginx的默认用户修改为linux操作系统中权限最高的用户或将抓取到的文件目录所有者修改成Nginx的默认用户；设置请求缓存，按照实际需求在Nginx配置的http段内增加预设大小的缓存，以获取到请求中的文件流；通过Nginx的脚本语言获取请求中的数据和文件流，并将文件流转换为文件保存到本地。本发明专利技术通过Nginx代理目标应用从而截取数据进行分析，无需目标应用提供任何API接口或其他适配操作，有效解决了集成第三方应用尤其是没有提供API接口的数据获取问题。

A Web Data Acquisition Method, Intelligent Terminal and Storage Media

【技术实现步骤摘要】
一种网页数据获取方法、智能终端及存储介质
本专利技术涉及计算机应用
，尤其涉及一种网页数据获取方法、智能终端及存储介质。
技术介绍
在开发平台集成第三方web系统时，一般有两种集成方案，一种是API接口（ApplicationProgrammingInterface,应用程序编程接口）集成，另一种是采用的iframe(一种页面嵌套框架)嵌套页面集成方式。在获取第三方web系统数据时，目前现有技术只有针对API接口集成方式，过程为：服务器先获取目标API的数据流，然后再根据预设的接口信息和数据流的字段的对应关系，在目标API的数据流中特定的字段处提取目标API的接口信息。但在集成一些没提供API接口系统时，就无法使用API接口集成方式，更无法通过API接口获取第三方系统数据，这时就只能采用iframe嵌套页面的方式集成，但由于是直接将第三方web系统通过iframe形式嵌套，相当于直接操作第三方系统，所以也导致无法获取第三方系统的数据；也就是说现有技术存在的问题是：集成第三方web系统（无API接口或无法通过API接口获取操作数据）时的数据无法获取的问题。因此，现有技术还有待于改进和发展。
技术实现思路
本专利技术的主要目的在于提供一种网页数据获取方法、智能终端及存储介质，旨在通过Nginx代理目标应用从而截取数据进行分析，无需目标应用提供任何API接口或其他适配操作，有效解决了集成第三方应用尤其是没有提供API接口的数据获取问题。为实现上述目的，本专利技术提供一种网页数据获取方法，所述网页数据获取方法包括如下步骤：接收访问Nginx的请求，将所述访问Nginx的请求转发到代理的第三方web系统；在进行Nginx配置时，将Nginx的默认用户修改为linux操作系统中权限最高的用户或将抓取到的文件目录所有者修改成Nginx的默认用户；设置请求缓存，按照实际需求在Nginx配置的http段内增加预设大小的缓存，以获取到请求中的文件流；通过Nginx的脚本语言获取请求中的数据和文件流，并将文件流转换为文件保存到本地。可选地，所述的网页数据获取方法，其中，所述接收访问Nginx的请求，将所述访问Nginx的请求转发到代理的第三方web系统包括：接收用户通过浏览器发出的访问Nginx的请求；将所述访问Nginx的请求通过Nginx转发到代理的第三方web系统。可选地，所述的网页数据获取方法，其中，所述在进行Nginx配置时，将Nginx的默认用户修改为linux操作系统中权限最高的用户或将抓取到的文件目录所有者修改成Nginx的默认用户包括：在进行Nginx配置时，预先将Nginx的默认用户修改为linux操作系统中权限最高的用户以读写任何目录和文件；或将保存抓取到的文件目录所有者修改成Nginx的默认用户；在Nginx检测到访问请求时，所述Nginx自动记录日志文件。可选地，所述的网页数据获取方法，其中，所述设置请求缓存，按照实际需求在Nginx配置的http段内增加预设大小的缓存，以获取到请求中的文件流包括：在获取文件流之前，设置请求缓存，在Nginx配置的http段内增加预设大小的缓存；所述缓存大小根据实际需求进行设置和修改，以控制后续操作获取到请求中的文件流。可选地，所述的网页数据获取方法，其中，所述预设大小为300M。可选地，所述的网页数据获取方法，其中，所述设置请求缓存，按照实际需求在Nginx配置的http段内增加预设大小的缓存，以获取到请求中的文件流还包括：当缓存设置小于所述预设大小时，则请求中的文件流被抛弃，后续脚本无法获取到文件流，并无法将文件流保存到磁盘上。可选地，所述的网页数据获取方法，其中，所述通过Nginx的脚本语言获取请求中的数据和文件流，并将文件流转换为文件保存到本地具体为：通过Nginx的lua脚本获取请求中的数据和文件流，并将文件流转换为文件保存到本地。可选地，所述的网页数据获取方法，其中，所述网页数据获取包括上传和下载的文件。此外，为实现上述目的，本专利技术还提供一种智能终端，其中，所述智能终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的网页数据获取程序，所述网页数据获取程序被所述处理器执行时实现如上所述的网页数据获取方法的步骤。此外，为实现上述目的，本专利技术还提供一种存储介质，其中，所述存储介质存储有网页数据获取程序，所述网页数据获取程序被处理器执行时实现如上所述的网页数据获取方法的步骤。本专利技术公开了一种网页数据获取方法、智能终端及存储介质，所述方法包括：接收访问Nginx的请求，将所述访问Nginx的请求转发到代理的第三方web系统；在进行Nginx配置时，将Nginx的默认用户修改为linux操作系统中权限最高的用户或将抓取到的文件目录所有者修改成Nginx的默认用户；设置请求缓存，按照实际需求在Nginx配置的http段内增加预设大小的缓存，以获取到请求中的文件流；通过Nginx的脚本语言获取请求中的数据和文件流，并将文件流转换为文件保存到本地。本专利技术通过Nginx代理目标应用从而截取数据进行分析，无需目标应用提供任何API接口或其他适配操作，有效解决了集成第三方应用尤其是没有提供API接口的数据获取问题。附图说明图1是本专利技术网页数据获取方法的较佳实施例的流程图；图2是本专利技术网页数据获取方法的较佳实施例中步骤S10的流程图；图3是本专利技术网页数据获取方法的较佳实施例中步骤S20的流程图；图4是本专利技术网页数据获取方法的较佳实施例中步骤S30的流程图；图5为本专利技术智能终端的较佳实施例的运行环境示意图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术较佳实施例所述的网页数据获取方法，如图1所示，所述网页数据获取方法包括以下步骤：步骤S10、接收访问Nginx的请求，将所述访问Nginx的请求转发到代理的第三方web系统。具体的过程请参阅图2，其为本专利技术提供的网页数据获取方法中步骤S10的流程图。如图2所示，所述步骤S10包括：S11、接收用户通过浏览器发出的访问Nginx的请求；S12、将所述访问Nginx的请求通过Nginx转发到代理的第三方web系统。具体地，用户通过浏览器发出访问Nginx的请求，系统的地址就是Nginx的地址，只要打开浏览器访问，所有的请求都会到Nginx。通过Nginx反向代理技术转发到第三方web系统代理，Nginx是一个高性能的HTTP和反向代理服务，也是一个IMAP/POP3/SMTP服务，Nginx既可以在内部直接支持Rails和PHP程序对外进行服务，也可以支持作为HTTP代理服务对外进行服务，其特点是占有内存少，并发能力强；本专利技术中，反向代理可以理解为将Nginx当成一个跳板的作用，访问Nginx的请求会被转发到代理的第三方web系统。步骤S20、在进行Nginx配置时，将Nginx的默认用户修改为linux操作系统中权限最高的用户或将抓取到的文件目录所有者修改成Nginx的默认用户。具体的过程请参阅图3，其为本专利技术提供的网页数据获取方法中步骤S20的流程图。如图3所示，所述步骤S20本文档来自技高网...

【技术保护点】
1.一种网页数据获取方法，其特征在于，所述网页数据获取方法包括：接收访问Nginx的请求，将所述访问Nginx的请求转发到代理的第三方web系统；在进行Nginx配置时，将Nginx的默认用户修改为linux操作系统中权限最高的用户或将抓取到的文件目录所有者修改成Nginx的默认用户；设置请求缓存，按照实际需求在Nginx配置的http段内增加预设大小的缓存，以获取到请求中的文件流；通过Nginx的脚本语言获取请求中的数据和文件流，并将文件流转换为文件保存到本地。

【技术特征摘要】
1.一种网页数据获取方法，其特征在于，所述网页数据获取方法包括：接收访问Nginx的请求，将所述访问Nginx的请求转发到代理的第三方web系统；在进行Nginx配置时，将Nginx的默认用户修改为linux操作系统中权限最高的用户或将抓取到的文件目录所有者修改成Nginx的默认用户；设置请求缓存，按照实际需求在Nginx配置的http段内增加预设大小的缓存，以获取到请求中的文件流；通过Nginx的脚本语言获取请求中的数据和文件流，并将文件流转换为文件保存到本地。2.根据权利要求1所述的网页数据获取方法，其特征在于，所述接收访问Nginx的请求，将所述访问Nginx的请求转发到代理的第三方web系统包括：接收用户通过浏览器发出的访问Nginx的请求；将所述访问Nginx的请求通过Nginx转发到代理的第三方web系统。3.根据权利要求1所述的网页数据获取方法，其特征在于，所述在进行Nginx配置时，将Nginx的默认用户修改为linux操作系统中权限最高的用户或将抓取到的文件目录所有者修改成Nginx的默认用户包括：在进行Nginx配置时，预先将Nginx的默认用户修改为linux操作系统中权限最高的用户以读写任何目录和文件；或将保存抓取到的文件目录所有者修改成Nginx的默认用户；在Nginx检测到访问请求时，所述Nginx自动记录日志文件。4.根据权利要求1所述的网页数据获取方法，其特征在于，所述设置请求缓存，按照实际需求在Nginx配置的...

【专利技术属性】
技术研发人员：严根花，廖兴龙，王磊，
申请(专利权)人：北京智游网安科技有限公司，
类型：发明
国别省市：北京,11