数据爬取方法、装置、计算机设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种数据爬取方法、装置、计算机设备及计算机可读存储介质，涉及大数据处理，确定目标网站以及待爬取数据特征，获取目标解密算法，基于预设爬虫工具，执行目标解密算法，提取目标数据，生成分析报告并返回，提供一个用户可以直接与预设爬虫工具交互的平台，简化了数据爬取过程，降低了沟通成本，提升了爬取效率。所述方法包括：确定用户选取的目标网站以及待爬取数据特征；获取目标网站对应的目标解密算法；基于预设爬虫工具，执行目标解密算法，对目标网站进行访问；在目标网站中提取与待爬取数据特征匹配的目标数据；根据目标数据生成分析报告，将分析报告返回。本发明专利技术还涉及区块链技术，将所述分析报告存储于区块链中。

【技术实现步骤摘要】
数据爬取方法、装置、计算机设备及计算机可读存储介质
本专利技术涉及大数据处理，特别是涉及一种数据爬取方法、装置、计算机设备及计算机可读存储介质。
技术介绍
随着互联网技术的飞速发展，带来了网络信息量的指数性增长，在网络信息资源充足的条件下，为了快速、针对性获取相关的网络信息，搜索引擎应运而生。搜索引擎是运用特定的计算机程序按照一定的策略自动从互联网上搜集信息，对信息进行组织和处理后提供给用户参考的服务。目前的搜索引擎大多是依赖爬虫工具对相关网站信息进行爬取，由爬虫工具自动浏览网络、分析网页内容，从而获取到用户想要的信息和数据。相关技术中，很多企业运用市面上的开源框架或自行编写爬虫程序作为爬虫工具，当用户有爬虫需求时，向开发人员提供所需信息以及数据的特征，开发人员按照特征对爬虫工具进行一系列的修改以及设置，之后，爬虫工具便可以按照设置的参数进行信息和数据的爬取。在实现本专利技术的过程中，专利技术人发现相关技术至少存在以下问题：爬虫工具与用户之间无交互，需要用户与开发人员沟通自己的需求，每一次不同的爬取需求都需要对爬本文档来自技高网...

【技术保护点】
1.一种数据爬取方法，其特征在于，包括：/n确定用户选取的目标网站以及待爬取数据特征；/n获取所述目标网站对应的目标解密算法，所述目标解密算法用于建立与所述目标网站之间的数据连接；/n基于预设爬虫工具，执行所述目标解密算法，对所述目标网站进行访问；/n在所述目标网站中提取与所述待爬取数据特征匹配的目标数据；/n根据所述目标数据生成分析报告，将所述分析报告返回。/n

【技术特征摘要】
1.一种数据爬取方法，其特征在于，包括：
确定用户选取的目标网站以及待爬取数据特征；
获取所述目标网站对应的目标解密算法，所述目标解密算法用于建立与所述目标网站之间的数据连接；
基于预设爬虫工具，执行所述目标解密算法，对所述目标网站进行访问；
在所述目标网站中提取与所述待爬取数据特征匹配的目标数据；
根据所述目标数据生成分析报告，将所述分析报告返回。


2.根据权利要求1所述的方法，其特征在于，所述确定用户选取的目标网站以及待爬取数据特征之前，所述方法还包括：
当接收到所述用户的数据爬取请求时，获取所述用户的用户标识；
查询所述用户标识绑定的用户权限；
若所述用户权限指示允许所述用户进行数据爬取，则展示参数选取页面，并当检测到所述参数选取页面被确认时，继续在所述参数选取页面上确定所述目标网站以及所述待爬取数据特征；
若所述用户权限指示禁止所述用户进行数据爬取，则展示失败响应，并结束当前流程。


3.根据权利要求1所述的方法，其特征在于，所述确定用户选取的目标网站以及待爬取数据特征之前，所述方法还包括：
接收上传的所述预设爬虫工具的工具安装包，根据所述工具安装包，对所述预设爬虫工具进行安装；
接收上传的至少一个可爬取网站对应的至少一个解密机制描述；
对于所述至少一个解密机制描述中的每个解密机制描述，对所述解密机制描述进行封装，得到解密算法；
确定所述解密机制描述对应的指定可爬取网站，采用所述指定可爬取网站的网站标识对所述解密算法进行标记；
分别对所述至少一个解密机制描述进行封装以及标记，得到至少一个解密算法。


4.根据权利要求1所述的方法，其特征在于，所述基于预设爬虫工具，执行所述目标解密算法，对所述目标网站进行访问，包括：
对所述目标解密算法进行解封操作，得到目标解密机制描述；
按照所述目标解密机制描述的执行指示，运行所述预设爬虫工具，建立与所述目标网站之间的数据连接；
基于所述数据连接，访问所述目标网站。


5.根据权利要求1所述的方法，其特征在于，所述在所述目标网站中提取与所述待爬取数据特征匹配的目标数据，包括：
读取所述目标网站提供...

【专利技术属性】
技术研发人员：王彦葛，
申请(专利权)人：平安健康保险股份有限公司，
类型：发明
国别省市：上海;31