业务数据抓取方法和系统技术方案

本申请公开了业务数据抓取方法和系统，该方法为：配置抓取操作时所需要的规则数据；读取所述规则数据，根据该规则数据建立网页资源抓取任务，将抓取的网页资源按照配置规则分类进行存储；针对抓取到的所述网页资源建立数据解析任务，对抓取的所述网页资源通过解析HTML文档获取需要的资源URI，同时过滤数据不完整的资源；建立资源下载任务，对解析获取到的所述资源URI使用断点续传的方式下载，获得所述资源数据；根据采集到的所述资源数据的完整性进行存储或重新抓取，并在所述抓取操作无法正常结束时发送报告信息。本申请解决了数据采集时花费大量的资源而且不能通过配置相关的信息获取业务数据的问题。

【技术实现步骤摘要】
业务数据抓取方法和系统
本申请涉及数据采集领域，具体地说，是涉及一种业务数据抓取方法和系统。
技术介绍
如今，随着互联网技术的迅速发展，其中蕴含的庞大的数据量和信息量将人们获取信息的方式改变：从传统翻书查阅的方式改变为通过互联网所搜引擎检索。现在人们已经习惯于通过网络获取自己需要的信息。目前，各类互联网产品应运而生，为人们在互联网上提供各类便捷、实用的功能服务，上述物联网产品也通过互联网获取业务数据，其产品中数据的准确性和丰富程度等特性往往决定产品的生命周期。然而，通过搜索引擎所获得的信息，通常是通过网页的形式所展现的，这样的信息只适合于人工检索阅读，但互联网产品却很难进行加工和再利用，同时，检索到的信息量庞大，很难在大量的检索结果中抽取出有用的信息。从而，对于互联网产品，不能采用搜索引擎检索，而是针对互联网中的各种业务数据进行数据采集。但数据采集往往都要花费大量的资源，同时在数据采集时不能通过配置相关的信息获取业务数据，只能修改内部逻辑关系，从而数据采集过程要花费大量时间。然而，数据采集时数据更新的进度快慢和其他因素好坏往往决定了用户对产品的忠诚度，占用资源大、数据更新慢的互联网产本文档来自技高网...

【技术保护点】
一种业务数据抓取方法，其特征在于，包括：配置抓取操作时所需要的规则数据；读取所述规则数据，根据该规则数据建立网页资源抓取任务，将抓取的网页资源按照配置规则分类进行存储；针对抓取到的所述网页资源建立数据解析任务，对抓取的所述网页资源通过解析HTML文档获取需要的资源URI，同时过滤数据不完整的资源；建立资源下载任务，对解析获取到的所述资源URI使用断点续传的方式下载，获得所述资源数据；根据采集到的所述资源数据的完整性进行存储或重新抓取，并在所述抓取操作无法正常结束时发送报告信息。

【技术特征摘要】
1.一种业务数据抓取方法，其特征在于，包括：配置抓取操作时所需要的至少包括资源URI、相关编码、抓取任务触发数据和/或规则模板数据的规则数据，并将配置完成的所述规则数据存储于配置文件中；读取所述规则数据，根据该规则数据建立对应数量的多线程网页资源抓取任务，将抓取的网页资源按照配置规则分类进行存储；针对抓取到的所述网页资源建立数据解析任务，对抓取的所述网页资源通过解析HTML文档获取需要的资源URI及文字内容，并写入存储文件，同时过滤数据不完整的资源，并对DNS解析记录进行缓存处理；根据规则数据建立对应数量的多线程资源下载任务，对解析获取到的所述资源URI使用断点续传的方式下载，获得所述资源数据；判断所述资源数据的完整性，若所述资源数据完整，则将该资源数据进行存储；若所述资源数据不完整，则遍历所述抓取操作中各任务执行时的状态，查找出导致所述资源数据不完整的任务状态，通过重启所述抓取操作从相对应的所述任务状态处进行重新抓取，并在抓取操作无法正常结束时发送错误报告信息，以及在抓取操作正常结束时发送状态报告信息。2.一种业务数据抓取系统，其特征在于，该系统包括：配置模块、抓取处理模块、完整性校验模块以及预警模块；其中，所述配置模块，用于对抓取操作时所需要的至少包括资源URI、相关编码、抓取任务触发数据和/或规则模板数据的规则数据进行配置，并将配置后的所述规则数据以配置文件...

【专利技术属性】
技术研发人员：李正勇，曹东，李建涛，
申请(专利权)人：北京北纬通信科技股份有限公司，
类型：发明
国别省市：