用户自由点选配置的网页数据采集方法及系统技术方案

本公开属于计算机技术领域，具体涉及一种用户自由点选配置的网页数据采集方法及系统。该方法包括：接收用户输入的预设网址，根据所述预设网址对与该预设网址对应的第一网页进行分析处理，以将所述第一网页转换为第二网页；其中所述第一网页包括非结构化数据，所述第二网页包括转换后的结构化数据；根据所述第二网页分析整理网页数据，并将整理得到的网页数据显示于预设用户界面上；接收对所述预设用户界面上的网页数据的抓取选择操作，并对被选的网页数据进行自动化采集。本公开对技术人员要求低，用户可简单方便抓取数据，且效率高而成本低。

【技术实现步骤摘要】
用户自由点选配置的网页数据采集方法及系统
本公开涉及计算机
，尤其涉及一种用户自由点选配置的网页数据采集方法及数据采集系统。
技术介绍
近年来互联网发展迅猛，随之而来的数据量越来越大。非结构化公开网页是重要的数据来源，而传统的网页数据抓取，都需要研究网页源代码、抓包工具等各种复杂的功能或编码。目前的网页抓取技术往往需要数据采集人员具备技术背景，且抓取新的网页需要对其结构进行分析，对源网页代码进行分析，这涉及到正则表达式、网络爬虫等专业化知识，对技术人员要求高，抓取效率低。当前市场主流的抓取工具也只是仅仅提供网页的配置方式，仍然需要用户具有一定的网页技术知识背景，没有人机交互的智能傻瓜式操作。另外，新的网页需求又要开发新的抓取程序，网页改版也要做抓取程序的适配，这也导致一些人力财力的浪费。
技术实现思路
本公开的目的在于提供一种用户自由点选配置的网页数据采集方法及数据采集系统，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。根据本公开实施例的第一方面，提供一种用户自由点选配置的网页数据采集方法，该方法包括：接收用户输入的预设网址，根据所述预设网址对与该预设网本文档来自技高网...

【技术保护点】
一种用户自由点选配置的网页数据采集方法，其特征在于，该方法包括：接收用户输入的预设网址，根据所述预设网址对与该预设网址对应的第一网页进行分析处理，以将所述第一网页转换为第二网页；其中所述第一网页包括非结构化数据，所述第二网页包括转换后的结构化数据；根据所述第二网页分析整理网页数据，并将整理得到的网页数据显示于预设用户界面上；接收对所述预设用户界面上的网页数据的抓取选择操作，并对被选的网页数据进行自动化采集。

【技术特征摘要】
1.一种用户自由点选配置的网页数据采集方法，其特征在于，该方法包括：接收用户输入的预设网址，根据所述预设网址对与该预设网址对应的第一网页进行分析处理，以将所述第一网页转换为第二网页；其中所述第一网页包括非结构化数据，所述第二网页包括转换后的结构化数据；根据所述第二网页分析整理网页数据，并将整理得到的网页数据显示于预设用户界面上；接收对所述预设用户界面上的网页数据的抓取选择操作，并对被选的网页数据进行自动化采集。2.根据权利要求1所述采集方法，其特征在于，所述根据所述预设网址对与该预设网址对应的第一网页进行分析处理，以将所述第一网页转换为第二网页的步骤，包括：根据所述预设网址获取所述第一网页，对所述第一网页进行网页模型构建；根据构建的网页模型对所述第一网页进行分析以将所述第一网页转换为所述第二网页。3.根据权利要求2所述采集方法，其特征在于，基于所述网页模型由后台采集引擎智能分析所述第一网页，以去除所述第一网页中无关的预设非结构化数据，进而将所述第一网页转换为结构化数据的所述第二网页。4.根据权利要求1～3任一项所述采集方法，其特征在于，所述对被选的网页数据进行自动化采集的步骤，包括：通过构建数据采集任务在后台实现自动化采集被选的网页数据，并实时将采集的网页数据推送给用户。5.根据权利要求4所述采集方法，其特征在于，所述预设用户界面包括多个用于点选的预设控件，所述网页数据包括多个不同类别的数据，且每个所述预设控件关联一个类别的数据；所述接收对所述预设用户界面上的网页数据的抓取选择操作的步骤，包括：接收对所述预设用户界面上的所述预设控件的触控操作，以将与该预设控件关联的网页数据确定为所述...

【专利技术属性】
技术研发人员：邓健爽，李俊立，
申请(专利权)人：广州市勤思网络科技有限公司，
类型：发明
国别省市：广东,44