一种基于图像识别的网页数据解析方法及系统技术方案

本发明专利技术公开了一种基于图像识别的网页数据解析方法及系统，包括以下步骤，安装python开发模块；通过所述python开发模块安装selenium库和pytesseract库；安装浏览器并下载相应版本的浏览器驱动文件；利用所述selenium库驱动所述浏览器访问目标网站，并对目标数据进行截图；通过所述pytesseract库对截图进行图像识别；解析出所述目标数据，解决了现有技术中对动态加载HTML和加密HTML难解析的问题，完美规避了直接解析HTML而引发的难题。

A web page data analysis method and system based on image recognition

【技术实现步骤摘要】
一种基于图像识别的网页数据解析方法及系统
本专利技术涉及计算机数据内容提取的
，尤其涉及一种基于图像识别的网页数据解析方法及系统。
技术介绍
python是一种跨平台的计算机程序设计语言，简单易用，pyselenium是python语言实现的浏览器控制模块，可以使用pyselenium驱动浏览器完成一系列操作，pytesseract是python的一个图像识别库，可以识别图像上的文字。现有的爬虫技术方案是通过使用网络请求库请求目标网页，拿到目标网页的静态页面内容HTML后，再使用正则表达式或解析库对HTML数据进行解析的。但现在大多数的网站都对爬虫进行限制，一些反爬虫措施如动态加载、数据加密，导致了传统的爬虫方案无法爬取到目标网站的数据。
技术实现思路
本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。鉴于上述现有网站HTML内容解析技术存在的问题，提出了本专利技术。因此，本专利技术解决的技术问题是：解决动态加载HTML和加密HTML难解析的问题。为解决上述技术问题，本专利技术提供如下技术方案：一种基于图像识别的网页数据解析方法，包括以下步骤：安装python开发模块；通过所述python开发模块安装selenium库和pytesseract库；安装浏览器并下载相应版本的浏览器驱动文件；利用所述selenium库驱动所述浏览器访问目标网站，并对目标数据进行截图；通过所述pytesseract库对截图进行图像识别；解析出所述目标数据。作为本专利技术所述的基于图像识别的网页数据解析方法的一种优选方案，其中：所述python开发模块选择python3.5.4版本。作为本专利技术所述的基于图像识别的网页数据解析方法的一种优选方案，其中：安装所述selenium库和所述pytesseract库具体包括如下步骤，调用所述python开发模块；终端输入pip安装命令；安装所述selenium库和所述pytesseract库。作为本专利技术所述的基于图像识别的网页数据解析方法的一种优选方案，其中：所述selenium库选择selenium3.14.1库。作为本专利技术所述的基于图像识别的网页数据解析方法的一种优选方案，其中：所述pytesseract库选择pytesseract0.3.0库。作为本专利技术所述的基于图像识别的网页数据解析方法的一种优选方案，其中：所述浏览器选择79.0.3945.36版本谷歌浏览器，并下载相应驱动文件。为解决上述技术问题，本专利技术还提供如下技术方案：一种基于图像识别的网页数据解析系统，包括安装模块，所述安装模块用于安装python开发模块、selenium库、pytesseract库、浏览器及浏览器驱动文件；控制模块，所述控制模块(200)使用所述selenium库和所述pytesseract库的功能组合编写完成所述浏览器的控制、截图和OCR识别解析目标数据。作为本专利技术所述的基于图像识别的网页数据解析系统的一种优选方案，其中：所述控制模块具体包括，驱动单元，用于利用所述selenium库驱动所述浏览器访问目标网站；截图单元，使用所述selenium库内置的截图功能对所述目标数据进行截图；图像识别单元，使用所述pytesseract库对截图进行图像识别；解析单元，用于对图像识别后的所述目标数据进行解析。本专利技术的有益效果：本专利技术在对网站HTML内容进行解析的过程中结合图像识别功能，直接从截图中识别数据，模拟人眼，实现所见即可用的功能，解决了现有技术中对动态加载HTML和加密HTML难解析的问题，完美规避了直接解析HTML而引发的难题。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：图1为本专利技术提供的基于图像识别的网页数据解析方法的流程图；图2为本专利技术提供的基于图像识别的网页数据解析系统的模块图；图3为本专利技术提供的方案与现有技术的流程对比图；图4为现有技术存在的问题示意图；图5为采用本专利技术进行网页数据解析的系统运行的流畅度曲线图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本专利技术的具体实施方式做详细的说明，显然所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术的保护的范围。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是本专利技术还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下做类似推广，因此本专利技术不受下面公开的具体实施例的限制。其次，此处所称的“一个实施例”或“实施例”是指可包含于本专利技术至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。本专利技术结合示意图进行详细描述，在详述本专利技术实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本专利技术保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。同时在本专利技术的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。本专利技术中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。实施例1请参阅图1、图3～5，为本专利技术提供的基于图像识别的网页数据解析方法的第一个实施例：一种基于图像识别的网页数据解析方法，包括以下步骤：安装python开发模块；通过python开发模块安装selenium库和pytesseract库；安装浏览器并下载相应版本的浏览器驱动文件；利用selenium库驱动浏览器访问目标网站，并对目标数据进行截图；通过pytesseract库对截图进行图像识别；解析出目标数据。其中，在官网本文档来自技高网...

【技术保护点】
1.一种基于图像识别的网页数据解析方法，其特征在于：包括，/n安装python开发模块；/n通过所述python开发模块安装selenium库和pytesseract库；/n安装浏览器并下载相应版本的浏览器驱动文件；/n利用所述selenium库驱动所述浏览器访问目标网站，并对目标数据进行截图；/n通过所述pytesseract库对截图进行图像识别；/n解析出所述目标数据。/n

【技术特征摘要】
1.一种基于图像识别的网页数据解析方法，其特征在于：包括，
安装python开发模块；
通过所述python开发模块安装selenium库和pytesseract库；
安装浏览器并下载相应版本的浏览器驱动文件；
利用所述selenium库驱动所述浏览器访问目标网站，并对目标数据进行截图；
通过所述pytesseract库对截图进行图像识别；
解析出所述目标数据。


2.根据权利要求1所述的基于图像识别的网页数据解析方法，其特征在于：所述python开发模块选择python3.5.4版本。


3.根据权利要求1所述的基于图像识别的网页数据解析方法，其特征在于：安装所述selenium库和所述pytesseract库具体包括，
调用所述python开发模块；
终端输入pip安装命令；
安装所述selenium库和所述pytesseract库。


4.根据权利要求1或3所述的基于图像识别的网页数据解析方法，其特征在于：所述selenium库选择selenium3.14.1库。


5.根据权利要求1或3所述的基于图像识别的网页数据解...

【专利技术属性】
技术研发人员：李成广，
申请(专利权)人：的卢技术有限公司，
类型：发明
国别省市：江苏;32