本申请提供一种基于网页的样本数据获取方法、装置、设备及存储介质，其中，基于网页的样本数据获取方法包括：基于目标网页的URL访问所述目标网页，并在所述目标网页访问成功时获取所述目标网页的网页源码；基于第一解码格式识别所述网页源码的内容；判断所述网页源码的内容是否为乱码内容；当所述网页源码的内容为乱码内容时，则基于所述第二解码格式对所述网页源码的内容进行识别，直至所述网页源码的内容为正确；基于所述网页源码的内容得到样本数据。本申请能够实现在获取网页内容而生成样本数据的过程中，提高服务器资源利用率和提高生成样本数据的执行速度。生成样本数据的执行速度。生成样本数据的执行速度。
【技术实现步骤摘要】
基于网页的样本数据获取方法、装置、设备及存储介质
[0001]本申请涉及计算机
，具体而言，涉及一种基于网页的样本数据获取方法、装置、设备及存储介质。
技术介绍
[0002]目前，为了对网站进行分类需要获取针对网站分类的样本数据，而现有技术是利用调度器、下载器、爬虫、实体管道、Scrapy引擎五大组件对web站点进行抓取，并从页面中提取结构化的数据，最终得到样本数据，其中，现有技术的具体实现过程是：对一个站点配置启动地址，Scrapy运行时首先会从启动地址抓取，并根据配置中的XPath或者正则获取页面中的目标URL，然后在再次进行访问，如此循环，通过下载器对访问的URL地址结果进行处理，提取内容，并将处理好的内容数据持久化存库。
[0003]然而，由于Scrapy爬虫框架的运行是依据启动地址，并在本站点的页面中进行网络式爬取，然后对爬取到的符合要求的URL再次进行访问，并对提取到的内容做处理，最后进行存库，因此对已有URL地址并需要快速并发地提取到内容的需求场景，该方案并不适合，并在爬虫框架的频繁启动造成CPU和内存等资源的浪费，且在数据清洗方面，该爬虫框架中并没有提供对提取到的内容做更深入处理的方法。
技术实现思路
[0004]本申请实施例的目的在于提供一种基于网页的样本数据获取方法、装置、设备及存储介质，用以至少实现在获取网页内容而生成样本数据的过程中，提高服务器资源利用率和提高生成样本数据的执行速度。
[0005]为此，本申请第一方面公开一种基于网页的样本数据获取方法，所述方法包括：基于目标网页的URL访问所述目标网页，并在所述目标网页访问成功时获取所述目标网页的网页源码；基于第一解码格式识别所述网页源码的内容；判断所述网页源码的内容是否为乱码内容；当所述网页源码的内容为乱码内容时，则基于所述第二解码格式对所述网页源码的内容进行识别，直至所述网页源码的内容为正确；基于所述网页源码的内容得到样本数据。
[0006]在本申请第一方面中，作为一种可选的实施方式，在所述基于第一解码格式识别所述网页源码的内容之前，所述方法还包括：当基于所述目标网页的URL访问所述目标网页失败时，更换访问所述目标网页的IP地址；基于更换后的IP地址和目标网页的URL访问所述目标网页。
[0007]在本申请第一方面中，作为一种可选的实施方式，所述基于所述网页源码的内容得到样本数据，包括：
去除所述网页源码的内容中的第一HMTL元素标签，并得到第一页面处理结果；基于所述第一页面处理结果，提取第二HMTL元素标签的文字内容；将所述第二HMTL元素标签的文字内容，作为所述样本数据。
[0008]在本申请第一方面中，作为一种可选的实施方式，所述第一HMTL元素标签至少包括JS代码片段标签、CSS样式标签。
[0009]在本申请第一方面中，作为一种可选的实施方式，在所述基于所述第一页面处理结果，提取第二HMTL元素标签的文字内容之前，所述方法还包括：将所述第一页面处理结果中的网页换行符转换为普通文本换行符；将所述第一页面处理结果中的连续空白符和连续的换行符合并。
[0010]在本申请第一方面中，作为一种可选的实施方式，在所述基于所述网页源码的内容得到样本数据之后，所述方法还包括：基于所述目标网页的URL，将所述样本数据存入预设数据库中。
[0011]在本申请第一方面中，作为一种可选的实施方式，在所述基于所述目标网页的URL，将所述样本数据存入预设数据库中之前，所述方法还包括：计算所述样本数据的MD5 Hash；基于所述样本数据的MD5 Hash，判断所述预设数据库是否存在MD5 Hash相同的历史数据，若是则删除所述样本数据。
[0012]本申请第二方面公开一种基于网页的样本数据获取装置，所述装置包括：网页源码获取模块，用于基于目标网页的URL访问所述目标网页，并在所述目标网页访问成功时获取所述目标网页的网页源码；第一识别模块，用于基于第一解码格式识别所述网页源码的内容；判断模块，用于判断所述网页源码的内容是否为乱码内容；第二识别模块，当所述网页源码的内容为乱码内容时，则基于所述第二解码格式对所述网页源码的内容进行识别，直至所述网页源码的内容为正确；样本生成模块，用于基于所述网页源码的内容得到样本数据。
[0013]本申请第三方面公开一种计算机设备，所述设备包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，执行本申请第一方面的基于网页的样本数据获取方法。
[0014]本申请第四方面公开一种存储介质，所述存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本申请第一方面的基于网页的样本数据获取方法。
[0015]与现有技术相比，本申请具有如下有益技术效果：本申请能够在获取网页源码内容的过程中，通过目标网页的URL访问可直接的、并发访问目标网页，相比现有技术利用Scrapy爬虫框架获取网页内容过程，需要依据启动地址，并在网站的页面中进行网络式爬取，而对爬取到的符合要求的URL再次进行访问而言，本申请不需要依据启动地址，并在网站的页面中进行网络式爬取，进而可避免依据启动地址并在网站的页面中进行网络式爬取所导致的浪费服务器硬件资源、执行速度慢这一缺陷，从而具有能够提高服务器资源利用率、提高生成样本数据的执行速度的优点。
附图说明
[0016]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0017]图1是本申请实施例公开的一种基于网页的样本数据获取方法的流程示意图；图2是本申请实施例公开的一种基于网页的样本数据获取装置的结构示意图；图3是本申请实施例公开的一种计算机设备的结构示意图。
具体实施方式
[0018]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
[0019]实施例一请参阅图1，图1是本申请实施例公开的一种基于网页的样本数据获取方法的流程示意图。如图1所示，本申请实施例的方法包括以下步骤：101、基于目标网页的URL访问目标网页，并在目标网页访问成功时获取目标网页的网页源码；102、基于第一解码格式识别网页源码的内容；103、判断网页源码的内容是否为乱码内容；104、当网页源码的内容为乱码内容时，则基于第二解码格式对网页源码的内容进行识别，直至网页源码的内容为正确；105、基于网页源码的内容得到样本数据。
[0020]本申请实施例在获取网页源码内容的过程中，一方面通过目标网页的URL访问可直接的、并发访问目标网页，相比现有技术利用Scrapy爬虫框架获取网页内容过程，需要依据启动地址，并在网站的页面中进行网络式爬取，而对爬取到的符合要求的URL再次进行访问而言，本申请实施例不需要依据启动地址，并在本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于网页的样本数据获取方法，其特征在于，所述方法包括：基于目标网页的URL访问所述目标网页，并在所述目标网页访问成功时获取所述目标网页的网页源码；基于第一解码格式识别所述网页源码的内容；判断所述网页源码的内容是否为乱码内容；当所述网页源码的内容为乱码内容时，则基于第二解码格式对所述网页源码的内容进行识别，直至所述网页源码的内容为正确；基于所述网页源码的内容得到样本数据。2.如权利要求1所述的方法，其特征在于，在所述基于第一解码格式识别所述网页源码的内容之前，所述方法还包括：当基于所述目标网页的URL访问所述目标网页失败时，更换访问所述目标网页的IP地址；基于更换后的IP地址和目标网页的URL访问所述目标网页。3.如权利要求1所述的方法，其特征在于，所述基于所述网页源码的内容得到样本数据，包括：去除所述网页源码的内容中的第一HMTL元素标签，并得到第一页面处理结果；基于所述第一页面处理结果，提取第二HMTL元素标签的文字内容；将所述第二HMTL元素标签的文字内容，作为所述样本数据。4.如权利要求3所述的方法，其特征在于，所述第一HMTL元素标签至少包括JS代码片段标签、CSS样式标签。5.如权利要求3所述的方法，其特征在于，在所述基于所述第一页面处理结果，提取第二HMTL元素标签的文字内容之前，所述方法还包括：将所述第一页面处理结果中的网页换行符转换为普通文本换行符；将所述第一页面处理结果中的连续空白符和连续的换行符合并。6.如权利要求1所述的方法，其特征在于，在所述基于所...
【专利技术属性】
技术研发人员：童兆丰，樊兴华，薛锋，
申请(专利权)人：北京微步在线科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。