一种基于深度学习的网页类型智能识别方法及系统技术方案

本发明专利技术提供了一种基于深度学习的网页类型智能识别方法及系统，包括：搜集不同类型网页数据，标记每个网页类别，并对每个网页进行预处理，得到训练集数据；对训练集中的数据，利用深度学习算法构建深度学习模型；对每个测试的网页进行预处理将所得到的数据输入所述深度学习模型，得到该测试网页的网页类型。同时，本发明专利技术还提供了一种基于深度学习的网页类型智能识别系统。采用本发明专利技术实施例，能够提高网页智能分类的准确率。

【技术实现步骤摘要】
一种基于深度学习的网页类型智能识别方法及系统
本专利技术属于互联网信息采集的
，尤其涉及一种基于深度学习的网页类型智能识别方法及系统。
技术介绍
网页类型识别是数据采集系统的关键步骤。在网页数据采集的过程中，为了提高数据采集的效率，通过对网页的类型进行识别，比如在一个网页采集后解析内容之前，要先通过源码对其判断网页的类型，是属于栏目、翻页、专题还是文章，针对不同的类型，调用不同的内容抽取算法，从而提高内容抽取的准确度，如果没有有效办法去识别网页类型，对网页的更新频率计算、文章栏目标记、正文自动抽取都是极大的干扰。目前，对网页类型的识别大多采取如下方法：传统的网页分类方法，利用人工设定识别规则如设置多种不同类型的网页模板、网页特征(如结构特征、语义特征)对网页进行分类识别或者基于其他非深度学习的机器学习方法对网页类型进行识别。传统的网页分类方法，需要人工找特征，非常麻烦，并且特征的确定具有明显人为的因素，分类精度也不高。传统机器学习复杂在于两点：1.冷启动：学习前没有特征参数，需要专家知识的梳理和注入，即特征的确定办法和计算办法。2.训练过程的参数降维，超参数的迭代。如今，深度学本文档来自技高网...

【技术保护点】
1.一种基于深度学习的网页类型智能识别方法，该方法包括以下步骤：S1、输入待分类识别网页；S2、深度学习分类模型对输入网页进行分类识别，得到所述待分类识别网页的类别信息；所述深度学习分类模型通过以下步骤得到：S2.1、获取标记有类别的网页数据集；S2.2、筛选训练网页集和测试网页集；S2.3、对网页进行预处理操作；S2.4、深度学习分类模型计算；S2.5、深度学习模型验证。

【技术特征摘要】
1.一种基于深度学习的网页类型智能识别方法，该方法包括以下步骤：S1、输入待分类识别网页；S2、深度学习分类模型对输入网页进行分类识别，得到所述待分类识别网页的类别信息；所述深度学习分类模型通过以下步骤得到：S2.1、获取标记有类别的网页数据集；S2.2、筛选训练网页集和测试网页集；S2.3、对网页进行预处理操作；S2.4、深度学习分类模型计算；S2.5、深度学习模型验证。2.根据权利要求1所述基于深度学习的网页类型智能识别方法，其特征在于：所述对网页进行预处理操作，进一步包括：S2.3.1、获取网页的HTML源代码；S2.3.2、网页净化：把一个网页中对分类没有影响或者影响分类效果的部分内容去掉；S2.3.3、文本序列化处理：将输入的网页文本的标签、短链接文字进行保留，将超过一定长度L的长链接文字使用字母进行标记，将长度超过M字的文本的每个字用特殊符号代替，将超过长度N的文本用N个特殊符号代替，得到处理后的文本序列；其中，对长链接文字进行标记的字母与特殊符号不同，L、M、N为整数，L＜M＜N；S2.3.4、矩阵转换：将文本序列转变为一个二维矩阵。3.根据权利要求1所述基于深度学习的网页类型智能识别方法，其特征在于：所述深度学习分类模型计算，进一步包括：S2.4.1、深度学习算法选择；S2.4.2、设置训练参数；S2.4.3、得到深度学习分类模型。4.根据权利要求3所述基于深度学习的网页类型智能识别方法，其特征在于：所述深度学习算法为卷积神经网络算法CNN；训练参数包括每次迭代误差取1％，学习率取0.001。5.根据权利要求1所述基于深度学习的网页类型智能识别方法，其特征在于：所述深度学习模型验证包括：将测试网页数据输入学习得到的深度学习分类模型，判断模型输出的结果是否与测试网页的类型一致；如果不一致，则验证不通过，则将测试集数据假如训练集继续训练，同时，选择新的测试集；如果一致则通过验证，得到最终的深度学习分类模型。6.一种基于深度学...

【专利技术属性】
技术研发人员：汪敏，刘鹏飞，李伦凉，李绪祥，王静，尹娜，
申请(专利权)人：北京开普云信息科技有限公司，广东开普云信息科技股份有限公司，
类型：发明
国别省市：北京,11