一种网页信息的提取方法及装置制造方法及图纸

本发明专利技术实施例公开了一种网页信息的提取方法及装置。所述网页信息的提取方法包括：根据目标标签的类别所对应的处理规则对所述目标标签进行预处理，得到预处理文档；根据预设标签符号对所述预处理文档进行截断；根据截断后的预处理文档确定网页正文内容。现有技术中需要针对目标网页进行训练，得到目标网页的提取模型因此网页信息提取的通用性差。本发明专利技术实施例根据目标标签的类别所对应的处理规则对所述目标标签进行预处理，由于不需要针对某种网页样本进行训练建立提取模型，因此无需进行训练，降低提取成本。此外，由于标签在HTML文档中具有通用性，因此能够提高网页信息提取的通用性。

【技术实现步骤摘要】

本专利技术实施例涉及互联网信息处理技术，尤其涉及一种网页信息的提取方法及装置。
技术介绍
互联网已经成为目前全球规模最大的信息源，互联网中包含了大量的有价值的信息，如何快速准确的从互联网页上获取用户或应用感兴趣的信息即互联网信息抽取技术已经得到相关研究者的广泛关注。在实际中，网站经营商为了追求利润，通常在网页正文中插入大量各种形式的广告，现有技术的网页信息提取方法是通过建立提取模型实现提取网页信息的目的，这些方法针对特定的网页样本才能实现网页信息提取，使得网页信息的提取通用性差。
技术实现思路
本专利技术提供一种网页信息的提取方法及装置，以提高网页信息提取的通用性。第一方面，本专利技术实施例提供了一种网页信息的提取方法，该网页信息的提取方法包括：根据目标标签的类别所对应的处理规则对所述目标标签进行预处理，得到预处理文档；根据预设标签符号对所述预处理文档进行截断；根据截断后的预处理文档确定网页正文内容。进一步地，所述根据目标标签的类别所对应的处理规则对所述目标标签的内容进行预处理，包括：如果目标标签的类别为外部标签，则删除所述外部标签和所述外部标签包含的内容；如果目标标签的类别为内容修饰标签，则删除所述内容修饰标签，保留所述内容修饰标签包含的内容；如果目标标签的类别为布局定界标签，则将所述布局定界标签的属性替换为预设标签标识。进一步地，所述根据预设标签符号对所述预处理文档进行截断，包括：根据预设标签符号对所述预处理文档进行截断，得到多个文本段；将所述多个文本段分别存储到预设数据结构的多个数据单元中，所述预设数据结构为数组结构或链表结构，所述文本段与所述数据单元一一对应；相应的，所述根据截断后的预处理文档确定网页正文内容，包括：对所述数据单元中的文本段进行合并得到网页正文内容。进一步地，在对所述数据单元中的文本段进行合并得到网页正文内容之前，还包括：从所述预设数据结构中滤除文本长度小于文本长度阈值的数据单元。进一步地，所述从所述预设数据结构中滤除文本长度小于文本长度阈值的数据单元，包括：若目标数据单元的文本段长度小于所述文本长度阈值，且所述数据单元前后相邻的数据单元的文本段长度均大于所述文本长度阈值，则保留所述目标数据单元。进一步地，在对所述数据单元中的文本段进行合并得到网页正文内容之前，还包括：若目标数据单元的文本段长度大于所述文本长度阈值，且所述目标数据单元的文本段内容中包含预设版权符号，则获取所述目标数据单元的文本段中，所述预设版权符号前后相邻的子文本段的长度，若所述预设版权符号前后相邻的任意一个子文本段的长度小于所述文本长度阈值，则滤除所述目标数据单元。第二方面，本专利技术实施例还提供了一种网页信息的提取装置，该网页信息的提取装置包括：目标标签预处理模块，用于根据目标标签的类别所对应的处理规则对所述目标标签进行预处理，得到预处理文档；截断模块，用于根据预设标签符号对所述预处理文档进行截断；正文内容确定模块，用于根据截断后的预处理文档确定网页正文内容。进一步地，所述目标标签预处理模块，具体用于：如果目标标签的类别为外部标签，则删除所述外部标签和所述外部标签包含的内容；如果目标标签的类别为内容修饰标签，则删除所述内容修饰标签，保留所述内容修饰标签包含的内容；如果目标标签的类别为布局定界标签，则将所述布局定界标签的属性替换为预设标签标识。进一步地，所述截断模块，具体用于：根据预设标签符号对所述预处理文档进行截断，得到多个文本段；将所述多个文本段分别存储到预设数据结构的多个数据单元中，所述预设数据结构为数组结构或链表结构，所述文本段与所述数据单元一一对应；相应的，所述根据截断后的预处理文档确定网页正文内容，包括：对所述数据单元中的文本段进行合并得到网页正文内容。进一步地，所述网页信息的提取装置，还包括：滤除模块，用于从所述预设数据结构中滤除文本长度小于文本长度阈值的数据单元。进一步地，所述滤除模块，具体用于：若目标数据单元的文本段长度小于所述文本长度阈值，且所述目标数据单元前后相邻的数据单元的文本段长度均大于所述文本长度阈值，则保留所述目标数据单元。进一步地，所述滤除模块，还用于：若目标数据单元的文本段长度大于所述文本长度阈值，且所述目标数据单元的文本段内容中包含预设版权符号，则获取所述目标数据单元的文本段中，所述预设版权符号前后相邻的子文本段的长度，若所述预设版权符号前后相邻的任意一个子文本段的长度小于所述文本长度阈值，则滤除所述目标数据单元。本专利技术实施例中，首先根据目标标签的类别所对应的处理规则对所述目标标签进行预处理，得到预处理文档，然后根据预设标签符号对所述预处理文档进行截断，最后根据截断后的预处理文档确定网页正文内容。现有技术中需要针对目标网页进行训练，得到目标网页的提取模型，然后根据得到的提取模型对目标网页进行提取，由于方法针对特定的网页样本才能实现网页信息提取，因此网页信息提取的通用性差。本专利技术实施例根据目标标签的类别所对应的处理规则对所述目标标签进行预处理，能够从HTML表示的网页中滤除与网页信息无关的干扰信息；根据预设标签符号对所述预处理文档进行截断，并根据截断后的预处理文档确定网页正文内容，能够将网页正文内容从含有预设标签符号的文档进行提取。由于不需要针对某种网页样本进行训练建立提取模型，因此无需进行训练，降低提取成本。此外，由于标签在HTML文档中具有通用性，因此本专利技术提供的基于标签的网页正文内容进行提取技术方案，能够提高网页信息提取的通用性。附图说明图1是本专利技术实施例一中的一种网页信息的提取方法的流程图；图2是本专利技术实施例二中的一种网页信息的提取方法的流程图；图3是本专利技术实施例三中的一种网页信息的提取方法的流程图；图4是本专利技术实施例四中的一种网页信息的提取装置的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的一种网页信息的提取方法的流程图，本实施例可适用于对互联网中网页文本信息提取的应用场景中，该方法可以由服务器来执行。如图1所述，该网页信息的提取方法具体包括如下步骤：步骤S110，根据目标标签的类别所对应的处理规则对所述目标标签进行预处理，得到预处理文档。其中，目标标签可以是超文本标记语言(HyperTextMarkupLanguage,HTML)标签，HTML是标准通用标记语言下的一个应用，超文本指的是页面内可以包括图片、链接、程序或音乐等非文字内容，HTML的结构可包括“头(head)”部分和“主体(body)”部分，其中head部分提供关于网页的信息，body部分提供网页的具体内容。目标标签的类别可以外部标签、内容修饰标签和布局定界标签，在一个相对规范的HTML网页中，外部标签可以是在body外部使用的标签，内容修饰标签可以是用于修饰内容和限定格式的标签，布局定界标签可以是除了外部标签和内容修饰标签之外的标签。在本应用场景下，根据目标标签的类别所对应的处理规则对所述目标标签进行预处理，得到预处理文档的基本方法可以是：如果目标标签的类别为外部标签，则删除外部标签和外部标本文档来自技高网...

【技术保护点】
一种网页信息的提取方法，其特征在于，包括：根据目标标签的类别所对应的处理规则对所述目标标签进行预处理，得到预处理文档；根据预设标签符号对所述预处理文档进行截断；根据截断后的预处理文档确定网页正文内容。

【技术特征摘要】
1.一种网页信息的提取方法，其特征在于，包括：根据目标标签的类别所对应的处理规则对所述目标标签进行预处理，得到预处理文档；根据预设标签符号对所述预处理文档进行截断；根据截断后的预处理文档确定网页正文内容。2.根据权利要求1所述的网页信息的提取方法，其特征在于，所述根据目标标签的类别所对应的处理规则对所述目标标签的内容进行预处理，包括：如果目标标签的类别为外部标签，则删除所述外部标签和所述外部标签包含的内容；如果目标标签的类别为内容修饰标签，则删除所述内容修饰标签，保留所述内容修饰标签包含的内容；如果目标标签的类别为布局定界标签，则将所述布局定界标签的属性替换为预设标签标识。3.根据权利要求1所述的网页信息的提取方法，其特征在于，所述根据预设标签符号对所述预处理文档进行截断，包括：根据预设标签符号对所述预处理文档进行截断，得到多个文本段；将所述多个文本段分别存储到预设数据结构的多个数据单元中，所述预设数据结构为数组结构或链表结构，所述文本段与所述数据单元一一对应；相应的，所述根据截断后的预处理文档确定网页正文内容，包括：对所述数据单元中的文本段进行合并得到网页正文内容。4.根据权利要求3所述的网页信息提取方法，其特征在于，在对所述数据单元中的文本段进行合并得到网页正文内容之前，还包括：从所述预设数据结构中滤除文本长度小于文本长度阈值的数据单元。5.根据权利要求4所述的网页信息提取方法，其特征在在于，所述从所述预设数据结构中滤除文本长度小于文本长度阈值的数据单元，包括：若目标数据单元的文本段长度小于所述文本长度阈值，且所述目标数据单元前后相邻的数据单元的文本段长度均大于所述文本长度阈值，则保留所述目标数据单元。6.根据权利要求4所述的网页信息提取方法，其特...

【专利技术属性】
技术研发人员：王江，
申请(专利权)人：北京锐安科技有限公司，
类型：发明
国别省市：北京;11