一种网页正文提取方法及装置制造方法及图纸

本发明专利技术公开了一种网页正文提取方法及装置，其通过对至少两个目标网页的正文抽取信息进行比较，并将所述至少两个目标网页的正文抽取信息中比较结果为相同的节点信息确认为网页杂质，所述至少两个目标网页属于同一类型网页；对所述同一类型网页按照所述网页杂质进行杂质信息过滤得到所述网页的正文信息。由于可确定同一类型目标网页的正文抽取信息中的杂质信息，进而根据所述杂质信息，对该同一类型的目标网页的正文抽取信息进行过滤最终可得到更精确的正文信息。

【技术实现步骤摘要】
一种网页正文提取方法及装置
本专利技术涉及互联网
，更具体的说，本专利技术涉及一种网页正文提取方法及装置。
技术介绍
目前，网页正文提取一般采用基于模板的抽取方式或者基于文字密度抽取的方式，即通过选择固定的节点或者根据具有正文特征的节点进行正文抽取。一般的，基于节点选取的正文抽取方案，首先通过网页抓取器抓取网页的源代码信息，然后将网页的源代码信息构建文档对象模型(DOM，DocumentObjectModel)树，然后选取相应的节点提取出正文信息，比如某些网页的正文显示区域会固定在一个节点，则只需要找到这个正文节点，然后取出这个正文节点下的文本即可，但当需要剔除的杂质信息与正文信息紧密排列且在相同正文节点下时，现有技术则无法将杂质信息剔除而得到更精确的网页正文信息。
技术实现思路
鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种网页正文抽取方法和相应的装置。为了解决上述技术问题，本专利技术实施例提供的一种网页正文提取方法，其包括：对至少两个目标网页的正文抽取信息进行比较，并将所述至少两个目标网页的正文抽取信息中比较结果为相同的节点信息确认为网页杂质，所述至少两个目标网页属于同一类型网页；对所述同一类型网页按照所述网页杂质进行杂质信息过滤得到所述网页的正文信息。其中，所述对至少两个目标网页的正文抽取信息进行比较，并将所述至少两个目标网页的正文抽取信息中比较结果为相同的节点信息确认为网页杂质具体包括；提取第一个目标网页的正文抽取信息保存到该第一个目标网页所属类型对应的数据库中进行初始化；提取下一个目标网页的正文抽取信息，并将其中各子节点信息与所述数据库中保存的目标网页的正文抽取信息中各子节点信息进行比较，所述下一个目标网页与所述第一个目标网页属于同一类型网页；将比较结果为相同的子节点信息确认为网页杂质，并将所述下一个目标网页的正文抽取信息保存到数据库中；返回执行提取下一个目标网页的正文抽取信息的步骤，直至遍历所有目标网页。另外，还包括：对保存到数据库中的所有子节点信息设置对应的计数器；根据比较结果，每次将比较结果为相同的子节点信息确定为网页杂质；将比较结果为不同的子节点信息的计数器加一，当计数器的值达到阈值后，数据库中不再保存该计数器对应的子节点信息。其中，所述子节点信息包括文本信息和/或图片；所述将其中各子节点信息与所述数据库中保存的目标网页的正文抽取信息中各子节点信息进行比较是以子节点信息的文本信息的哈希编码值和/或图片链接信息进行比较。另外，还包括：对所述网页杂质设置对应的计数器；当对所述同一类型网页按照所述网页杂质进行杂质信息过滤时，若所述同一类型网页的正文抽取信息中有与所述网页杂质相同的杂质信息时，将对应所述网页杂质的计数器清零，若所述同一类型网页的正文抽取信息中没有与所述网页杂质相同的杂质信息时，将对应所述网页杂质的计数器加一，当计数器的值达到阈值后，不再保存该计数器对应的网页杂质。其中，所述同一类型网页是属于同一微信公众号的网页。根据本专利技术的一方面，本专利技术实施例提供的一种网页正文提取装置，其包括：网页杂质确认处理模块，用于对至少两个目标网页的正文抽取信息进行比较，并将所述至少两个目标网页的正文抽取信息中比较结果为相同的节点信息确认为网页杂质，所述至少两个目标网页属于同一类型网页；过滤处理模块，用于对所述同一类型网页按照所述网页杂质进行杂质信息过滤得到所述网页的正文信息。根据本专利技术的一方面，本专利技术实施例提供的一种用于网页正文提取的装置，其包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：对至少两个目标网页的正文抽取信息进行比较，并将所述至少两个目标网页的正文抽取信息中比较结果为相同的节点信息确认为网页杂质，所述至少两个目标网页属于同一类型网页；对所述同一类型网页按照所述网页杂质进行杂质信息过滤得到所述网页的正文信息。另外，还包括，经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：提取第一个目标网页的正文抽取信息保存到该第一个目标网页所属类型对应的数据库中进行初始化；提取下一个目标网页的正文抽取信息，并将其中各子节点信息与所述数据库中保存的目标网页的正文抽取信息中各子节点信息进行比较，所述下一个目标网页与所述第一个目标网页属于同一类型网页；将比较结果为相同的子节点信息确认为网页杂质，并将所述下一个目标网页的正文抽取信息保存到数据库中；返回执行提取下一个目标网页的正文抽取信息的步骤，直至遍历所有目标网页。另外，还包括：经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：对保存到数据库中的所有子节点信息设置对应的计数器；根据比较结果，每次将比较结果为相同的子节点信息确定为网页杂质；将比较结果为不同的子节点信息的计数器加一，当计数器的值达到阈值后，数据库中不再保存该计数器对应的子节点信息。另外，还包括：经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：所述子节点信息包括文本信息和/或图片；所述将其中各子节点信息与所述数据库中保存的目标网页的正文抽取信息中各子节点信息进行比较是以子节点信息的文本信息的哈希编码值和/或图片链接信息进行比较。另外，还包括：经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：对所述网页杂质设置对应的计数器；当对所述同一类型网页按照所述网页杂质进行杂质信息过滤时，若所述同一类型网页的正文抽取信息中有与所述网页杂质相同的杂质信息时，将对应所述网页杂质的计数器清零，若所述同一类型网页的正文抽取信息中没有与所述网页杂质相同的杂质信息时，将对应所述网页杂质的计数器加一，当计数器的值达到阈值后，不再保存该计数器对应的网页杂质。其中，所述同一类型网页是属于同一微信公众号的网页。根据本专利技术实施例提供的网页正文提取方法及装置，其通过对至少两个目标网页的正文抽取信息进行比较，并将所述至少两个目标网页的正文抽取信息中比较结果为相同的节点信息确认为网页杂质，所述至少两个目标网页属于同一类型网页；对所述同一类型网页按照所述网页杂质进行杂质信息过滤得到所述网页的正文信息。由于可确定同一类型目标网页的正文抽取信息中的杂质信息，进而根据所述杂质信息，对该同一类型的目标网页的正文抽取信息进行过滤最终可得到更精确的正文信息。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。图1是根据一示例性实施本专利技术网页正文提取方法的一个流程图；图2是根据一示例性实施本专利技术网页正文提取方法中确认为网页杂质的一个流程图；图3是根据一示例性实施本专利技术中XX公众号的一个网页文章示意图；图4是根据一示例性实施本专利技术中XX公众号的另一个网页文章示意图；图5是图3和图4的两个网页中两者相同的文本杂质信息示意图；图6是图3和图4的两个网本文档来自技高网...

【技术保护点】
一种网页正文提取方法，其特征在于，包括：对至少两个目标网页的正文抽取信息进行此较，并将所述至少两个目标网页的正文抽取信息中此较结果为相同的节点信息确认为网页杂质，所述至少两个目标网页属于同一类型网页；对所述同一类型网页按照所述网页杂质进行杂质信息过滤得到所述网页的正文信息。

【技术特征摘要】
1.一种网页正文提取方法，其特征在于，包括：对至少两个目标网页的正文抽取信息进行此较，并将所述至少两个目标网页的正文抽取信息中此较结果为相同的节点信息确认为网页杂质，所述至少两个目标网页属于同一类型网页；对所述同一类型网页按照所述网页杂质进行杂质信息过滤得到所述网页的正文信息。2.根据权利要求1所述的方法，其特征在于，所述对至少两个目标网页的正文抽取信息进行此较，并将所述至少两个目标网页的正文抽取信息中此较结果为相同的节点信息确认为网页杂质具体包括：提取第一个目标网页的正文抽取信息保存到该第一个目标网页所属类型对应的数据库中进行初始化；提取下一个目标网页的正文抽取信息，并将其中各子节点信息与所述数据库中保存的目标网页的正文抽取信息中各子节点信息进行此较，所述下一个目标网页与所述第一个目标网页属于同一类型网页；将此较结果为相同的子节点信息确认为网页杂质，并将所述下一个目标网页的正文抽取信息保存到数据库中；返回执行提取下一个目标网页的正文抽取信息的步骤，直至遍历所有目标网页。3.根据权利要求2所述的方法，其特征在于，还包括：对保存到数据库中的所有子节点信息设置对应的计数器；根据此较结果，每次将此较结果为相同的子节点信息确定为网页杂质；将此较结果为不同的子节点信息的计数器加一，当某个计数器的值达到阈值后，数据库中不再保存该计数器对应的子节点信息。4.根据权利要求2所述的方法，其特征在于，所述子节点信息包括文本信息和/或图片；所述将其中各子节点信息与所述数据库中保存的目标网页的正文抽取信息中各子节点信息进行此较是以子节点信息的文本信息的哈希编码值和/或图片链接信息进行此较。5.根据权利要求1所述的方法，其特征在于，还包括：对所述网页杂质设置对应的计数器；当对所述同一类型网页按照所述网页杂质进行杂质信息过滤时，若所述同一类型网页的正文抽取信息中有与所述网页杂质相同的杂质信息时，将对应所述网页杂质的计数器清零，若所述同一类型网页的正文抽取信息中没有与所述网页杂质相同的杂质信息时，将对应所述网页杂质的计数器加一，当某个计数器的值达到阈值后，不再保存该计数器对应的网页杂质。6.根据权利要求1所述的方法，其特征在于，所述同一类型网页是属于同一微信公众号的网页。7.一种网页正文提取装置，其特征在于，包括：网页杂质确认处理模块，用于对至少两个目标网页的正文抽取信息进行此较，并将所述至少两个目标网页的正文抽取信息中此较结果为相同的节点信息确认为网页杂质，所述至少两个目标网页属于同一类型网页；过滤处理模块，用于对所述同一类型网页按照所述网页杂质进行杂质信息过滤得到所述网页的正文信息。8.一种用于网页正文提取的装置，其特征在于，包括有...

【专利技术属性】
技术研发人员：胡又欢，卞维杰，
申请(专利权)人：北京搜狗科技发展有限公司，
类型：发明
国别省市：北京,11