【技术实现步骤摘要】
一种网页正文的识别处理方法及装置
本专利技术涉及计算机
，具体涉及一种网页正文的识别处理方法及装置。
技术介绍
当前网页正文提取主要采用DOM(DocumentObjectModel，文档对象模型)解析网页HTML(HyperTextMarkupLanguage，超文本标记语言)源码，把HTML解析为一个树结构。通过分析树结构，并基于一定的设定规则提取网页正文。但是，网页HTML结构千变万化，每一个网页设计都不一样，例如电商和新闻报道的网站结构就很不相同。因此，现有的网页正文的提取方法稳定性太低，对有些类型的网页提取准确，而对另一些类型的网页提取则不准确，可能提取到网页边缘的一些信息，泛化能力不强。
技术实现思路
由于现有方法存在上述问题，本专利技术实施例提出一种网页正文的识别处理方法及装置。第一方面，本专利技术实施例提出一种网页正文的识别处理方法，包括：获取待识别网页的网页源码，清除所述网页源码中所有的网页标签，得到包括空白行的网页文本；根据空白行对所述网页文本进行...
【技术保护点】
1.一种网页正文的识别处理方法，其特征在于，包括：/n获取待识别网页的网页源码，清除所述网页源码中所有的网页标签，得到包括空白行的网页文本；/n根据空白行对所述网页文本进行分块，得到若干个文字区块，各文字区块之间为空白行；/n统计各文字区块的文字数量，根据各文字区块的文字数量确定网页正文的边界，并根据网页正文的边界识别所述待识别网页中的网页正文。/n
【技术特征摘要】
1.一种网页正文的识别处理方法，其特征在于，包括：
获取待识别网页的网页源码，清除所述网页源码中所有的网页标签，得到包括空白行的网页文本；
根据空白行对所述网页文本进行分块，得到若干个文字区块，各文字区块之间为空白行；
统计各文字区块的文字数量，根据各文字区块的文字数量确定网页正文的边界，并根据网页正文的边界识别所述待识别网页中的网页正文。
2.根据权利要求1所述的网页正文的识别处理方法，其特征在于，所述根据各文字区块的文字数量确定网页正文的边界，具体包括：
根据当前文字区块的文字数量与上一个文字区块的文字数量，计算得到当前文字区块与上一个文字区块的文字数量差值；
若所述文字数量差值大于阈值，则确定当前文字区块的起始位置或上一个文字区块的结束位置为网页正文的边界。
3.根据权利要求2所述的网页正文的识别处理方法，其特征在于，所述若所述文字数量差值大于阈值，则确定当前文字区块的起始位置或上一个文字区块的结束位置为网页正文的边界，具体包括：
若所述文字数量差值为正数，则确定当前文字区块的起始位置为网页正文的开始边界；
若所述文字数量差值为负数，则确定上一个文字区块的结束位置为网页正文的结束边界。
4.根据权利要求3所述的网页正文的识别处理方法，其特征在于，所述根据网页正文的边界识别所述待识别网页中的网页正文，具体包括：
将每个网页正文的开始边界与下一个结束边界之间的文字识别为正文部分；
将所有正文部分进行合并，得到所述待识别网页中的网页正文。
5.根据权利要求3所述的网页正文的识别处理方法，其特征在于，所述网页正文的识别处理方法还包括：
若判断网页正文的开始边界和结束边界的数量相等，且开始边界和结束边界间隔出现，则确定网页正文的开始边界和结束边界识别正确。
6.根据权利要求2所述的网页正文的识别处理方法，其特征在于，所述阈值根据空白区块的平均数量或文字区块的平均数量确定；
其中，所述空白区块的平均数量为每个空白区块的字符数量的平均值；
所述文字区块的平均数量为每个文字区块的文字数量的平均值。
7.根据权利要求1所述的网页正文的识别处理方法，其特征在于，所述获取待识别网页的网页源码，清除所述网页源码中所有的网页标签，得到包括空白行的网页文本，具体包括：
通过网络爬虫爬取待识别网页的网页源码，根据预设标签识别所述网页源码中所有的网页标签并清除，得到包括空白行的网页文本。
8.一种网页正文的识别处理装置，其特征在于，包括：
标签清除模块，用于获取待识别网页的网页源码，...
【专利技术属性】
技术研发人员：禹庆华，叶盛，李凯，沈鹏，李国辉，
申请(专利权)人：奇安信科技集团股份有限公司，网神信息技术北京股份有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。