一种文本内容提取方法和装置制造方法及图纸

本发明专利技术公开了一种文本内容提取方法和装置，所述方法包括：将输入的HTML网页分解为多个模块，根据各模块在网页布局中的位置，确定各模块的位置得分，并计算各模块的文本长度；提取各模块包含的链接地址，统计所有链接地址中使用频率最高的字符内容，将包含所述字符内容的各链接地址标记为有效链接，将不包含所述字符内容的各链接地址标记为无效链接；根据综合得分=位置得分×（文本长度+有效链接的文字长度）/无效链接的文字长度，确定各模块的综合得分，并判定综合得分超过设定阈值的模块为内容模块。本发明专利技术所述方法能够有效去除网页中非内容部分的冗余的信息，实现了更为准确的对网页的有效内容进行提取。

【技术实现步骤摘要】

本专利技术涉及通信
，尤其涉及一种文本内容提取方法和装置。
技术介绍
随着互联网技术的迅猛发展，浏览网页逐渐成为人们获取信息的主要手段，而在所有接触的页面信息中，文本信息又占了其中的主要部分。如何有效的提取页面中的文本信息是很重要的，因为如果将文本的内容全部提取出来，其中必然会掺杂许多不必要的内容，如广告信息、导航信息等等，这些信息通常是大量重复的，而且并不是用户感兴趣和需要的内容；再者，大量重复和无效的信息也会降低文本聚类和文本分类的准确性，会加大内容检索的工作量。而在不同的网页中，页面的排版和布局是多种多样的，若单从模块或位置进行划分，则很难准确的获取有效的文本信息。目前，文本内容的提取手段是将输入网页分解为多个模块，并通过计算每个模块的综合得分来确定对应模块是否为内容模块。其中，综合得分的计算方式为综合得分=位置得分X文字长度/链接文字长度，然而，该计算方式仍然不够精确，并不能准确对内容进行划分。所以，目前如何能提供一种文本提取方法，实现对文本内容的准确提取成为目前亟待解决的技术问题。
技术实现思路
本专利技术提供一种文本内容提取方法和装置，用以解决现有技术中采用的文本内容本文档来自技高网...

【技术保护点】
一种文本内容提取方法，其特征在于，包括：将输入的超文本标记语言HTML网页分解为多个模块，根据各模块在网页布局中的位置，确定各模块的位置得分，并计算各模块的文本长度；提取各模块包含的链接地址，统计所有链接地址中除协议字符外使用频率最高的字符内容，将包含所述使用频率最高的字符内容的各链接地址标记为有效链接，将不包含所述使用频率最高的字符内容的各链接地址标记为无效链接；根据综合得分=模块的位置得分×（模块的文本长度+模块内有效链接的文字长度）/模块内无效链接的文字长度，确定各模块的综合得分，并判定综合得分超过设定阈值的模块为内容模块。

【技术特征摘要】
1.一种文本内容提取方法，其特征在于，包括 将输入的超文本标记语言HTML网页分解为多个模块，根据各模块在网页布局中的位置，确定各模块的位置得分，并计算各模块的文本长度； 提取各模块包含的链接地址，统计所有链接地址中除协议字符外使用频率最高的字符内容，将包含所述使用频率最高的字符内容的各链接地址标记为有效链接，将不包含所述使用频率最高的字符内容的各链接地址标记为无效链接； 根据综合得分=模块的位置得分X (模块的文本长度+模块内有效链接的文字长度)/模块内无效链接的文字长度，确定各模块的综合得分，并判定综合得分超过设定阈值的模块为内容模块。2.如权利要求1所述的方法，其特征在于，所述方法中，使用Table标签或Div标签将输入的HTML网页分解为多个模块。3.如权利要求2所述的方法，其特征在于，所述方法中，若分解得到的模块还能够继续分解且未出现标签混杂的情况，则对分解后的模块继续分解。4.如权利要求1所述的方法，其特征在于，所述方法中，在标记有效链接和无效链接时，统一计算各链接内的文字长度；或者，在确定各模块的综合得分时，分别计算各模块包含的每个链接内的文字长度。5.如权利要求1至4中任一项所述的方法，其特征在于， 所述方法中，计算各模块的文本长度具体包括对于每个模块，提取出模块的HTML标签，根据所述HTML标签获取对应模块中包含的文本信息，计算该文本信息的长度，得到对应模块的文本长度； 所述方法中，通过achor标签提取出各模块的链接地址。6.一种文本内容提取装置，其特征在于，包括 网页处理单元，用于将输...

【专利技术属性】
技术研发人员：叶伟，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：