【技术实现步骤摘要】
新的小世界网络模型实现文本特征的提取方法
本专利技术涉及语义网络
,具体涉及新的小世界网络模型实现文本特征的提取方法。
技术介绍
目前常用的文本特征提取方法,包括词频-反文档频率方法—TF-IDF、信息增益方法、互信息等方法;TF-IDF的简单结构并不能有效地反映词汇或短语的重要程度和特征值的分布情况,所以TF-IDF的精度并不是很高。信息增益方法只适合用来提取一个类别的文本特征,而无法用于提取多个类别的文本特征。互信息方法考虑了类别出现概率与集合出现概率之比,那么会造成一个缺陷,那就是类别集合中文本的数量差异会很大程度上影响文本特征提取的准确性。面对海量文本,如何快速掌握某篇文章的主题、把握作者思想,成为节约读者时间、提高阅读速度的关键问题。文本特征指的是最能代表文本主旨的词汇集合,文本特征不仅可以很好的概括文本主要内容和主旨,而且可以降低文本处理的复杂程度。然而目前常用的文本特征提取方法没有考虑特征词汇的语义地位和其对文本主旨表达所做的贡献、忽略文档的语义信息和结构信息,导致关键词语义和结构信息的缺失。为了满足上述需求,本专利技术提供了一种新的小世界网络模型实现文本特征的提取方法。
技术实现思路
针对于常用的文本特征提取方法没有考虑特征词汇的语义地位和其对文本主旨表达所做贡献的不足,本专利技术提供了一种新的小世界网络模型实现文本特征的提取方法。为了解决上述问题,本专利技术是通过以下技术方案实现的:步骤1:初始化文本语料库模块,对文本W的进行中文分词预处理。步骤2:给步骤1中分词结果的文本进行位置、词性加权处理。步骤3:得到的文本词汇集合依据其语义相关 ...
【技术保护点】
新的小世界网络模型实现文本特征的提取方法,本专利技术涉及语义网络技术领域,具体涉及新的小世界网络模型实现文本特征的提取方法,其特征是,包括如下步骤:步骤1:初始化文本语料库模块,对文本W的进行中文分词预处理,其具体描述如下:把待分词的汉字串完整的扫描一遍,在系统的词典里进行查找匹配,遇到字典里有的词就标识出来;如果词典中不存在相关匹配,就简单地分割出单字作为词;直到汉字串为空步骤1.2:依据概率统计学,将待分词句子拆分为网状结构,即得n个可能组合的句子结构,把此结构每条顺序节点依次规定为
【技术特征摘要】
1.新的小世界网络模型实现文本特征的提取方法,本发明涉及语义网络技术领域,具体涉及新的小世界网络模型实现文本特征的提取方法,其特征是,包括如下步骤:步骤1:初始化文本语料库模块,对文本W的进行中文分词预处理,其具体描述如下:把待分词的汉字串完整的扫描一遍,在系统的词典里进行查找匹配,遇到字典里有的词就标识出来;如果词典中不存在相关匹配,就简单地分割出单字作为词;直到汉字串为空步骤1.2:依据概率统计学,将待分词句子拆分为网状结构,即得n个可能组合的句子结构,把此结构每条顺序节点依次规定为,其结构图如图2所示步骤1.3:基于信息论方法,给上述网状结构每条边赋予一定的权值,其具体计算过程如下:根据《分词词典》匹配出的字典词与未匹配的单个词,第i条路径包含词的个数为,即n条路径词的个数集合为得在上述留下的剩下的(n-m)路径中,求解每条相邻路径的权重大小在统计语料库中,计算每个词的信息量,再求解路径相邻词的共现信息量,既有下式:上式为文本语料库中词的信息量,为含词的文本信息量上式为在文本语料库中的概率,n为含词的文本语料库的个数上式为含词的文本数概率值,N为统计语料库中文本总数同理为在文本语料库中词的共现信息量,为相邻词共现的文本信息量同理上式为在文本语料库中词的共现概率,m为在文本库中词共现的文本数量为文本库中相邻词共现的文本数概率综上可得每条相邻路径的权值为步骤1.4:找到权值最大的一条路径,即为待分词句子的分词结果,其具体计算过程如下:有n条路径,每条路径长度不一样,假设路径长度集合为假设经过取路径中词的数量最少操作,排除了m条路径,m<n,即剩下(n-m)路径,设其路径长度集合为则每条路径权重为:上式分别为第1,2到路径边的权重值,根据步骤1.4可以一一计算得出,为剩下(n-m)路径中第条路径的长度权值最大的一条路径:步骤2:给步骤1中分词结果的文本进行位置、词性加权处理,其具体描述如下:代表位置权重,其赋值规则为:文本第一行是标题,赋予权值5;段首第一个词等于“摘要”,则赋予权值3;段首第一个词等于“关键字”或“关键词”,则赋予权值5;段首第一个词等于“结论”,赋予权值3;其它,每段首赋予权值1;代表词性权重,其赋值规则为:现代汉语语法中,一个句子主要由主语、谓语、宾语、定语和状语等成分构成,从词性的...
【专利技术属性】
技术研发人员:金平艳,
申请(专利权)人:四川用联信息技术有限公司,
类型:发明
国别省市:四川,51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。