一种基于多语义分析和个性化排序的语义检索方法技术

技术编号:8532995 阅读:215 留言:0更新日期:2013-04-04 16:07
本发明专利技术公开了信息检索领域的一种基于多语义分析和优化排序的语义检索方法。其技术方案是,首先利用爬虫等技术从互联网上获取网页文档,利用支持向量机进行分类处理,借助多语义分析方法构造词向量库,并将多分类结果写到索引中,形成索引库。然后基于词向量库,将用户输入的搜索关键词形成查询向量,与索引库进行类别匹配查询,得到初始排序结果。最后,根据用户的个人定制信息和历史访问信息对初始排序结果进行优化,并将优化后的结果返回给用户。本发明专利技术通过基于多语义分析和优化排序的语义检索方法,形成语义丰富的词向量库和索引库,借助个人定制信息和历史访问信息,使得检索结果能更好地符合用户的检索需求,提高用户的检索满意度。

【技术实现步骤摘要】

本专利技术属于信息检索领域,尤其涉及一种基于多语义分析和个性化排序的语义检 索方法。
技术介绍
搜索引擎是一个根据一定策略、运用特定的计算机程序从互联网上搜集信息并对 信息进行组织和处理后,为用户提供检索服务并将用户检索的相关信息展示给用户的系 统。为了应对互联网上的信息容量的快速增长,搜索引擎应运而生。时至今日,它已经成为 了人们从网络上获取信息的必不可少的途径。但是,当今主流的基于关键字的搜索引擎如 Google、Baidu、Bing、Yahoo等,普遍存在一些棘手问题。如用户搜索的结果会普遍存在大 量不相关的链接;由于用户人群的多样性,单一的结果不能针对性的满足每个用户的特殊 需要;搜索过程不考虑词之间的语义相关度,且搜索结果没有有效地按某种方式组织起来, 用户不得费时费力浏览和挑选。语义搜索是一种新型的不同于基于关键字搜索的搜索方式。一般来讲,语义搜索 的工作不再拘泥于用户所输入请求语句的关键字本身,而能够较为准确地捕捉到用户所输 入语句潜在的意图,从而能更准确地向用户返回最符合其需求的结果,相比传统的搜索具 有较高的检索精度和独到的优势。Ramesh Singh和Myungjin Lee在其研究中试图对搜索 结果进行重新组织,来改善用户的搜索体验。Lien-Fu Lai和Huanhuan Cao利用隐马尔科 夫树或其他模型来计算不同结果间关系的相关度,从而增加搜索结果的涵盖面。FangLiu和 Jaime Teevan等提出了各种利用用户历史访问信息进行个性化搜索的方法,用以提高搜索 的精度。上述这些研究在语义搜索方面都进行了适当的改进,但这些研究在基于对用户查 询归类的个性化中,所能实行个性化的条件比较苛刻,且时间消耗的增加控制不好;其次, 过程中没有考虑到与用户相关的不同信息具有不同的权重。因此,对最终搜索结果的排序 处理方式仍旧不尽人意。
技术实现思路
针对现有信息检索在检索精度和用户检索体验方面存在的问题,本专利技术提出了一 种基于多语义分析和个性化排序的语义检索方法。,其特征在于,具体包括以下 步骤步骤1:利用爬虫技术从互联网上获取网页文档的一部分作为训练模型进行手工 分类,结合多语义分析方法MSA构造词向量库,将网页文档用向量表示,并把训练模型放到 支持向量机SVM分类器中对文档向量进行训练,新的网页利用此模型借助SVM进行分类;将 所有网页的类别信息作为一个属性写到索引库中;步骤2 :基于步骤I形成的词向量库,将用户输入的检索关键词构造各自的词向 量,形成最终的查询向量,并将查询向量与索引库进行类别匹配查询,得到初始的网页检索结果。步骤3 :根据用户的个人定制信息和历史访问信息对初始检索结果进行优化排序,并将最终检索结果返回给用户。步骤I中,基于多语义分析方法MSA构造词向量库,并将网页文档的分类结果写到索引中,形成索引库的过程;具体包括以下几个步骤步骤11 :构造概念空间;本专利技术设定空间为m维。概念空间的基础维度是一些类别标签的集合,能够表示整个语料库的信息,一般从语料库分类标签中直接提取的m个类别标签构成向量的m个维度,则网页文档中每个词的语义信息由一个m维向量来描述,称为词向量;步骤12 :词向量分量值的确定词是从训练模型的网页文档中提取出来的,词向量的每一个分量值的大小由训练模型的所有文档来决定,词向量的每一个分量值计算公式为本文档来自技高网
...

【技术保护点】
一种基于多语义分析和个性化排序的语义检索方法,其特征在于,具体包括以下步骤:步骤1:利用爬虫技术从互联网上获取网页文档的一部分作为训练模型进行手工分类,结合多语义分析方法MSA构造词向量库,将网页文档用向量表示,并把训练模型放到支持向量机SVM分类器中对文档向量进行训练,新的网页利用此模型借助SVM进行分类;将所有网页的类别信息作为一个属性写到索引库中;步骤2:基于步骤1形成的词向量库,将用户输入的检索关键词构造各自的词向量,形成最终的查询向量,并将查询向量与索引库进行类别匹配查询,得到初始的网页检索结果;步骤3:根据用户的个人定制信息和历史访问信息对初始检索结果进行优化排序,并将最终检索结果返回给用户。

【技术特征摘要】
1.一种基于多语义分析和个性化排序的语义检索方法,其特征在于,具体包括以下步骤 步骤1:利用爬虫技术从互联网上获取网页文档的一部分作为训练模型进行手工分类,结合多语义分析方法MSA构造词向量库,将网页文档用向量表示,并把训练模型放到支持向量机SVM分类器中对文档向量进行训练,新的网页利用此模型借助SVM进行分类;将所有网页的类别信息作为一个属性写到索引库中; 步骤2 :基于步骤I形成的词向量库,将用户输入的检索关键词构造各自的词向量,形成最终的查询向量,并将查询向量与索引库进行类别匹配查询,得到初始的网页检索结果; 步骤3 :根据用户的个人定制信息和历史访问信息对初始检索结果进行优化排序,并将最终检索结果返回给用户。2.根据权利要求1所述的一种基于多语义分析和个性化排序的语义检索方法,其特征在于,所述步骤I中,基于多语义分析方法MSA构造词向量库,并将网页文档的分类结果写到索引中,形成索引库的过程;具体包括步骤 步骤11 :构造概念空间;本发明设定空间为m维; 概念空间的基础维度是一些类别标签的集合,能够表示整个语料库的信息,一般从语料库分类标签中直接提取的m个类别标签构成向量的m个维度,则网页文档中每个词的语义信息由一个m维向量来描述,称为词向量; 步骤12:词向量分量值的确定 词是从训练模型的网页文档中提取出来的,词向量的每一个分量值的大小由训练模型的所有文档来决定;词向量的每一个分量值计算公式为3.根据权利要求1所述的一种基于多语义分析和个性化排序的语义检索方法,其特征在于,所述步骤2中,查询向量与索引库的...

【专利技术属性】
技术研发人员:马应龙张潇澜于潇
申请(专利权)人:华北电力大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1