本发明专利技术实施例提供了一种基于全局搜索的模糊词确定方法，首先基于搜索日志数据，获取共同点击的统一资源定位器URL所对应的输入语句query集合；获取query集合中每一个query的各个基础词条term的词条权重；将各个term的词条权重与预设的权重阈值进行比较，将词条权重小于权重阈值的term设置为次要词条；在全局搜索范围内，统计各个term作为次要词条出现的频率，将出现频率大于预设的频率阈值的term设置为模糊词。该方法及装置可以准确获取基于共同点击的输入语句query的模糊词，对于输入语句query的核心词提取，以及文档排序均起到了重要作用，提高了搜索效率和结果。
【技术实现步骤摘要】
—种基于全局搜索的模糊词确定方法及装置
本专利技术涉及信息推送
，尤其涉及一种基于全局搜索的模糊词确定方法及 >J-U ρ?α装直。
技术介绍
随着网络和信息技术的迅猛发展，网络的信息量也呈现爆炸式的增长，那么快速并且正确从这些海量的数据里面获取正确的信息成为了现在搜索引擎技术的核心问题，然而用户的输入却呈现很大的差异性，不同的人接受着不同的教育，以及不同的文化，导致在表述同一个问题上面的差异很大，同时针对用户输入的query中某些词条对于搜索结果所起到的作用也很小，例如用户输入一个query是“北京故宫门票是多少”,在这个query的语境下“是多少”这个词条就属于垃圾词条，对搜索结果起到的作用不大。 现有技术方案中所用到的TF-1DF (Term Frequency -1nverse DocumentFrequency)技术,是用于评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度，是一种用于资讯检索与资讯探勘的常用加权技术，而该技术并不能准确的描述全局条件下某一词条的重要程度，从而无法有效做到全局条件下query核心词的提取，从而影响了搜索效率和结果。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于全局搜索的模糊词确定方法及装置。 —种基于全局搜索的模糊词确定方法，包括: 基于搜索日志数据，获取共同点击的统一资源定位器URL所对应的输入语句query集合； 获取所述query集合中每一个query的各个基础词条term的词条权重； 将各个term的词条权重与预设的权重阈值进行比较，将词条权重小于所述权重阈值的term设置为次要词条； 在全局搜索范围内，统计各个term作为次要词条出现的频率，将出现频率大于预设的频率阈值的term设置为模糊词。 本专利技术实施例还提供了一种基于全局搜索的模糊词确定装置，所述装置包括: query集合获取单元，用于基于搜索日志数据，获取共同点击的统一资源定位器URL所对应的输入语句query集合； 词条权重获取单元,用于获取所述query集合中每一个query的各个基础词条term的词条权重； 次要词条确定单元，用于将各个term的词条权重与预设的权重阈值进行比较，将词条权重小于所述权重阈值的term设置为次要词条； 模糊词确定单元，用于在全局搜索范围内，统计各个term作为次要词条出现的频率，将出现频率大于预设的频率阈值的term设置为模糊词。 由以上可知，该方法及装置可以准确获取基于共同点击的输入语句query的模糊词，对于输入语句query的核心词提取，以及文档排序均起到了重要作用，进而提高了搜索效率和结果。 上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的【具体实施方式】。 【附图说明】 通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中: 图1为本专利技术实施例提供的基于全局搜索的模糊词确定方法流程示意图； 图2为本专利技术实施例提供的枚举过程示意图； 图3为本专利技术实施例提供的根据用户输入进行相应检索的流程示意图； 图4为本专利技术实施例提供的基于全局搜索的模糊词确定装置的结构示意图； 图5为本专利技术实施例提供的基于全局搜索的模糊词确定装置的另一结构示意图。 【具体实施方式】 下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。 下面结合说明书附图，对本专利技术实施例提供的模糊词确定方法进行说明，如图1所示为本专利技术实施例提供的基于全局搜索的模糊词确定方法流程示意图，所述方法包括: 步骤11:基于搜索日志数据，获取共同点击的统一资源定位器URL所对应的输入语句query集合； 在该步骤中，日志数据可以保存在后台搜索服务器中。 这里，共同点击的URL所对应的输入语句query，其含义就是点击了相同URL的query，这些query，可以认为是有潜在的同义关系，它们的核心部分应该是保持稳定的，只是换了一种表达而已，例如“北京故宫门票多少”、“故宫门票多少钱”，“北京故宫门票”、“故宫门票票价”……等等问的都是故宫门票的问题，再例如下面的几个query: { “360搜索”，“360搜索网站”，“360”，“360搜索引擎”，“360搜索网址” }，用户都点击了 URLiwww.s0.com,这样的一组query也被认为是共同点击。 步骤12:获取所述query集合中每一个query的各个基础词条term的词条权重； 在该步骤中，一种实现方式是首先对所述query集合中每一个query进行分词,得到多个基础词条term ;然后再统计各个term在所述query集合中出现的频率,基于出现频率的高低获取各个term的词条权重。 上述过程中，具体的分词的规则和方式可以参照现有分词技术，例如可以对所述query集合中每一个query基于n-gram进行分词处理，即采用多阶枚举的方式生成多个片段gram,得到多个片段gram的基础词条term。 举例来说,例如Q = {Τ1,Τ2,Τ3,......Τη},枚举时,可以预先设定n-gram的阶数， 然后逐一进行枚举，较佳地，在本专利技术实施例中，可以采用1-4阶gram的方式，枚举的过程参照图2所示，采用1-4阶枚举的方式时，可以从头(Tl)开始枚举l-4gram，可以得到多个片段gram。 例如对Q = {a, b, c, d}进行4阶枚举时,会生成如下几个片段gram: 一阶 gram:a, b, c, d ； 二阶 gram:ab, be, cd ； 三阶gram:abc, bed ； 四阶gram:abcd。 然后，基于出现频率的高低获取各个term的词条权重的具体过程可以是:选取出现频率最高的term的次数作为分母,根据每一个term的出现次数计算获取各个term的词条权重，也就是将各term在所述query集合中出现的次数作为分子，所获得的比值即为各个term的词条权重。 举例来说,若对每一个query基于n-gram进行分词处理,得到多个片段gram的基础词条term,则针对每个gram,分别统计其包含的term在query集合中出现的次数,假设gram为“360搜索”,轮询query集合，出现一次增加1，直至轮询结束，最终得到的统计结果为:“360”这个term在query集合中出现了 5次搜索”这个term在Qs集合中出现了 4次；然后按照上述方法，可以得到次数之比为“1，0.8”。 上述“360搜索:1，0.8”是针对query集合中的某一个q本文档来自技高网...
【技术保护点】
一种基于全局搜索的模糊词确定方法，其特征在于，包括：基于搜索日志数据，获取共同点击的统一资源定位器URL所对应的输入语句query集合；获取所述query集合中每一个query的各个基础词条term的词条权重；将各个term的词条权重与预设的权重阈值进行比较，将词条权重小于所述权重阈值的term设置为次要词条；在全局搜索范围内，统计各个term作为次要词条出现的频率，将出现频率大于预设的频率阈值的term设置为模糊词。
【技术特征摘要】
1.一种基于全局搜索的模糊词确定方法，其特征在于，包括: 基于搜索日志数据，获取共同点击的统一资源定位器URL所对应的输入语句query集合； 获取所述query集合中每一个query的各个基础词条term的词条权重； 将各个term的词条权重与预设的权重阈值进行比较，将词条权重小于所述权重阈值的term设置为次要词条； 在全局搜索范围内，统计各个term作为次要词条出现的频率，将出现频率大于预设的频率阈值的term设置为模糊词。2.如权利要求1所述的方法，其特征在于，所述获取所述query集合中每一个query的各个基础词条term的词条权重,具体包括: 对所述query集合中每一个query进行分词,得到多个基础词条term ； 统计各个term在所述query集合中出现的频率,基于出现频率的高低获取各个term的词条权重。3.如权利要求1或2所述的方法,其特征在于,所述对所述query集合中每一个query进行分词，得到多个基础词条term，具体包括: 对所述query集合中每一个query基于n-gram进行分词处理,得到多个片段gram的基础词条term。4.如权利要求1-3所述的方法，其特征在于，所述基于出现频率的高低获取各个term的词条权重，具体包括: 选取出现频率最高的term的次数作为分母，根据每一个term的出现次数计算获取各个term的词条权重。5.如权利要求1-4任一项所述的方法，其特征在于，所述方法还包括: 接收用户输入的某一 query,对该query进行分词得到多个term ； 忽略作为模糊词的term，利用其余的term作为搜索关...
【专利技术属性】
技术研发人员：邹启波，周连强，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。