搜索日志的挖掘方法和装置以及页面搜索的方法和装置制造方法及图纸

本发明专利技术提供了一种搜索日志的挖掘方法和装置以及页面搜索的方法和装置，通过搜索日志的挖掘方法能够统计出搜索词（ｑｕｅｒｙ）对应的各类型的时效性概率，该时效性概率能够反映出ｑｕｅｒｙ的时效性需求，以便在页面搜索的方法中识别出用户输入的ｑｕｅｒｙ是否具备时效性需求，并在具备时效性需求时，对用户输入的ｑｕｅｒｙ对应的搜索结果进行优化处理，即提高时间属性在搜索结果中的排序权值，使用户能够快速准确地从搜索结果中找到需求的页面，满足用户对搜索结果的时效性需求。

【技术实现步骤摘要】

本专利技术属于互联网
，具体涉及一种搜索日志的挖掘方法和装置以及页面搜索的方法和装置。
技术介绍
随着互联网技术的不断发展以及信息的不断膨胀，人们对于网络信息的使用需求越来越高，搜索引擎成为人们获取网络信息的重要工具。当用户输入搜索词(query)后，搜索引擎通常会将包含该搜索词的页面包含在搜索结果中返回给用户。然而，现有的搜索技术中，无法对用户所输入query的时效性需求进行识别，例如用户想要获取刚发生不久的事件的相关信息，但搜索引擎并不会理解用户的该时效性需求，返回的搜索结果仅仅基于以往搜索历史，并按照预先设定的各属性权值对搜索结果进行排序，用户可能无法快速准确地从搜索结果中找到需求的页面。例如，用户想要获取刚发生不久的河北爆炸事件的网络信息，输入“河北爆炸”的query，由于该事件刚发生不久，网络资源还较少，在搜索结果中，近期所发生河北爆炸事件的页面可能会淹没在海量与河北爆炸相关的历史事件的页面中，用户无法快速准确地从搜索结果中找到需求的页面。
技术实现思路
本专利技术提供了一种搜索日志的挖掘方法和装置以及页面搜索的方法和装置，以便于对用户query的时效性需求进行识别，满足用户对搜索结果的时效性需求。具体技术方案如下：一种搜索日志的挖掘方法，包括：对从搜索日志中抓取到的搜索词query分别执行步骤A1和步骤C1：A1、对所述抓取到的query进行分词处理，执行步骤B1；B1、利用分词处理后得到的各词语和/或各词语的属性构成的组合以及各组合的分布概率，归纳出类型，转至步骤D1；C1、对所述抓取到的query进行筛选，得到时效性query集合和非时效性query集合，执行步骤D1；D1、统计步骤B1得到的各类型在步骤C1筛选出的时效性query集合和非时效性query集合中的分布，利用统计结果计算各类型对应的时效性概率，并将各类型与时效性概率之间的对应关系存储在时效性概率表中。其中，所述步骤B1具体包括：B11、按照所述分词处理后得到的各词语的属性，对各词语进行标注；B12、按照步骤B11的标注结果，将同一个query中词语的组合，或者词语的属性的组合，或者词语和词语的属性的组合作为归纳出的类型，其中，所述归纳出的类型在所述搜索日志中的分布概率超过预设的类型分布概率阈值。在步骤B11中，各词语的属性识别过程具体为：预先根据词语在不同属性中的分-->布概率，建立词性统计表；利用分词处理后得到的各词语查找所述词性统计表，确定所述各词语对应分布概率最高的属性。具体地，从搜索日志中抓取query所采用的抓取策略包括以下策略中的一种或任意组合：抓取策略1：抓取对应搜索结果中用户所点击页面中发布时间在最近第一时间段内的页面占该用户所点击的所有页面的比例超过预设第一比例阈值的query；抓取策略2：抓取对应搜索结果中发布时间在最近第二时间段内的页面占搜索结果的比例超过预设的第二比例阈值的query；抓取策略3：抓取对应搜索结果中存在用户点击页面的发布时间在最近一段时间内的所有query。步骤C1中采用的筛选策略可以包括以下策略中的一种或任意组合：筛选策略1：筛选出对应搜索结果中用户所点击页面中发布时间在最近第三时间段内的页面占该用户所点击的所有页面比例超过预设第三比例阈值的query，构成时效性query集合，其他query构成非时效性query集合；其中，如果抓取策略采用所述抓取策略1，则所述第三时间段的时长等于所述第一时间段的时长且所述第三比例阈值大于所述第一比例阈值，或者，所述第三时间段的时长小于所述第一时间段的时长且所述第三比例阈值等于所述第一比例阈值，或者，所述第三时间段的时长小于所述第一时间段的时长且所述第三比例阈值大于所述第一比例阈值；筛选策略2：筛选出对应搜索结果中发布时间在最近第四时间段内的页面占搜索结果的比例超过预设的第四比例阈值的query，构成时效性query集合，其他query构成非时效性query集合；其中，如果抓取策略采用所述抓取策略2，则所述第四时间段的时长等于所述第二时间段的时长且所述第四比例阈值大于所述第二比例阈值，或者所述第四时间段的时长小于所述第二时间段的时长且所述第四比例阈值等于所述第二比例阈值，或者所述第四时间段的时长小于所述第二时间段的时长且所述第四比例阈值大于所述第二比例阈值；筛选策略3：筛选出对应搜索结果的点击率超过预设的点击率突发阈值的query，构成时效性query集合，其他query构成非时效性query集合。一种页面搜索的方法，该方法包括：A2、对用户输入的搜索词query进行分词处理；B2、利用分词处理后得到的各词语和/或各词语的属性构成的组合以及各组合的分布概率，归纳出所述query对应的类型；C2、查找利用上述搜索日志的挖掘方法形成的时效性概率表，确定步骤B2中归纳出的类型对应的时效性概率；D2、如果步骤C2确定出的时效性概率的最高值超过预设的时效性概率阈值，则确定所述query具备时效性需求。其中，所述步骤B2具体包括：B21、按照所述步骤A2分词处理后得到的各词语的属性，对各词语进行标注；B22、按照步骤B21的标注结果，将同一个query中词语的组合，或者，词语的属性的组合，或者，词语和词语的属性的组合作为归纳出的类型，其中，所述归纳出的类型在所-->述搜索日志中的分布概率超过预设的类型分布概率阈值。在步骤B21中，各词语的属性识别过程具体为：预先根据词语在不同属性中的分布概率，建立词性统计表；利用分词处理后得到的各词语查找所述词性统计表，确定所述各词语对应分布概率最高的属性。更进一步地，在所述步骤D2之后还包括：E2、提高所述query对应的搜索结果中时间属性的排序权重。所述步骤E2具体为：将时间属性在所述query对应的搜索结果中的排序权重提高到设定权值；或者，将时间属性在所述query对应的搜索结果中的排序权重提高设定步长。一种搜索日志的挖掘装置，该挖掘装置包括：抓取单元、第一分词单元、第一类型确定单元、筛选单元和概率计算单元；所述抓取单元，用于从搜索日志中抓取搜索词query；所述第一分词单元，用于对所述抓取单元抓取到的query进行分词处理；所述第一类型确定单元，用于利用所述第一分词单元分词处理后得到的各词语和/或各词语的属性构成的组合以及各组合的分布概率，归纳出类型；所述筛选单元，用于对所述抓取单元抓取到的query进行筛选，得到时效性query集合和非时效性query集合；所述概率计算单元，用于统计所述第一类型确定单元归纳出的类型在所述筛选单元筛选出的时效性query集合和非时效性query集合中的分布，利用统计结果计算各类型对应的时效性概率，并将各类型与时效性概率之间的对应关系存储在时效性概率表中。其中，所述第一类型确定单元具体包括：第一标注子单元和第一归纳子单元；所述第一标注子单元，用于按照所述分词处理后得到的各词语的属性，对各词语进行标注；所述第一归纳子单元，用于按照所述第一标注子单元的标注结果，将同一个query中词语的组合，或者词语的属性的组合，或者词语和词语的属性的组合作为归纳出的类型，其中，所述归纳出的类型在所述搜索日志中的分布概率超过预设的类型分布概率阈值。更进一步地，所述第一类型确定本文档来自技高网...

【技术保护点】
一种搜索日志的挖掘方法，其特征在于，对从搜索日志中抓取到的搜索词ｑｕｅｒｙ分别执行步骤Ａ１和步骤Ｃ１：Ａ１、对所述抓取到的ｑｕｅｒｙ进行分词处理，执行步骤Ｂ１；Ｂ１、利用分词处理后得到的各词语和／或各词语的属性构成的组合以及各组合的分布概率，归纳出类型，转至步骤Ｄ１；Ｃ１、对所述抓取到的ｑｕｅｒｙ进行筛选，得到时效性ｑｕｅｒｙ集合和非时效性ｑｕｅｒｙ集合，执行步骤Ｄ１；Ｄ１、统计步骤Ｂ１得到的各类型在步骤Ｃ１筛选出的时效性ｑｕｅｒｙ集合和非时效性ｑｕｅｒｙ集合中的分布，利用统计结果计算各类型对应的时效性概率，并将各类型与时效性概率之间的对应关系存储在时效性概率表中。

【技术特征摘要】
1.一种搜索日志的挖掘方法，其特征在于，对从搜索日志中抓取到的搜索词query分别执行步骤A1和步骤C1：A1、对所述抓取到的query进行分词处理，执行步骤B1；B1、利用分词处理后得到的各词语和/或各词语的属性构成的组合以及各组合的分布概率，归纳出类型，转至步骤D1；C1、对所述抓取到的query进行筛选，得到时效性query集合和非时效性query集合，执行步骤D1；D1、统计步骤B1得到的各类型在步骤C1筛选出的时效性query集合和非时效性query集合中的分布，利用统计结果计算各类型对应的时效性概率，并将各类型与时效性概率之间的对应关系存储在时效性概率表中。2.根据权利要求1所述的方法，其特征在于，所述步骤B1具体包括：B11、按照所述分词处理后得到的各词语的属性，对各词语进行标注；B12、按照步骤B11的标注结果，将同一个query中词语的组合，或者词语的属性的组合，或者词语和词语的属性的组合作为归纳出的类型，其中，所述归纳出的类型在所述搜索日志中的分布概率超过预设的类型分布概率阈值。3.根据权利要求1所述的方法，其特征在于，步骤B11中，各词语的属性识别过程具体为：预先根据词语在不同属性中的分布概率，建立词性统计表；利用分词处理后得到的各词语查找所述词性统计表，确定所述各词语对应分布概率最高的属性。4.根据权利要求1至3任一权项所述的方法，其特征在于，从搜索日志中抓取query所采用的抓取策略包括以下策略中的一种或任意组合：抓取策略1：抓取对应搜索结果中用户所点击页面中发布时间在最近第一时间段内的页面占该用户所点击的所有页面的比例超过预设第一比例阈值的query；抓取策略2：抓取对应搜索结果中发布时间在最近第二时间段内的页面占搜索结果的比例超过预设的第二比例阈值的query；抓取策略3：抓取对应搜索结果中存在用户点击页面的发布时间在最近一段时间内的所有query。5.根据权利要求4所述的方法，其特征在于，步骤C1中采用的筛选策略包括以下策略中的一种或任意组合：筛选策略1：筛选出对应搜索结果中用户所点击页面中发布时间在最近第三时间段内的页面占该用户所点击的所有页面比例超过预设第三比例阈值的query，构成时效性query集合，其他query构成非时效性query集合；其中，如果抓取策略采用所述抓取策略1，则所述第三时间段的时长等于所述第一时间段的时长且所述第三比例阈值大于所述第一比例阈值，或者，所述第三时间段的时长小于所述第一时间段的时长且所述第三比例阈值等于所述第一比例阈值，或者，所述第三时间段的时长小于所述第一时间段的时长且所述第三比例阈值大于所述第一比例阈值；筛选策略2：筛选出对应搜索结果中发布时间在最近第四时间段内的页面占搜索结果的比例超过预设的第四比例阈值的query，构成时效性query集合，其他query构成非时效性query集合；其中，如果抓取策略采用所述抓取策略2，则所述第四时间段的时长等于所述第二时间段的时长且所述第四比例阈值大于所述第二比例阈值，或者所述第四时间段的时长小于所述第二时间段的时长且所述第四比例阈值等于所述第二比例阈值，或者所述第四时间段的时长小于所述第二时间段的时长且所述第四比例阈值大于所述第二比例阈值；筛选策略3：筛选出对应搜索结果的点击率超过预设的点击率突发阈值的query，构成时效性query集合，其他query构成非时效性query集合。6.一种页面搜索的方法，其特征在于，该方法包括：A2、对用户输入的搜索词query进行分词处理；B2、利用分词处理后得到的各词语和/或各词语的属性构成的组合以及各组合的分布概率，归纳出所述query对应的类型；C2、查找利用权利要求1所述方法形成的时效性概率表，确定步骤B2中归纳出的类型对应的时效性概率；D2、如果步骤C2确定出的时效性概率的最高值超过预设的时效性概率阈值，则确定所述query具备时效性需求。7.根据权利要求6所述的方法，其特征在于，所述步骤B2具体包括：B21、按照所述步骤A2分词处理后得到的各词语的属性，对各词语进行标注；B22、按照步骤B21的标注结果，将同一个query中词语的组合，或者，词语的属性的组合，或者，词语和词语的属性的组合作为归纳出的类型，其中，所述归纳出的类型在所述搜索日志中的分布概率超过预设的类型分布概率阈值。8.根据权利要求6所述的方法，其特征在于，步骤B21中，各词语的属性识别过程具体为：预先根据词语在不同属性中的分布概率，建立词性统计表；利用分词处理后得到的各词语查找所述词性统计表，确定所述各词语对应分布概率最高的属性。9.根据权利要求6至8任一权项所述的方法，其特征在于，在所述步骤D2之后还包括：E2、提高所述query对应的搜索结果中时间属性的排序权重。10.根据权利要求9所述的方法，其特征在于，所述步骤E2具体为：将时间属性在所述query对应的搜索结果中的排序权重提高到设定权值；或者，将时间属性在所述query对应的搜索结果中的排序权重提高设定步长。11.一种搜索日志的挖掘装置，其特征在于，该挖掘装置包括：抓取单元、第一分词单元、第一类型确定单元、筛选单元和概率计算单元；所述抓取单元，用于从搜索日志中抓取搜索词query；所述第一分词单元，用于对所述抓取单元抓取到的query进行分词处理；所述第一类型确定单元，用于利用所述第一分词单元分词处理后得到的各词语和/或...

【专利技术属性】
技术研发人员：辜斯缪，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：11[]