【技术实现步骤摘要】
搜索结果的质量评估方法、装置、服务器和介质
本专利技术实施例涉及计算机
,尤其涉及一种搜索结果的质量评估方法、装置、服务器和介质。
技术介绍
对于一个成熟的互联网搜索引擎而言,为了保证优秀的用户体验,需要持续不断地改进搜索结果排序算法。而判断一个新的搜索排序算法是否达到了预期效果,就需要科学地评估搜索结果质量。搜索引擎的根本在于找到符合用户需求的信息,这通常可以利用搜索结果与用户输入的关键词之间的相关程度,即结果相关性来反映,因此,结果相关性是评估搜索引擎最重要的指标。在对搜索引擎的搜索结果质量评估过程中,为了避免正反馈的问题,需要引入人力判断。现有技术中依赖人工评估的常用方法包括QU(query-url)评估方法和并排(Side-By-Side)评估方法。但是,QU评估方法的结果稳定性较低、结果冗余、结果缺乏多样性且不能很好满足查询者的需求;相比于QU评估方法,并排评估方法可以克服QU评估的缺陷,但随之产生了其他缺陷,例如评估成本较高,评估复杂性较大。
技术实现思路
本专利技术实施例提供一种搜索结果的质量评估方法、装置、服务器和介质,以实现降低评估成本和评估难 ...
【技术保护点】
1.一种搜索结果的质量评估方法,其特征在于,包括:获取目标查询对应的至少两个搜索结果列表,其中,不同的搜索结果列表是由不同的搜索排序算法得到;将所述至少两个搜索结果列表中的搜索结果按照列表顺序进行拆分,得到至少一个搜索结果组,其中,所述搜索结果组中包括每个搜索结果列表中相同排序位置的搜索结果;获取用户对所述至少一个搜索结果组的评分结果,并进行拟合,得到目标查询的搜索结果的评估结果。
【技术特征摘要】
1.一种搜索结果的质量评估方法,其特征在于,包括:获取目标查询对应的至少两个搜索结果列表,其中,不同的搜索结果列表是由不同的搜索排序算法得到;将所述至少两个搜索结果列表中的搜索结果按照列表顺序进行拆分,得到至少一个搜索结果组,其中,所述搜索结果组中包括每个搜索结果列表中相同排序位置的搜索结果;获取用户对所述至少一个搜索结果组的评分结果,并进行拟合,得到目标查询的搜索结果的评估结果。2.根据权利要求1所述的方法,其特征在于,每个搜索结果组中包括至少两个不同的搜索结果。3.根据权利要求1所述的方法,其特征在于,如果每个搜索结果组中包括两个搜索结果,当任意两个搜索结果组互为对调搜索结果组时,其中,所述互为对调搜索结果组是指搜索结果相同且搜索结果的位置对调的搜索结果组,则相应的,获取用户对所述至少一个搜索结果组的评分结果,包括:获取用户对所述互为对调搜索结果组中任一个搜索结果组的评分结果,并通过取相反数运算得到所述互为对调搜索结果组中另一个搜索结果组的评分结果。4.根据权利要求1~3中任一所述的方法,其特征在于,获取用户对所述至少一个搜索结果组的评分结果,并进行拟合,得到目标查询的搜索结果的评估结果,包括:获取用户对所述至少一个搜索结果组的评分结果;根据预先确定的搜索结果列表中不同排序位置对应的权重,将所述至少一个搜索结果组的评分结果进行加权求和,得到目标查询的搜索结果的评估结果。5.根据权利要求4所述的方法,其特征在于,在根据预先确定的搜索结果列表中不同排序位置对应的权重,将所述至少一个搜索结果组的评分结果进行加权求和之前,所述方法还包括:获取样本查询对应的至少两个样本搜索结果列表;利用并排评估方法对所述至少两个样本搜索结果列表中的搜索结果进行评估;将所述至少两个样本搜索结果列表按照列表顺序进行拆分,得到至少一个样本搜索结果组;获取用户对所述至少一个样本搜索结果组的评分结果;将所述并排评估方法的评估结果和用户对所述至少一个样本搜索结果组的评分结果作为输入,通过回归训练得到所述权重。6.一种搜索结果的质量评估装置,其特征在于,包括:搜索结果列表获取模块,用于获取目标查询对应的至少两个搜索结果列表,其中,不同的搜索结果列表是由不同的搜索排序算法得到;搜索结果列表拆分模块,用于将所述至少两个搜索结果列表中的搜索结果按照列表顺序进行拆分,得到至少一个搜索结果组,其中,所述...
【专利技术属性】
技术研发人员:李虓,王轶凡,吴迪,陈冠霖,贾晋康,金慈航,
申请(专利权)人:百度在线网络技术北京有限公司,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。