搜索结果的质量评估方法、装置、服务器和介质制造方法及图纸

本发明专利技术实施例公开了一种搜索结果的质量评估方法、装置、服务器和介质，其中，该方法包括：获取目标查询对应的至少两个搜索结果列表，其中，不同的搜索结果列表是由不同的搜索排序算法得到；将至少两个搜索结果列表中的搜索结果按照列表顺序进行拆分，得到至少一个搜索结果组，其中，搜索结果组中包括每个搜索结果列表中相同排序位置的搜索结果；获取用户对至少一个搜索结果组的评分结果，并进行拟合，得到目标查询的搜索结果的评估结果。本发明专利技术实施例解决了现有评估方法中评估成本较高与评估复杂性较大的问题，降低了评估成本和评估难度，提高了评估效率。

【技术实现步骤摘要】
搜索结果的质量评估方法、装置、服务器和介质
本专利技术实施例涉及计算机
，尤其涉及一种搜索结果的质量评估方法、装置、服务器和介质。
技术介绍
对于一个成熟的互联网搜索引擎而言，为了保证优秀的用户体验，需要持续不断地改进搜索结果排序算法。而判断一个新的搜索排序算法是否达到了预期效果，就需要科学地评估搜索结果质量。搜索引擎的根本在于找到符合用户需求的信息，这通常可以利用搜索结果与用户输入的关键词之间的相关程度，即结果相关性来反映，因此，结果相关性是评估搜索引擎最重要的指标。在对搜索引擎的搜索结果质量评估过程中，为了避免正反馈的问题，需要引入人力判断。现有技术中依赖人工评估的常用方法包括QU(query-url)评估方法和并排(Side-By-Side)评估方法。但是，QU评估方法的结果稳定性较低、结果冗余、结果缺乏多样性且不能很好满足查询者的需求；相比于QU评估方法，并排评估方法可以克服QU评估的缺陷，但随之产生了其他缺陷，例如评估成本较高，评估复杂性较大。
技术实现思路
本专利技术实施例提供一种搜索结果的质量评估方法、装置、服务器和介质，以实现降低评估成本和评估难度的效果。第一方面，本专利技术实施例提供了一种搜索结果的质量评估方法，该方法包括：获取目标查询对应的至少两个搜索结果列表，其中，不同的搜索结果列表是由不同的搜索排序算法得到；将所述至少两个搜索结果列表中的搜索结果按照列表顺序进行拆分，得到至少一个搜索结果组，其中，所述搜索结果组中包括每个搜索结果列表中相同排序位置的搜索结果；获取用户对所述至少一个搜索结果组的评分结果，并进行拟合，得到目标查询的搜索结果的评估结果。第二方面，本专利技术实施例还提供了一种搜索结果的质量评估装置，该装置包括：搜索结果列表获取模块，用于获取目标查询对应的至少两个搜索结果列表，其中，不同的搜索结果列表是由不同的搜索排序算法得到；搜索结果列表拆分模块，用于将所述至少两个搜索结果列表中的搜索结果按照列表顺序进行拆分，得到至少一个搜索结果组，其中，所述搜索结果组中包括每个搜索结果列表中相同排序位置的搜索结果；评估结果确定模块，用于获取用户对所述至少一个搜索结果组的评分结果，并进行拟合，得到目标查询的搜索结果的评估结果。第三方面，本专利技术实施例还提供了一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术任一实施例所述的搜索结果的质量评估方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任一实施例所述的搜索结果的质量评估方法。本专利技术实施例通过获取目标查询对应的至少两个搜索结果列表，其中，不同的搜索结果列表是由不同的搜索排序算法得到，按照列表中的排序将至少两个搜索结果列表中的搜索结果进行拆分，然后获取用户对拆分得到的至少一个搜索结果组的评分结果，进行拟合，最终得到目标查询的搜索结果的评估结果。本专利技术实施例结合对比与拆分的思想，解决了搜索引擎的现有评估方法中评估成本较高与评估复杂性较大的问题，降低了评估成本和评估难度，提高了评估效率。附图说明图1是本专利技术实施例一提供的搜索结果的质量评估方法的流程图；图2是本专利技术实施例二提供的搜索结果的质量评估方法的流程图；图3是本专利技术实施例三提供的搜索结果的质量评估装置的结构示意图；图4是本专利技术实施例四提供的一种服务器的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1是本专利技术实施例一提供的搜索结果的质量评估方法的流程图，本实施例可适用于对搜索引擎的搜索结果质量进行评估的情况，该方法可以由搜索结果的质量评估装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在服务器中。如图1所示，该方法具体包括：S110、获取目标查询对应的至少两个搜索结果列表，其中，不同的搜索结果列表是由不同的搜索排序算法得到。针对用户在一个或者多个搜索引擎中输入的同一目标查询，例如搜索关键词或图片等信息，获取分别基于不同搜索排序算法得到的搜索结果列表，可以实现对多种搜索排序算法的搜索结果质量的评估。具体的，可以同时选择两种搜索排序算法的搜索结果列表进行评估，也可以同时选择两种以上的搜索排序算法的搜索结果列表进行评估。示例性的，针对同一目标查询，分别获取一种搜索引擎的初始搜索排序算法F和改进后的搜索排序算法F1的搜索结果列表，进行评估，可判断算法改进后搜索引擎的搜索结果质量是否有所提高；或者分别获取多种搜索引擎对应的搜索排序算法的搜索结果列表，进行评估，可实现对该多种搜索引擎的搜索结果质量的比较。S120、将至少两个搜索结果列表中的搜索结果按照列表顺序进行拆分，得到至少一个搜索结果组，其中，搜索结果组中包括每个搜索结果列表中相同排序位置的搜索结果。获取到同一目标查询的至少两个搜索结果列表之后，按照列表顺序进行拆分，得到至少一个搜索结果组，然后将目标查询与搜索结果组呈现给专家，进行搜索结果组的对比评分。经过列表拆分，专家评分过程中，无需关注整个搜索结果列表中不同排序位置的搜索结果之间的关联性，只需要关注单个搜索结果组中的搜索结果即可。相比于整体考虑整个搜索结果列表相关性进行对比评分，按照拆分后的搜索结果组进行比对评分，可以降低评估的难度和复杂性，提高评估效率，也可以提升评分稳定性，并且由于专家每次需要关注的搜索结果数量减少，专家的每次评分工作难度降低，因此评估成本也会降低。S130、获取用户对至少一个搜索结果组的评分结果，并进行拟合，得到目标查询的搜索结果的评估结果。将每个搜索结果组的评分结果进行拟合，得到针对目标查询的多个搜索结果列表的综合对比评分，即完成对目标查询的搜索结果的评估。例如，如果最终得到的评估结果是一种搜索引擎的不同改进搜索排序算法的综合对比评分，评估结果可用于判断算法改进后搜索引擎的搜索结果质量的提高情况；如果最终得到的评估结果是多种搜索引擎对应的搜索排序算法的搜索结果列表之间的综合对比评分，评估结果可用于比较该多种搜索引擎的搜索结果质量。其中，具体的拟合过程，可以是按照以预先设定的规则将列表排序位置的影响因素加以考虑的算法进行拟合，也可以是按照预先训练的拟合模型进行拟合。对于搜索结果列表拆分与搜索结果组的评分过程，结合表1和表2进行示例性说明。以下以选取两种搜索排序算法的搜索结果列表为例，应知也可以选取三种及以上的搜索排序算法。针对用户输出的目标查询XX，基于搜索排序算法Fa和搜索排序算法Fb的搜索结果列表分别为列表Ra和列表Rb。如果直接采用并排(Side-By-Side)评估方法进行评分，即对搜索结果列表不进行拆分，如表1所示，专家整体考虑两个搜索结果列表Ra和Rb的搜索结果，给出综合对比评分。其中，既要考虑不同搜索结果列表中同一排序位置的搜索结果之间的对比，还需要考虑每个搜索结果与整体搜索结果列表中其他搜索结果之间的关联性。例如，以列表前三位的排序结果为例，根据并排评估方法，评分过程中专家需要同时考虑UR本文档来自技高网...

【技术保护点】
1.一种搜索结果的质量评估方法，其特征在于，包括：获取目标查询对应的至少两个搜索结果列表，其中，不同的搜索结果列表是由不同的搜索排序算法得到；将所述至少两个搜索结果列表中的搜索结果按照列表顺序进行拆分，得到至少一个搜索结果组，其中，所述搜索结果组中包括每个搜索结果列表中相同排序位置的搜索结果；获取用户对所述至少一个搜索结果组的评分结果，并进行拟合，得到目标查询的搜索结果的评估结果。

【技术特征摘要】
1.一种搜索结果的质量评估方法，其特征在于，包括：获取目标查询对应的至少两个搜索结果列表，其中，不同的搜索结果列表是由不同的搜索排序算法得到；将所述至少两个搜索结果列表中的搜索结果按照列表顺序进行拆分，得到至少一个搜索结果组，其中，所述搜索结果组中包括每个搜索结果列表中相同排序位置的搜索结果；获取用户对所述至少一个搜索结果组的评分结果，并进行拟合，得到目标查询的搜索结果的评估结果。2.根据权利要求1所述的方法，其特征在于，每个搜索结果组中包括至少两个不同的搜索结果。3.根据权利要求1所述的方法，其特征在于，如果每个搜索结果组中包括两个搜索结果，当任意两个搜索结果组互为对调搜索结果组时，其中，所述互为对调搜索结果组是指搜索结果相同且搜索结果的位置对调的搜索结果组，则相应的，获取用户对所述至少一个搜索结果组的评分结果，包括：获取用户对所述互为对调搜索结果组中任一个搜索结果组的评分结果，并通过取相反数运算得到所述互为对调搜索结果组中另一个搜索结果组的评分结果。4.根据权利要求1～3中任一所述的方法，其特征在于，获取用户对所述至少一个搜索结果组的评分结果，并进行拟合，得到目标查询的搜索结果的评估结果，包括：获取用户对所述至少一个搜索结果组的评分结果；根据预先确定的搜索结果列表中不同排序位置对应的权重，将所述至少一个搜索结果组的评分结果进行加权求和，得到目标查询的搜索结果的评估结果。5.根据权利要求4所述的方法，其特征在于，在根据预先确定的搜索结果列表中不同排序位置对应的权重，将所述至少一个搜索结果组的评分结果进行加权求和之前，所述方法还包括：获取样本查询对应的至少两个样本搜索结果列表；利用并排评估方法对所述至少两个样本搜索结果列表中的搜索结果进行评估；将所述至少两个样本搜索结果列表按照列表顺序进行拆分，得到至少一个样本搜索结果组；获取用户对所述至少一个样本搜索结果组的评分结果；将所述并排评估方法的评估结果和用户对所述至少一个样本搜索结果组的评分结果作为输入，通过回归训练得到所述权重。6.一种搜索结果的质量评估装置，其特征在于，包括：搜索结果列表获取模块，用于获取目标查询对应的至少两个搜索结果列表，其中，不同的搜索结果列表是由不同的搜索排序算法得到；搜索结果列表拆分模块，用于将所述至少两个搜索结果列表中的搜索结果按照列表顺序进行拆分，得到至少一个搜索结果组，其中，所述...

【专利技术属性】
技术研发人员：李虓，王轶凡，吴迪，陈冠霖，贾晋康，金慈航，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11