一种评价搜索性能的方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种评价搜索性能的方法、装置、设备及可读存储介质，所述方法包括：获取设定时间段内目标用户针对目标搜索条件的衍生行为数据；其中，衍生行为数据是用户基于与搜索条件对应的搜索结果触发的行为数据；按照行为类型对获取到的所有衍生行为数据进行分类统计，并根据分类统计结果计算出针对所述目标搜索条件的搜索准确率；获取与所述目标搜索条件对应的搜索结果总数量，并根据所述搜索结果总数量和所述搜索准确率计算出针对所述目标搜索条件的搜索召回率；根据所述搜索准确率和所述搜索召回率，对与所述目标搜索条件对应的搜索性能进行评价；本发明专利技术可以更深层次、更全面、更精确的评价搜索性能。

【技术实现步骤摘要】
一种评价搜索性能的方法、装置、设备及可读存储介质
本专利技术涉及搜索评价
，特别涉及一种评价搜索性能的方法、装置、设备及可读存储介质。
技术介绍
在工程建筑领域，设计师在设计建筑模型时，通常会用到模型构件进行建模，通过搜索引擎以查找到模型构件是设计建模中非常重要的一环，因此搜索引擎是否能够找到准确、合适的模型构件就尤为重要；目前，通常采用Cranfield评价体系对搜索引擎的搜索性能进行评价；在Cranfield评价体系中，会使用Precision准确率和Recall召回率两个指标来对搜索引擎的搜索性能进行评价；但是，Precision和Recall指标仅仅是基于与搜索条件对应的实际搜索结果和正确搜索结果计算得到的，并没有考虑到其他因素；若仅通过现有的Precision和Recall指标进行搜索性能的评价，会出现评价偏差，导致评价结果不准确的问题。
技术实现思路
本专利技术的目的在于提供一种评价搜索性能的方法、装置、设备及可读存储介质，可以更深层次、更全面、更精确的评价搜索性能。根据本专利技术的一个方面，提供了一种评价搜索性能的方法，所述方法包括：获取设定时间段内目标用户针对目标搜索条件的衍生行为数据；其中，衍生行为数据是用户基于与搜索条件对应的搜索结果触发的行为数据；按照行为类型对获取到的所有衍生行为数据进行分类统计，并根据分类统计结果计算出针对所述目标搜索条件的搜索准确率；获取与所述目标搜索条件对应的搜索结果总数量，并根据所述搜索结果总数量和所述搜索准确率计算出针对所述目标搜索条件的搜索召回率；根据所述搜索准确率和所述搜索召回率，对与所述目标搜索条件对应的搜索性能进行评价。可选的，在所述获取设定时间段内目标用户针对目标搜索条件的衍生行为数据之前，所述方法还包括：获取用户触发的搜索条件，并生成与所述用户对应的用户标识以及与所述搜索条件对应的搜索摘要；判断在预设的缓存中是否存在包含所述用户标识和所述搜索摘要的搜索记录；若是，则获取包含在所述搜索记录中的会话ID；若否，则生成唯一的会话ID，并将生成的会话ID、所述用户标识和所述搜索摘要作为一个新的搜索记录存储至所述缓存中；获取所述用户针对所述搜索条件的衍生行为数据，使用所述会话ID对获取到的每个衍生行为数据进行标记，并将标记后的衍生行为数据存储至所述缓存中。可选的，所述获取设定时间段内目标用户针对目标搜索条件的衍生行为数据，包括：获取所述目标用户的用户标识；从所述缓存中确定出包含所述用户标识的搜索记录；从确定出的所有搜索记录中筛选出包含与所述目标搜索条件对应的搜索摘要的目标搜索记录；分别从每个目标搜索记录中获取出目标会话ID；从所述缓存中获取标记有所述目标会话ID的衍生行为数据。可选的，所述按照行为类型对获取到的所有衍生行为数据进行分类统计，并根据分类统计结果计算出针对所述目标搜索条件的搜索准确率，包括：按照行为类型对获取到的所有衍生行为数据进行分类，并统计出每种行为类型下的衍生行为数据的数据数量；根据每种行为类型的数据数量C和每种行为类型的预设权重值W，按照如下公式计算出针对所述目标搜索条件的搜索准确率P：其中，i为正整数，N为行为类型的种类数量。可选的，所述获取与所述目标搜索条件对应的搜索结果总数量，并根据所述搜索结果总数量和所述搜索准确率计算出针对所述目标搜索条件的搜索召回率，包括：按照如下公式计算出针对所述目标搜索条件的搜索召回率R：R＝σ*P+(1-σ)*S；其中，σ为预设比例值；S为所述搜索结果总数量。可选的，所述根据所述搜索准确率和所述搜索召回率，对与所述目标搜索条件对应的搜索性能进行评价，包括：判断所述搜索准确率是否大于第一预设期望阈值；若是，则在所述搜索召回率大于第二预设期望值的情况下获取第一评价结果，在所述搜索召回率小于第二预设期望值的情况下获取第二评价结果；若否，则获取第三评价结果。为了实现上述目的，本专利技术还提供一种评价搜索性能的装置，所述装置具体包括以下组成部分：获取模块，用于获取设定时间段内目标用户针对目标搜索条件的衍生行为数据；其中，衍生行为数据是用户基于与搜索条件对应的搜索结果触发的行为数据；分类模块，用于按照行为类型对获取到的所有衍生行为数据进行分类统计，并根据分类统计结果计算出针对所述目标搜索条件的搜索准确率；计算模块，用于获取与所述目标搜索条件对应的搜索结果总数量，并根据所述搜索结果总数量和所述搜索准确率计算出针对所述目标搜索条件的搜索召回率；评价模块，用于根据所述搜索准确率和所述搜索召回率，对与所述目标搜索条件对应的搜索性能进行评价。可选的，所述装置还包括：生成模块，用于获取用户触发的搜索条件，并生成与所述用户对应的用户标识以及与所述搜索条件对应的搜索摘要；判断模块，用于判断在预设的缓存中是否存在包含所述用户标识和所述搜索摘要的搜索记录；处理模块，用于若是，则获取包含在所述搜索记录中的会话ID；若否，则生成唯一的会话ID，并将生成的会话ID、所述用户标识和所述搜索摘要作为一个新的搜索记录存储至所述缓存中；标记模块，用于获取所述用户针对所述搜索条件的衍生行为数据，使用所述会话ID对获取到的每个衍生行为数据进行标记，并将标记后的衍生行为数据存储至所述缓存中。为了实现上述目的，本专利技术还提供一种计算机设备，该计算机设备具体包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述介绍的评价搜索性能的方法的步骤。为了实现上述目的，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述介绍的评价搜索性能的方法的步骤。本专利技术提供的评价搜索性能的方法、装置、设备及可读存储介质，在利用Cranfield评价体系对搜索引擎进行搜索性能的评价过程中，当计算Precision和Recall指标时，考虑到了用户基于搜索结果而触发的衍生行为数据；由于这些衍生行为数据更能体现出用户对搜索结果的满意度以及搜索引擎的搜索结果的质量；因此，当利用这些衍生行为数据来计算Precision和Recall指标时，可以得到更好的用于评价搜索性能的评价指标，从而可以更深层次、更全面、更精确的评价搜索引擎的搜索性能。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为实施例一提供的评价搜索性能的方法的一种可选的流程示意图；图2为实施例二提供的评价搜索性能的装置的一种可选的组成结构示意图；图3为实施例三提供的计算机设备的一种可选的硬件架构示意本文档来自技高网...

【技术保护点】
1.一种评价搜索性能的方法，其特征在于，所述方法包括：/n获取设定时间段内目标用户针对目标搜索条件的衍生行为数据；其中，衍生行为数据是用户基于与搜索条件对应的搜索结果触发的行为数据；/n按照行为类型对获取到的所有衍生行为数据进行分类统计，并根据分类统计结果计算出针对所述目标搜索条件的搜索准确率；/n获取与所述目标搜索条件对应的搜索结果总数量，并根据所述搜索结果总数量和所述搜索准确率计算出针对所述目标搜索条件的搜索召回率；/n根据所述搜索准确率和所述搜索召回率，对与所述目标搜索条件对应的搜索性能进行评价。/n

【技术特征摘要】
1.一种评价搜索性能的方法，其特征在于，所述方法包括：
获取设定时间段内目标用户针对目标搜索条件的衍生行为数据；其中，衍生行为数据是用户基于与搜索条件对应的搜索结果触发的行为数据；
按照行为类型对获取到的所有衍生行为数据进行分类统计，并根据分类统计结果计算出针对所述目标搜索条件的搜索准确率；
获取与所述目标搜索条件对应的搜索结果总数量，并根据所述搜索结果总数量和所述搜索准确率计算出针对所述目标搜索条件的搜索召回率；
根据所述搜索准确率和所述搜索召回率，对与所述目标搜索条件对应的搜索性能进行评价。


2.根据权利要求1所述的评价搜索性能的方法，其特征在于，在所述获取设定时间段内目标用户针对目标搜索条件的衍生行为数据之前，所述方法还包括：
获取用户触发的搜索条件，并生成与所述用户对应的用户标识以及与所述搜索条件对应的搜索摘要；
判断在预设的缓存中是否存在包含所述用户标识和所述搜索摘要的搜索记录；
若是，则获取包含在所述搜索记录中的会话ID；若否，则生成唯一的会话ID，并将生成的会话ID、所述用户标识和所述搜索摘要作为一个新的搜索记录存储至所述缓存中；
获取所述用户针对所述搜索条件的衍生行为数据，使用所述会话ID对获取到的每个衍生行为数据进行标记，并将标记后的衍生行为数据存储至所述缓存中。


3.根据权利要求2所述的评价搜索性能的方法，其特征在于，所述获取设定时间段内目标用户针对目标搜索条件的衍生行为数据，包括：
获取所述目标用户的用户标识；
从所述缓存中确定出包含所述用户标识的搜索记录；
从确定出的所有搜索记录中筛选出包含与所述目标搜索条件对应的搜索摘要的目标搜索记录；
分别从每个目标搜索记录中获取出目标会话ID；
从所述缓存中获取标记有所述目标会话ID的衍生行为数据。


4.根据权利要求1所述的评价搜索性能的方法，其特征在于，所述按照行为类型对获取到的所有衍生行为数据进行分类统计，并根据分类统计结果计算出针对所述目标搜索条件的搜索准确率，包括：
按照行为类型对获取到的所有衍生行为数据进行分类，并统计出每种行为类型下的衍生行为数据的数据数量；
根据每种行为类型的数据数量C和每种行为类型的预设权重值W，按照如下公式计算出针对所述目标搜索条件的搜索准确率P：



其中，i为正整数，N为行为类型的种类数量。


5.根据权利要求4所述的评价搜索性能的方法，其特征在于，所述获取与所述目标搜索条件对应的搜索结果总数量，并根据所述...

【专利技术属性】
技术研发人员：刘佳，赵顺，
申请(专利权)人：广联达科技股份有限公司，
类型：发明
国别省市：北京;11