搜索效果的监控方法和装置制造方法及图纸

本发明专利技术提供一种搜索效果的监控方法和装置。该方法包括：从搜索记录中获取监控周期内的N个搜索结果，其中，N大于或等于1；根据所述N个搜索结果，确定所述N个搜索结果对应的N个评价指标NDCG；根据所述N个评价指标NDCG，确定所述监控周期内的搜索得分。实现了搜索效果的自动化监控。

Monitoring method and device of search effect

【技术实现步骤摘要】
搜索效果的监控方法和装置
本专利技术人涉及互联网搜索技术，尤其涉及一种搜索效果的监控方法和装置。
技术介绍
网络搜索是指利用搜索引擎对互联网上的信息进行搜索。具体过程为，用户在搜索栏输入关键词并点击检索后，搜索引擎便会从索引数据库中找到匹配该关键词的网页，进而将网页展示给用户。对用户来说，输入关键词后，如果展示给用户的网页是按照与关键词的相关性从大到小依次排列的，那么用户从排在前面的几个网页的内容便可获得最有效的信息，用户搜索体验会提高；对于搜索引擎来说，将与关键词相关性较高的排在前面，被用户看到的概率是比较大，可以提高用户点击打开网页数量，从而增加收益。可见，对线上搜索效果进行实时监控，并根据监控结果及时地对搜索算法进行改进有重要的意义。目前，现有技术还无法实现对搜索效果的监控。
技术实现思路
本专利技术提供一种搜索效果的监控方法和装置，用以解决搜索效果无法监控的难题。第一方面，本专利技术提供一种搜索效果的监控方法，包括：从搜索记录中获取监控周期内的N个搜索结果，其中，N大于或等于1；根据所述N个搜索结果，确定所述N个搜索结果对应的N个评价指标NDCG；根据所述N个评价指标NDCG，确定所述监控周期内的搜索得分。可选的，所述根据所述N个搜索结果，确定所述N个搜索结果对应的N个评价指标NDCG，包括：获取所述N个搜索结果对应的N个基准数据，所述N个搜索结果和所述N个基准数据一一对应；根据所述N个搜索结果和所述N个基准数据，确定所述N个搜索结果对应的N个评价指标NDCG。可选的，所述获取所述N个搜索结果对应的N个基准数据，包括：通过点击模型获取所述N个搜索结果对应的N个基准数据。可选的，所述根据所述N个搜索结果和所述N个基准数据，确定所述N个搜索结果对应的N个评价指标NDCG，包括：根据每个搜索结果，获取每个搜索结果对应的评价得分；根据每个基准数据，获取每个搜索结果对应的理想评价得分；根据所述评价得分和所述理想评价得分，确定每个搜索结果对应的评价指标NDCG。可选的，所述根据每个搜索结果，获取每个搜索结果对应的评价得分，包括：根据如下公式确定每个搜索结果对应的评价得分；其中，DCGp表示第一搜索结果对应的评价得分，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果包含的所有文档中选择排在前面的文档的数量，reli表示p个文档中第i个文档的相关等级。可选的，所述根据每个基准数据，获取每个搜索结果对应的理想评价得分，包括：根据如下公式确定每个搜索结果对应的理想评价得分：其中，IDCGp表示第一搜索结果对应的理想评价得分，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果包含的所有文档中选择排在前面的文档的数量，rel用于指示按照第一搜索结果对应的基准数据的文档排列顺序求和，第一搜索结果对应的基准数据为将p个文档按照相关等级从大到小排序得到的数据，reli表示p个文档中第i个文档的相关等级。可选的，所述根据所述评价得分和所述理想评价得分，确定每个搜索结果对应的评价指标NDCG，包括：根据如下公式确定每个搜索结果对应的评价指标NDCG：其中，NDCGp表示第一搜索结果对应的评价指标，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果对应的所有文档中选择排在前面的文档的数量，DCGp表示第一搜索结果对应的评价得分；IDCGp表示第一搜索结果对应的理想评价得分。可选的，所述根据所述N个评价指标NDCG，确定所述监控周期内的搜索得分，包括：对所述N个评价指标NDCG取平均，得到所述监控周期内的搜索得分。第二方面，本专利技术提供一种搜索效果的监控平台，包括：获取模块，用于从搜索记录中获取监控周期内的N个搜索结果，其中，N大于或等于1；第一确定模块，用于根据所述N个搜索结果，确定所述N个搜索结果对应的N个评价指标NDCG；第二确定模块，用于根据所述N个评价指标NDCG，确定所述监控周期内的搜索得分。可选的，所述第一确定模块，包括：获取单元和确定单元；所述获取单元，用于获取所述N个搜索结果对应的N个基准数据，所述N个搜索结果和所述N个基准数据一一对应；所述确定单元，用于根据所述N个搜索结果和所述N个基准数据，确定所述N个搜索结果对应的N个评价指标NDCG。可选的，所述获取单元，具体用于通过点击模型获取所述N个搜索结果对应的N个基准数据。可选的，所述确定单元，具体用于根据每个搜索结果，获取每个搜索结果对应的评价得分；根据每个基准数据，获取每个搜索结果对应的理想评价得分；根据所述评价得分和所述理想评价得分，确定每个搜索结果对应的评价指标NDCG。可选的，所述确定单元，具体用于根据如下公式确定每个搜索结果对应的评价得分；其中，DCGp表示第一搜索结果对应的评价得分，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果包含的所有文档中选择排在前面的文档的数量，reli表示p个文档中第i个文档的相关等级。可选的，所述确定单元，具体用于根据如下公式确定每个搜索结果对应的理想评价得分：其中，IDCGp表示第一搜索结果对应的理想评价得分，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果包含的所有文档中选择排在前面的文档的数量，|rel|用于指示按照第一搜索结果对应的基准数据的文档排列顺序求和，第一搜索结果对应的基准数据为将p个文档按照相关等级从大到小排序得到的数据，reli表示p个文档中第i个文档的相关等级。可选的，所述确定单元，具体用于根据如下公式确定每个搜索结果对应的评价指标NDCG：其中，NDCGp表示第一搜索结果对应的评价指标，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果对应的所有文档中选择排在前面的文档的数量，DCGp表示第一搜索结果对应的评价得分；IDCGp表示第一搜索结果对应的理想评价得分。可选的，所述第二确定模块，具体用于对所述N个评价指标NDCG取平均，得到所述监控周期内的搜索得分。第三方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述搜索效果的监控方法。第四方面，本专利技术提供一种服务器，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来实现上述搜索效果的监控方法。本专利技术提供的搜索效果的监控方法和装置，首先从搜索记录中获取监控周期内的N个搜索结果，然后根据N个搜索结果，确定N个搜索结果对应的N个评价指标NDCG；最后根据N个评价指标NDCG，确定监控周期内的搜索得分。实现了搜索效果的自动化监控。本文档来自技高网...

【技术保护点】
1.一种搜索效果的监控方法，其特征在于，包括：/n从搜索记录中获取监控周期内的N个搜索结果，其中，N大于或等于1；/n根据所述N个搜索结果，确定所述N个搜索结果对应的N个评价指标NDCG；/n根据所述N个评价指标NDCG，确定所述监控周期内的搜索得分。/n

【技术特征摘要】
1.一种搜索效果的监控方法，其特征在于，包括：
从搜索记录中获取监控周期内的N个搜索结果，其中，N大于或等于1；
根据所述N个搜索结果，确定所述N个搜索结果对应的N个评价指标NDCG；
根据所述N个评价指标NDCG，确定所述监控周期内的搜索得分。


2.根据权利要求1所述的方法，其特征在于，所述根据所述N个搜索结果，确定所述N个搜索结果对应的N个评价指标NDCG，包括：
获取所述N个搜索结果对应的N个基准数据，所述N个搜索结果和所述N个基准数据一一对应；
根据所述N个搜索结果和所述N个基准数据，确定所述N个搜索结果对应的N个评价指标NDCG。


3.根据权利要求2所述的方法，其特征在于，所述获取所述N个搜索结果对应的N个基准数据，包括：
通过点击模型获取所述N个搜索结果对应的N个基准数据。


4.根据权利要求2所述的方法，其特征在于，所述根据所述N个搜索结果和所述N个基准数据，确定所述N个搜索结果对应的N个评价指标NDCG，包括：
根据每个搜索结果，获取每个搜索结果对应的评价得分；
根据每个基准数据，获取每个搜索结果对应的理想评价得分；
根据所述评价得分和所述理想评价得分，确定每个搜索结果对应的评价指标NDCG。


5.根据权利要求4所述的方法，其特征在于，所述根据每个搜索结果，获取每个搜索结果对应的评价得分，包括：
根据如下公式确定每个搜索结果对应的评价得分；



其中，DCGp表示第一搜索结果对应的评价得分，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果包含的所有文档中选择排在前面的文档的数量，reli表示p个文档中第i个文档的相关等级。


6.根据权利要求4所述的方法，其特征在于，所述根据每个基准数据，获取每个搜索结果对应的理想评价得分，包括：
根据如下公式确定每个搜索结果对应的理想评价得分：



其中，IDCGp表示第一搜索结果对应的理想评价得分，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果包含的所有文档中选择排在前面的文档的数量，|rel|用于指示按照第一搜索结果对应的基准数据的文档排列顺序求和，第一搜索结果对应的基准数据为将p个文档按照相关等级从大到小排序得到的数据，reli表示p个文档中第i个文档的相关等级。


7.根据权利要求4所述的方法，其特征在于，所述根据所述评价得分和所述理想评价得分，确定每个搜索结果对应的评价指标NDCG，包括：
根据如下公式确定每个搜索结果对应的评价指标NDCG：



其中，NDCGp表示第一搜索结果对应的评价指标，所述第一搜索结果为所述N个搜索结果中的任一搜索结果，p为从第一搜索结果对应的所有文档中选择排在前面的文档的数量，DCGp表示第一搜索结果对应的评价得分，IDCGp表示第一搜索结果对应的理想评价得分。


8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据所述N个评价指标NDCG，确定所述监控周期内的搜索得分，包括：
对所述N个评价指标NDCG取平均，得到所述监控周期内的搜索得分。


9.一种搜索效果的监控平台，其特征在于，包括：
获取模块，用于从搜索记录...

【专利技术属性】
技术研发人员：张松，侯守虎，邓林，
申请(专利权)人：广州神马移动信息科技有限公司，
类型：发明
国别省市：广东;44