The embodiment of the invention discloses a method and device for determining the stability of search function. The embodiment method of the present invention includes: obtaining the first document list corresponding to the base version application and the second document list corresponding to the target version application; calculating the sub-difference value between the first sub-list and the second sub-list corresponding to the same search word in the search word set, and the first document list includes each search word pair in the search set. The first sub-list and the second document list include the second sub-list corresponding to each search word in the search set; the difference information between the first document list and the second document list corresponding to each search word set is determined according to the sub-difference value corresponding to each search word set; and the stability of the search function of the target version application is determined according to the difference information. Qualitative difference information is negatively related to the stability of search function in target version application. The embodiment of the present invention also provides a device for determining the stability of search function, which quantifies the evaluation criteria of stability through indicators and improves accuracy.
【技术实现步骤摘要】
一种确定搜索功能稳定性及装置
本专利技术涉及计算机领域,尤其涉及一种确定搜索功能稳定性的方法及装置。
技术介绍
包括搜索服务的应用在服务迭代的过程中,对服务的版本更新是比较常用的一个流程。其中对新版本的搜索服务的稳定性评估也是其中重要的一个环节,若不确定新版本的搜索服务的稳定性,则该新版本上线后可能后出现问题。例如,以视频应用为例,当前该视频应用需要进行升级,将老版本升级为新版本,假设老版本的视频应用接收到一个检索词,该检索词为“黎明的早晨”,该老版本的视频应用反馈搜索结果,该搜索结果为“黎明的早晨”这部电视剧的相关视频,同样的,新版本的视频应用接收到该检索词,该新版本的视频应用反馈的搜索结果为包括大量的“黎明”这位演员的相关视频,而“黎明的早晨”这部电视剧的相关视频很少,从这个例子可以看出,新版本的搜索服务并不准确。传统方法中,为了确定新版本应用的搜索服务的稳定性的方法主要是人工的确定方法,例如由测试人员对新版本应用反馈的结果和老版本应用反馈的结果进行对比,通过测试人员的主观判断确定该新版本应用的搜索服务的稳定性。人为的主观判断新版本应用搜索服务的稳定性,浪费人力成本和时间成本,并且主观性较强,不同的测试人员对待同一个结果的判断可能有所不同,判断错误的概率较高。
技术实现思路
本专利技术实施例提供了一种确定搜索功能稳定性的方法及装置。用于将稳定性的评估标准通过指标量化,提高准确性。第一方面,本专利技术实施例中提供了一种确定搜索功能稳定性的方法,包括:获取基准版本应用对应的第一文档列表及目标版本应用对应的第二文档列表,所述第一文档列表为第一代理服务器根据检索词 ...
【技术保护点】
1.一种确定搜索功能稳定性的方法,其特征在于,包括:获取基准版本应用对应的第一文档列表及目标版本应用对应的第二文档列表,所述第一文档列表为第一代理服务器根据检索词集合进行搜索后得到的结果信息,所述第二文档列表为第二代理服务器根据所述检索词集合进行搜索后得到的结果信息;计算所述检索词集合中的同一个检索词对应的第一子列表与第二子列表的子差异值,所述第一文档列表包括所述检索集合中每个检索词对应的第一子列表,所述第二文档列表包括所述检索集合中每个检索词对应的第二子列表;根据每个检索词对应的子差异值确定所述检索词集合对应的所述第一文档列表与所述第二文档列表的差异信息;根据所述差异信息确定所述目标版本应用的搜索功能的稳定性,所述差异信息与所述目标版本应用的搜索功能的稳定性负相关。
【技术特征摘要】
1.一种确定搜索功能稳定性的方法,其特征在于,包括:获取基准版本应用对应的第一文档列表及目标版本应用对应的第二文档列表,所述第一文档列表为第一代理服务器根据检索词集合进行搜索后得到的结果信息,所述第二文档列表为第二代理服务器根据所述检索词集合进行搜索后得到的结果信息;计算所述检索词集合中的同一个检索词对应的第一子列表与第二子列表的子差异值,所述第一文档列表包括所述检索集合中每个检索词对应的第一子列表,所述第二文档列表包括所述检索集合中每个检索词对应的第二子列表;根据每个检索词对应的子差异值确定所述检索词集合对应的所述第一文档列表与所述第二文档列表的差异信息;根据所述差异信息确定所述目标版本应用的搜索功能的稳定性,所述差异信息与所述目标版本应用的搜索功能的稳定性负相关。2.根据权利要求1所述的方法,其特征在于,所述第一文档列表和所述第二文档列表中的文档均按照序号排列,所述计算所述检索词集合中的同一个检索词对应的第一子列表与第二子列表的子差异值,包括:确定第一子列表中序号P对应的目标文档在所述第一子列表中的第一位置,所述P取遍1至N中的每一个数值,所述N为大于或者等于1的正整数;确定所述目标文档在第二子列表中的所对应的第二位置;根据所述第一位置和所述第二位置确定所述序号P对应的目标文档的文档差异值;当所述第一子列表中包括的文档数量为N时,将N个所述文档差异值进行累加,得到同一个检索词对应的第一子列表与所述第二子列表的子差异值。3.根据权利要求2所述的方法,其特征在于,所述根据所述第一位置和所述第二位置确定所述序号P对应的目标文档的文档差异值,包括:按照如下公式计算所述文档差异值:其中,posa用于表示所述目标文档在所述第一子列表中的第一位置,posb用于表示所述目标文档在第二子列表中的所述第二位置。4.根据权利要求2所述的方法,其特征在于,所述根据所述第一位置和所述第二位置确定所述序号P对应的目标文档的文档差异值,包括:按照如下公式计算所述文档差异值:其中,k为大于0常数,posa用于表示所述目标文档在所述第一子列表中的第一位置,posb用于表示所述目标文档在第二子列表中的所述第二位置。5.根据权利要求1至4中任一项所述的方法,其特征在于,所述根据每个检索词对应的子差异值确定所述检索词集合对应的所述第一文档列表与所述第二文档列表的差异信息,包括:将所述检索词集合中每个检索词对应的子差异值进行合并,得到多个子差异值的集合信息,所述集合信息为所述第一文档列表与所述第二文档列表的差异信息。6.根据权利要求1至4中任一项所述的方法,其特征在于,所述根据每个检索词对应的子差异值确定所述检索词集合对应的所述第一文档列表与所述第二文档列表的差异信息,包括:确定在所述检索词集合中子差异值小于或者等于目标阈值的目标检索词的数量,该差异信息为所述目标检索词的数量。7.根据权利要求1至4中任一项所述的方法,其特征在于,所述第一文档列表和所述第二文档列表中的文档均按照序号排列,所述方法还包括:针对每一个检索词,确定在所述第一子列表和所述第二子列表中序号P之前的文档信息是否一致,所述P为大于或者等于1的正整数;从所述检索词集合中确定所述序号P之前的文档信息不一致的目标检索词的数量;根据所述目标检索词的数量确定所述目标版本应用相对于所述基准版本应用的波动信息,所述波动信息与所述稳定性负相关。8.根据权利要求7所述的方法,其特征在于,所述波动信息包括检索词波动数和波动率,所述检索词波动数为所述检索词集合中所述序号P之前的文档信息不一致的目标检索词的数量,所述波动率为所述目标检索词的数量与所述检索词集合中的检...
【专利技术属性】
技术研发人员:冯斌,
申请(专利权)人:腾讯科技深圳有限公司,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。