视频搜索评价方法和系统技术方案

技术编号:20842375 阅读:25 留言:0更新日期:2019-04-13 08:43
本发明专利技术提供了一种视频搜索评价方法和系统,该方法包括:将一个视频搜索请求进行两次视频检索,并且两次检索使用不同的视频搜索策略,并对采用不同视频搜索策略搜索得到的两种视频排序结果进行重新排序,并将排序后的目标视频排序结果返回给用户,使得用户的一次视频搜索请求的响应结果可以命中两种视频搜索策略,并基于用户对该目标视频排序结果中选取的多个目标候选视频,来判断每个目标候选视频在上述两种视频排序结果中分别所处的排列次序的大小关系,从而评价两种视频搜索策略的优劣。提升了对视频搜索策略评价的灵敏度,并降低了测试流量的占比。

【技术实现步骤摘要】
视频搜索评价方法和系统
本专利技术涉及视频搜索
,特别是涉及一种视频搜索评价方法和系统。
技术介绍
目前,随着软件版本的不断升级和改进,视频软件中常常会涉及视频搜索策略的更新迭代,那么为了确定新的视频搜索策略是否优于目前的已有视频搜索策略,一般在将新的视频搜索策略上线之前通过A/Btest的方式进行评估。具体而言,A/Btest的对照组(例如应用已有视频搜索策略A的流量)和实验组(例如应用新的视频搜索策略B的流量)一般分配在不同的方法策略桶(bucket)中,一个bucket表示一份流量。即,分配至bucket_A的流量(视频搜索请求)会使用视频搜索策略A进行视频搜索,分配至bucket_B的流量(视频搜索请求)会使用视频搜索策略B进行视频搜索,然后,将视频搜索结果均返回给相应的用户,最后,根据用户对视频搜索结果的点击量、转化量等参数,来确定哪种视频搜索策略更具优势。由此可见,A/Btest评估方法需要对每种视频搜索策略都分配一个方法策略桶(即一份流量),那么在评估视频搜索策略时,则需要多份流量,而当系统分配的用于测试的流量较少时,则会使得每种视频搜索策略分配到的流量更少,容易造成评估不准确的问题。此外,一般新上线的视频搜索策略B与已有视频搜索策略A之间的差异很小,例如只是几个参数的权重有比较小的改变等,但是,A/Btest却容易给出波动较大的评价结果,使得评价灵敏度较差。由此可见,传统技术中的视频搜索评价方案普遍存在着测试流量占比高、测试灵敏度差的问题。
技术实现思路
本专利技术提供了一种视频搜索评价方法和系统,以解决现有技术中的视频搜索评价方案所存在的测试流量占比高、测试灵敏度差的问题。为了解决上述问题,根据本专利技术的一个方面,本专利技术公开了一种视频搜索评价方法,包括:将目标视频搜索请求分两次发送至视频检索模块,其中,两次发送地所述目标视频搜索请求分别作第一视频搜索策略的标记和第二视频搜索策略的标记,其中,所述目标视频搜索请求为分配至目标方法策略桶的任意一个视频搜索请求;接收所述视频检索模块发送的分别响应两次目标视频搜索请求的第一视频排序结果和第二视频排序结果,其中,所述第一视频排序结果为根据所述第一视频搜索策略而搜索到的结果,第二视频排序结果为根据所述第二视频搜索策略而搜索到的结果,其中,所述第一视频排序结果包括N个候选视频,所述第二视频排序结果包括所述N个候选视频,N大于等于1;根据所述第一视频排序结果和所述第二视频排序结果,对所述N个候选视频重新排序,得到目标视频排序结果;响应于所述目标视频搜索请求,将所述目标视频排序结果返回至用户;确定所述用户在所述目标视频排序结果中选取的多个目标候选视频;获取所述多个目标候选视频中每个目标候选视频,在所述第一视频排序结果以及所述第二视频排序结果中,分别所处的第一排列次序以及第二排列次序;根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系,评价所述第一视频搜索策略和所述第二视频搜索策略的视频搜索效果。可选地,所述根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系,评价所述第一视频搜索策略和所述第二视频搜索策略的视频搜索效果之后,所述方法还包括:获取所述视频检索模块的预设压力参数;当所述预设压力参数大于或等于预设压力参数阈值时,按照预设比例降低待分配至所述目标方法策略桶的目标视频搜索请求的最大值;根据降低后的所述最大值,确定分配至所述目标方法策略桶的目标视频搜索请求的数量。可选地,所述将目标视频搜索请求分两次发送至视频检索模块之前,所述方法还包括:获取目标方法策略桶的预设流量配置信息;获取接收到的每个视频搜索请求中的预设ID信息;根据所述预设流量配置信息和每个视频搜索请求中的预设ID信息,确定待分配至所述目标方法策略桶的目标视频搜索请求;将接收到的所述目标视频搜索请求分配至所述目标方法策略桶。可选地,所述响应于所述目标视频搜索请求,将所述目标视频排序结果返回至用户之前,所述方法还包括:记录所述目标视频排序结果中每个候选视频,在所述第一视频排序结果以及所述第二视频排序结果中,分别所处的第一排列次序以及第二排列次序。可选地,所述视频检索模块包括多个分片服务器,所述将目标视频搜索请求分两次发送至视频检索模块,包括:将所述目标视频搜索请求分两次分发给多个分片服务器进行视频检索;所述接收所述视频检索模块发送的分别响应两次目标视频搜索请求的第一视频排序结果和第二视频排序结果,包括:接收来自所述多个分片服务器的多个第一分片结果和多个第二分片结果;对所述多个第一分片结果进行归并处理,得到第一视频排序结果;对所述多个第二分片结果进行归并处理,得到第二视频排序结果。可选地,所述根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系,评价所述第一视频搜索策略和所述第二视频搜索策略的视频搜索效果,包括:根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系,计算视频搜索策略的评价参数;若所述评价参数大于预设评价阈值,则确定相较于所述第二视频搜索策略,所述第一视频搜索策略的视频搜索效果更优;若所述评价参数小于预设评价阈值,则确定相较于所述第一视频搜索策略,所述第二视频搜索策略的视频搜索效果更优;若所述评价参数等于预设评价阈值,则确定所述第二视频搜索策略和所述第一视频搜索策略的视频搜索效果相同。根据本专利技术的另一方面,本专利技术还公开了一种视频搜索评价系统,包括:发送模块,用于将目标视频搜索请求分两次发送至视频检索模块,其中,两次发送地所述目标视频搜索请求分别作第一视频搜索策略的标记和第二视频搜索策略的标记,其中,所述目标视频搜索请求为分配至目标方法策略桶的任意一个视频搜索请求;接收模块,用于接收所述视频检索模块发送的分别响应两次目标视频搜索请求的第一视频排序结果和第二视频排序结果,其中,所述第一视频排序结果为根据所述第一视频搜索策略而搜索到的结果,第二视频排序结果为根据所述第二视频搜索策略而搜索到的结果,其中,所述第一视频排序结果包括N个候选视频,所述第二视频排序结果包括所述N个候选视频,N大于等于1;重排模块,用于根据所述第一视频排序结果和所述第二视频排序结果,对所述N个候选视频重新排序,得到目标视频排序结果;响应模块,用于响应于所述目标视频搜索请求,将所述目标视频排序结果返回至用户;第一确定模块,用于确定所述用户在所述目标视频排序结果中选取的多个目标候选视频;第一获取模块,用于获取所述多个目标候选视频中每个目标候选视频,在所述第一视频排序结果以及所述第二视频排序结果中,分别所处的第一排列次序以及第二排列次序;评价模块,用于根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系,评价所述第一视频搜索策略和所述第二视频搜索策略的视频搜索效果。可选地,所述系统还包括:第二获取模块,用于获取所述视频检索模块的预设压力参数;降低模块,用于当所述预设压力参数大于或等于预设压力参数阈值时,按照预设比例降低待分配至所述目标系统策略桶的目标视频搜索请求的最大值;第二确定模块,用于根据降低后的所述最大值,确定分配至所述目标系统策略桶的目标视频搜索请求的数量。可选地,所述系统还包括:第三获取模块,本文档来自技高网...

【技术保护点】
1.一种视频搜索评价方法,其特征在于,包括:将目标视频搜索请求分两次发送至视频检索模块,其中,两次发送地所述目标视频搜索请求分别作第一视频搜索策略的标记和第二视频搜索策略的标记,其中,所述目标视频搜索请求为分配至目标方法策略桶的任意一个视频搜索请求;接收所述视频检索模块发送的分别响应两次目标视频搜索请求的第一视频排序结果和第二视频排序结果,其中,所述第一视频排序结果为根据所述第一视频搜索策略而搜索到的结果,第二视频排序结果为根据所述第二视频搜索策略而搜索到的结果,其中,所述第一视频排序结果包括N个候选视频,所述第二视频排序结果包括所述N个候选视频,N大于等于1;根据所述第一视频排序结果和所述第二视频排序结果,对所述N个候选视频重新排序,得到目标视频排序结果;响应于所述目标视频搜索请求,将所述目标视频排序结果返回至用户;确定所述用户在所述目标视频排序结果中选取的多个目标候选视频;获取所述多个目标候选视频中每个目标候选视频,在所述第一视频排序结果以及所述第二视频排序结果中,分别所处的第一排列次序以及第二排列次序;根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系,评价所述第一视频搜索策略和所述第二视频搜索策略的视频搜索效果。...

【技术特征摘要】
1.一种视频搜索评价方法,其特征在于,包括:将目标视频搜索请求分两次发送至视频检索模块,其中,两次发送地所述目标视频搜索请求分别作第一视频搜索策略的标记和第二视频搜索策略的标记,其中,所述目标视频搜索请求为分配至目标方法策略桶的任意一个视频搜索请求;接收所述视频检索模块发送的分别响应两次目标视频搜索请求的第一视频排序结果和第二视频排序结果,其中,所述第一视频排序结果为根据所述第一视频搜索策略而搜索到的结果,第二视频排序结果为根据所述第二视频搜索策略而搜索到的结果,其中,所述第一视频排序结果包括N个候选视频,所述第二视频排序结果包括所述N个候选视频,N大于等于1;根据所述第一视频排序结果和所述第二视频排序结果,对所述N个候选视频重新排序,得到目标视频排序结果;响应于所述目标视频搜索请求,将所述目标视频排序结果返回至用户;确定所述用户在所述目标视频排序结果中选取的多个目标候选视频;获取所述多个目标候选视频中每个目标候选视频,在所述第一视频排序结果以及所述第二视频排序结果中,分别所处的第一排列次序以及第二排列次序;根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系,评价所述第一视频搜索策略和所述第二视频搜索策略的视频搜索效果。2.根据权利要求1所述的方法,其特征在于,所述根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系,评价所述第一视频搜索策略和所述第二视频搜索策略的视频搜索效果之后,所述方法还包括:获取所述视频检索模块的预设压力参数;当所述预设压力参数大于或等于预设压力参数阈值时,按照预设比例降低待分配至所述目标方法策略桶的目标视频搜索请求的最大值;根据降低后的所述最大值,确定分配至所述目标方法策略桶的目标视频搜索请求的数量。3.根据权利要求1所述的方法,其特征在于,所述将目标视频搜索请求分两次发送至视频检索模块之前,所述方法还包括:获取目标方法策略桶的预设流量配置信息;获取接收到的每个视频搜索请求中的预设ID信息;根据所述预设流量配置信息和每个视频搜索请求中的预设ID信息,确定待分配至所述目标方法策略桶的目标视频搜索请求;将接收到的所述目标视频搜索请求分配至所述目标方法策略桶。4.根据权利要求1所述的方法,其特征在于,所述响应于所述目标视频搜索请求,将所述目标视频排序结果返回至用户之前,所述方法还包括:记录所述目标视频排序结果中每个候选视频,在所述第一视频排序结果以及所述第二视频排序结果中,分别所处的第一排列次序以及第二排列次序。5.根据权利要求1所述的方法,其特征在于,所述视频检索模块包括多个分片服务器,所述将目标视频搜索请求分两次发送至视频检索模块,包括:将所述目标视频搜索请求分两次分发给多个分片服务器进行视频检索;所述接收所述视频检索模块发送的分别响应两次目标视频搜索请求的第一视频排序结果和第二视频排序结果,包括:接收来自所述多个分片服务器的多个第一分片结果和多个第二分片结果;对所述多个第一分片结果进行归并处理,得到第一视频排序结果;对所述多个第二分片结果进行归并处理,得到第二视频排序结果。6.根据权利要求1所述的方法,其特征在于,所述根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系,评价所述第一视频搜索策略和所述第二视频搜索策略的视频搜索效果,包括:根据所述每个目标候选视频的所述第一排列次序与所述第二排列次序之间的大小关系,计算视频搜索策略的评价参数;若所述评价参数大于预设评价阈值,则确定相较于所述第二视频搜索策略,所述第一视频搜索策略的视频搜索效果更优;若所述评价参数小于预设评价阈值,则确定相较于所述第一视频搜索策略,所述第二视频搜索策略的视频搜索效果更优;若所述评价参...

【专利技术属性】
技术研发人员:杜洋
申请(专利权)人:北京奇艺世纪科技有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1