视频搜索方法、装置、设备及存储介质制造方法及图纸

本公开关于一种视频搜索方法、装置、设备及存储介质，该方法包括：从每个候选视频中抽取至少一个图像帧；通过视频比较模型中特征抽取模块对至少一个图像帧进行特征提取，获得每个候选视频对应的至少一个视频子特征；基于至少一个视频子特征确定每个候选视频的视频特征；基于视频搜索指令对应的搜索文本的文本特征与每个候选视频的视频特征之间的相似度，确定与视频搜索指令对应的目标搜索视频。基于本公开能够较好的表征视频的特征，且能够极大地提升视频搜索效果和准确性。提升视频搜索效果和准确性。提升视频搜索效果和准确性。

Video search method, device, device and storage medium

【技术实现步骤摘要】
视频搜索方法、装置、设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种视频搜索方法、装置、设备及存储介质。

技术介绍

[0002]视频搜索是指根据用户输入的自然语言查询(比如搜索query)，从视频集中召回一些视频并将召回的视频经排序后返回给用户的过程。
[0003]目前的视频搜索中，主要根据视频的某一维度信息与搜索词是否相关作为召回的度量指标，若两者相关则召回该信息。然而，由于该视频的某一维度信息(比如标签维度信息)可能与视频的真实内容不一致，存在骗点击的嫌疑，进而导致仅仅根据视频的某一维度信息与搜索词是否相关这一度量指标进行信息召回，很可能召回一些不相干视频，从而降低了视频搜索效果和准确性。

技术实现思路

[0004]本公开提供一种视频搜索方法、装置、设备及存储介质，以至少解决相关技术中降低了视频搜索效果和准确性中至少一种问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种一种视频搜索方法，包括：
[0006]响应于视频搜索指令，确定所述视频搜索指令对应的候选视频；
[0007]从每个候选视频中抽取至少一个图像帧；
[0008]通过视频比较模型中特征抽取模块对所述至少一个图像帧进行特征提取，获得每个候选视频对应的至少一个视频子特征；所述视频比较模型是基于搜索样本文本、所述搜索样本文本对应的若干样本视频对、以及每个样本视频对中两个视频样本对应的用户操作数据进行训练所得的神经网络模型；所述用户操作数据反映用户对每个视频样本的后验操作行为；
[0009]基于所述至少一个视频子特征确定每个候选视频的视频特征；
[0010]基于所述视频搜索指令对应的搜索文本的文本特征与每个候选视频的视频特征之间的相似度，确定与所述视频搜索指令对应的目标搜索视频。
[0011]在一可选实施方式中，所述视频比较模型包括特征抽取模块和分类模块，所述视频比较模型通过以下方式训练得到：
[0012]获取训练集，所述训练集包括搜索样本文本、所述搜索样本文本对应的若干样本视频对、以及每个样本视频对中两个视频样本对应的用户操作数据；
[0013]基于每个样本视频对中两个视频样本分别对应的用户操作数据，确定每个样本视频对中两个视频样本的实际相对顺序标签；
[0014]通过初始视频比较模型中特征抽取模块，对每个样本视频对中两个视频样本分别进行特征提取，获得每个样本视频对的视频样本特征；
[0015]获得所述搜索样本文本对应的文本样本特征，并通过初始视频比较模型中分类模
块，对每个样本视频对的视频样本特征和所述搜索样本文本对应的文本样本特征进行处理，获得每个样本视频对对应的预测相对顺序标签；
[0016]基于所述预估相对顺序标签和所述实际相对顺序标签，确定初始视频比较模型的损失函数；
[0017]根据所述损失函数对所述初始视频比较模型进行训练，获得经训练的视频比较模型。
[0018]在一可选实施方式中，所述通过初始视频比较模型中分类模块，对每个样本视频对的视频样本特征和所述搜索样本文本对应的文本样本特征进行处理，获得每个样本视频对对应的预测相对顺序标签步骤包括：
[0019]对每个样本视频对的视频样本特征分别与所述搜索样本文本对应的文本样本特征进行拼接处理，获得第一拼接特征和第二拼接特征；
[0020]将所述第一拼接特征和所述第二拼接特征输入至初始视频比较模型中分类模块，利用所述分类模块对所述第一拼接特征和所述第二拼接特征的相对顺序进行预测，获得每个样本视频对对应的预测相对顺序标签。
[0021]在一可选实施方式中，所述用户操作数据包括点击操作数据、点赞操作数据、关注操作数据、长播操作数据、转发操作数据、评论操作数据、踩操作数据中至少一种。
[0022]在一可选实施方式中，若所述用户操作数据包括点击操作数据；所述基于每个样本视频对中两个视频样本分别对应的用户操作数据，确定每个样本视频对中两个视频样本的实际相对顺序标签步骤包括：
[0023]基于每个样本视频对中两个视频样本分别对应的用户操作数据，确定每个样本视频对中两个视频样本分别对应的初始点击率；
[0024]获取每个样本视频对中两个视频样本的展示数据，并基于所述展示数据确定每个视频样本的置信度；
[0025]基于每个视频样本对应的初始点击率和对应的置信度，确定每个视频样本对应的目标点击率；
[0026]基于每个样本视频对中两个视频样本对应的目标点击率的大小，确定每个样本视频对中两个视频样本的实际相对顺序标签。
[0027]在一可选实施方式中，所述训练集中各搜索样本文本对应的样本视频对的数量相一致。
[0028]在一可选实施方式中，所述初始视频比较模型为经过预训练的视频比较模型；所述特征抽取模块包括底层网络；
[0029]所述根据所述损失函数对所述初始视频比较模型进行训练，获得经训练的视频比较模型步骤包括：
[0030]固定所述初始视频比较模型中底层网络的网络参数；
[0031]根据损失函数对所述初始视频比较模型中除所述底层网络以外的网络参数进行训练，获得经训练的视频比较模型。
[0032]在一可选实施方式中，所述基于所述至少一个视频子特征确定每个候选视频的视频特征步骤包括：
[0033]对所述至少一个视频子特征中全部子特征进行融合处理，获得每个候选视频的视
频特征。
[0034]在一可选实施方式中，所述基于所述视频搜索指令对应的搜索文本的文本特征与每个候选视频的视频特征之间的相似度，确定与所述视频搜索指令对应的目标搜索视频步骤包括：
[0035]计算所述视频搜索指令对应的搜索文本的文本特征与每个候选视频的视频特征之间的相似度；
[0036]将所述相似度大于等于预设相似度阈值的候选视频，确定为与所述视频搜索指令对应的目标搜索视频；或者根据相似度大小进行排序，并将排序靠前的预设数量的候选视频，确定为与所述视频搜索指令对应的目标搜索视频。
[0037]根据本公开实施例的第二方面，提供一种视频搜索装置，包括：
[0038]视频确定模块，被配置为执行响应于视频搜索指令，确定所述视频搜索指令对应的候选视频；
[0039]帧抽取模块，被配置为执行从每个候选视频中抽取至少一个图像帧；
[0040]子特征确定模块，被配置为执行通过视频比较模型中特征抽取模块对所述至少一个图像帧进行特征提取，获得每个候选视频对应的至少一个视频子特征；所述视频比较模型是基于搜索样本文本、所述搜索样本文本对应的若干样本视频对、以及每个样本视频对中两个视频样本对应的用户操作数据进行训练所得的神经网络模型；所述用户操作数据反映用户对每个视频样本的后验操作行为；
[0041]特征确定模块，被配置为执行基于所述至少一个视频子特征确定每个候选视频的视频特征；
[0042]搜索视频确定模块，被配置为执行基于所述视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频搜索方法，其特征在于，包括：响应于视频搜索指令，确定所述视频搜索指令对应的候选视频；从每个候选视频中抽取至少一个图像帧；通过视频比较模型中特征抽取模块对所述至少一个图像帧进行特征提取，获得每个候选视频对应的至少一个视频子特征；所述视频比较模型是基于搜索样本文本、所述搜索样本文本对应的若干样本视频对、以及每个样本视频对中两个视频样本对应的用户操作数据进行训练所得的神经网络模型；所述用户操作数据反映用户对每个视频样本的后验操作行为；基于所述至少一个视频子特征确定每个候选视频的视频特征；基于所述视频搜索指令对应的搜索文本的文本特征与每个候选视频的视频特征之间的相似度，确定与所述视频搜索指令对应的目标搜索视频。2.根据权利要求1所述的视频搜索方法，其特征在于，所述视频比较模型包括特征抽取模块和分类模块，所述视频比较模型通过以下方式训练得到：获取训练集，所述训练集包括搜索样本文本、所述搜索样本文本对应的若干样本视频对、以及每个样本视频对中两个视频样本对应的用户操作数据；基于每个样本视频对中两个视频样本分别对应的用户操作数据，确定每个样本视频对中两个视频样本的实际相对顺序标签；通过初始视频比较模型中特征抽取模块，对每个样本视频对中两个视频样本分别进行特征提取，获得每个样本视频对的视频样本特征；获得所述搜索样本文本对应的文本样本特征，并通过初始视频比较模型中分类模块，对每个样本视频对的视频样本特征和所述搜索样本文本对应的文本样本特征进行处理，获得每个样本视频对对应的预测相对顺序标签；基于所述预估相对顺序标签和所述实际相对顺序标签，确定初始视频比较模型的损失函数；根据所述损失函数对所述初始视频比较模型进行训练，获得经训练的视频比较模型。3.根据权利要求2所述的视频搜索方法，其特征在于，所述通过初始视频比较模型中分类模块，对每个样本视频对的视频样本特征和所述搜索样本文本对应的文本样本特征进行处理，获得每个样本视频对对应的预测相对顺序标签步骤包括：对每个样本视频对的视频样本特征分别与所述搜索样本文本对应的文本样本特征进行拼接处理，获得第一拼接特征和第二拼接特征；将所述第一拼接特征和所述第二拼接特征输入至初始视频比较模型中分类模块，利用所述分类模块对所述第一拼接特征和所述第二拼接特征的相对顺序进行预测，获得每个样本视频对对应的预测相对顺序标签。4.根据权利要求2所述的视频搜索方法，其特征在于，所述用户操作数据包括点击操作数据、点赞操作数据、关注操作数据、长播操作数据、转发操作数据、评论操作数据、踩操作数据中至少一种。5.根据权利要求2所述的视频搜索方法，其特征在于，若所述用户操作数据包括点击操作数据；所述基于每个样本视频对中两个视频样本分别对应的用户操作数据，确定每个样本视频对中两个视频样本的实际相对顺序标签步骤包括：
基于每个样本视频对中两个...

【专利技术属性】
技术研发人员：张水发，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：