解说视频检索方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例公开了一种解说视频检索方法、装置、电子设备及存储介质，该方法包括：从短视频平台的同一个视频类目中获取已被发布的候选解说视频；对候选解说视频进行视频镜头切分，得到若干个候选解说片段，抽取候选解说片段中各帧的片段图像；提取各个片段图像的候选图像特征，基于候选图像特征构建候选特征库；接收基于短视频平台的客户端上传的目标图像，提取目标图像的目标图像特征，基于目标图像特征在候选特征库中进行相似度匹配，根据匹配结果从候选解说片段中确定目标解说片段，根据目标解说片段得到目标图像的检索结果，能够提升检索数据库的构建效率，可应用于云技术、视频检索、人工智能、智慧交通、辅助驾驶等多种场景。场景。场景。

【技术实现步骤摘要】
解说视频检索方法、装置、电子设备及存储介质


[0001]本申请涉及人工智能
，特别是涉及一种解说视频检索方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，可以基于图像来搜索相关的视频数据，例如，可以基于待检索的图像，从预先构建的检索数据库中检索出对应的视频数据。
[0003]相关技术中，检索数据库的数据通常是通过搜索引擎根据关键词抓取得到的，然而，通过这种方式抓取的数据一般存在大量噪声，提高了数据清洗和整理的要求，从而降低了检索数据库的构建效率。

技术实现思路

[0004]以下是对本申请详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
[0005]本申请实施例提供了一种解说视频检索方法、装置、电子设备及存储介质，能够提升检索数据库的构建效率。
[0006]一方面，本申请实施例提供了一种解说视频检索方法，包括：
[0007]从短视频平台的同一个视频类目中获取已被发布的候选解说视频；对所述候选解说视频进行视频镜头切分，得到若干个候选解说片段，抽取所述候选解说片段中各帧的片段图像；提取各个所述片段图像的候选图像特征，基于所述候选图像特征构建候选特征库；接收基于所述短视频平台的客户端上传的目标图像，提取所述目标图像的目标图像特征，基于所述目标图像特征在所述候选特征库中进行相似度匹配，根据匹配结果从所述候选解说片段中确定目标解说片段，根据所述目标解说片段得到所述目标图像的检索结果。
[0008]另一方面，本申请实施例还提供了一种解说视频检索装置，包括：第一获取模块，用于从短视频平台的同一个视频类目中获取已被发布的候选解说视频；第一处理模块，用于对所述候选解说视频进行视频镜头切分，得到若干个候选解说片段，抽取所述候选解说片段中各帧的片段图像；第二处理模块，用于提取各个所述片段图像的候选图像特征，基于所述候选图像特征构建候选特征库；第三处理模块，用于接收基于所述短视频平台的客户端上传的目标图像，提取所述目标图像的目标图像特征，基于所述目标图像特征在所述候选特征库中进行相似度匹配，根据匹配结果从所述候选解说片段中确定目标解说片段，根据所述目标解说片段得到
所述目标图像的检索结果。
[0009]进一步地，第二处理模块还用于：对所述片段图像进行人脸区域检测，得到若干个目标人脸框；将所述目标人脸框中各个像素点的像素值置零，或者，确定除了所述目标人脸框中的像素点以外的像素点的像素均值，将所述目标人脸框中各个像素点的像素值置为所述像素均值。
[0010]进一步地，第二处理模块还用于：对所述片段图像进行多次缩放，得到图像金字塔；对所述图像金字塔中各个图像进行人脸区域检测，得到若干个第一候选人脸框，对所述第一候选人脸框进行非极大值抑制，得到第二候选人脸框；对所述第二候选人脸框进行二分类，根据分类结果剔除不存在人脸的所述第二候选人脸框，对剩余的所述第二候选人脸框进行回归校准以及非极大值抑制，得到第三候选人脸框；对所述第三候选人脸框进行回归校准以及非极大值抑制，得到若干个目标人脸框。
[0011]进一步地，第二处理模块还用于：确定所述候选特征元素对应的注意力权重，根据所述注意力权重对所述候选特征元素进行加权，得到所述候选特征元素对应的注意力元素；基于各个所述注意力元素构建所述片段图像的所述注意力特征，基于所述注意力特征构建候选特征库。
[0012]进一步地，第二处理模块还用于：确定所述候选图像特征中所有所述候选特征元素的特征均值；确定所述候选特征元素与所述特征均值之间的特征差值，根据所述特征差值确定所述候选特征元素对应的注意力权重。
[0013]进一步地，第二处理模块还用于：对所述特征差值进行转置，得到转置差值，根据所述特征差值和所述转置差值生成所述候选图像特征的协方差矩阵；构建所述协方差矩阵的对角矩阵，基于所述对角矩阵对所述协方差矩阵进行特征值分解，得到参考特征；提取所述参考特征中首列的参考特征元素，对所述转置差值与所述参考特征元素之间的乘积进行归一化，得到所述候选特征元素对应的注意力权重。
[0014]进一步地，第一获取模块还用于：从短视频平台的同一个视频类目中获取已被发布的候选短视频，获取所述候选短视频标注的视频标签；当所述视频标签指示所述用于对待解说对象进行解说时，将所述候选短视频确定为候选解说视频。
[0015]进一步地，第一处理模块还用于：对所述候选解说视频进行特征提取，得到所述候选解说视频的候选视频特征；将所述候选视频特征与所述候选解说视频的直方图特征进行拼接，得到拼接视频
特征；根据所述拼接视频特征预测所述候选解说视频中每帧的边界帧概率；将所述边界帧概率大于或者等于预设概率阈值的帧确定为视频镜头边界帧，根据所述视频镜头边界帧将所述候选解说视频切分为若干个候选解说片段。
[0016]进一步地，第一处理模块还用于：从所述候选视频特征中提取所述候选解说片段的片段特征；根据所述片段特征对所述候选解说片段进行分类，得到所述候选解说片段的对象标签，其中，所述对象标签用于指示所述候选解说片段中包含的待解说对象的子对象；利用所述对象标签标记对应的所述候选解说片段。
[0017]进一步地，第三处理模块还用于：获取各个所述候选解说片段的所述对象标签；在除了所述目标解说片段以外的其他所述候选解说片段中，确定与所述目标解说片段标记有相同所述对象标签的所述参考解说片段；将所述目标解说片段以及所述参考解说片段作为所述目标图像的检索结果。
[0018]进一步地，第三处理模块还用于：根据所述目标图像特征与所述候选图像特征之间的相似度由高到低的顺序，对所述候选图像特征进行排序，将排名位于预设排名阈值之前的所述候选图像特征所对应的所述候选解说片段，确定为目标解说片段；或者，根据所述目标图像特征与所述候选图像特征之间的相似度由低到高的顺序，对所述候选图像特征进行排序，将排名位于预设排名阈值之后的所述候选图像特征所对应的所述候选解说片段，确定为目标解说片段。
[0019]另一方面，本申请实施例还提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的解说视频检索方法。
[0020]另一方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行实现上述的解说视频检索方法。
[0021]另一方面，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行实现上述的解说视频检索方法。
[0022]本申请实施例至少包括以下有益效果：通过从短视频平台的同一个视频类目中获取已被发布的候选解说视频，再对候选解说视频进行视频镜头切分，得到若干个候选解说片段，抽取候选解说片段中各帧的片段图像，提取各个片段图像的候选图像特征，基于候选图像特征构建候选特征库，由于候选本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种解说视频检索方法，其特征在于，包括：从短视频平台的同一个视频类目中获取已被发布的候选解说视频；对所述候选解说视频进行视频镜头切分，得到若干个候选解说片段，抽取所述候选解说片段中各帧的片段图像；提取各个所述片段图像的候选图像特征，基于所述候选图像特征构建候选特征库；接收基于所述短视频平台的客户端上传的目标图像，提取所述目标图像的目标图像特征，基于所述目标图像特征在所述候选特征库中进行相似度匹配，根据匹配结果从所述候选解说片段中确定目标解说片段，根据所述目标解说片段得到所述目标图像的检索结果。2.根据权利要求1所述的解说视频检索方法，其特征在于，所述提取各个所述片段图像的候选图像特征之前，所述解说视频检索方法还包括：对所述片段图像进行人脸区域检测，得到若干个目标人脸框；将所述目标人脸框中各个像素点的像素值置零，或者，确定除了所述目标人脸框中的像素点以外的像素点的像素均值，将所述目标人脸框中各个像素点的像素值置为所述像素均值。3.根据权利要求2所述的解说视频检索方法，其特征在于，所述对所述片段图像进行人脸区域检测，得到若干个目标人脸框，包括：对所述片段图像进行多次缩放，得到图像金字塔；对所述图像金字塔中各个图像进行人脸区域检测，得到若干个第一候选人脸框，对所述第一候选人脸框进行非极大值抑制，得到第二候选人脸框；对所述第二候选人脸框进行二分类，根据分类结果剔除不存在人脸的所述第二候选人脸框，对剩余的所述第二候选人脸框进行回归校准以及非极大值抑制，得到第三候选人脸框；对所述第三候选人脸框进行回归校准以及非极大值抑制，得到若干个目标人脸框。4.根据权利要求1所述的解说视频检索方法，其特征在于，所述候选图像特征包括多个候选特征元素，所述基于所述候选图像特征构建候选特征库，包括：确定所述候选特征元素对应的注意力权重，根据所述注意力权重对所述候选特征元素进行加权，得到所述候选特征元素对应的注意力元素；基于各个所述注意力元素构建所述片段图像的注意力特征，基于所述注意力特征构建候选特征库。5.根据权利要求4所述的解说视频检索方法，其特征在于，所述确定所述候选特征元素对应的注意力权重，包括：确定所述候选图像特征中所有所述候选特征元素的特征均值；确定所述候选特征元素与所述特征均值之间的特征差值，根据所述特征差值确定所述候选特征元素对应的注意力权重。6.根据权利要求5所述的解说视频检索方法，其特征在于，所述根据所述特征差值确定所述候选特征元素对应的注意力权重，包括：对所述特征差值进行转置，得到转置差值，根据所述特征差值和所述转置差值生成所述候选图像特征的协方差矩阵；构建所述协方差矩阵的对角矩阵，基于所述对角矩阵对所述协方差矩阵进行特征值分
解，得到参考特征；提取所述参考特征中首列的参考特征元素，对所述转置差值与所述参考特征元素之间的乘积进行归一化，得到所述候选特征元素对应的注意力权重。7.根据权利要求1所述的解说视频检索方法，其特征在于，所述从短视频平台的同一个视频类目中获取已被发布的候选解说视频，包括：从短视频平台的同一个视频类目中获取已被发布的候选短视频，获取所述候选短视频标注的视频标签；当所述视频标签指示所述候选短...

【专利技术属性】
技术研发人员：张皓，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：