视频搜索方法和装置、电子设备、存储介质制造方法及图纸

本申请实施例提供了一种视频搜索方法和装置、电子设备、存储介质，属于人工智能技术领域。该方法包括：获取原始搜索数据，其中，原始搜索数据包括文本数据和原始视频数据；对原始视频数据进行抽帧处理，得到候选关键帧数据；通过预先训练的数据处理模型对候选关键帧数据进行标准化处理，得到标准关键帧数据；通过数据处理模型的编码层对文本数据进行编码处理，得到文本向量，并通过编码层对所述标准关键帧数据进行编码处理，得到多个关键帧图像向量；计算文本向量与每一关键帧图像向量的第一相似度值；根据第一相似度值对标准关键帧数据进行筛选处理，得到目标视频片段。本申请实施例能够提高视频搜索的准确性。例能够提高视频搜索的准确性。例能够提高视频搜索的准确性。

【技术实现步骤摘要】
视频搜索方法和装置、电子设备、存储介质


[0001]本申请涉及人工智能
，尤其涉及一种视频搜索方法和装置、电子设备、存储介质。

技术介绍

[0002]由于视频数据量庞大，为快速定位视频，需要进行视频搜索。目前，在进行视频搜索时，大多以关键信息进行匹配搜索，例如，基于语音识别的文本去做搜索等等，这一方式往往存在着视频搜索的准确性不高的问题，因此，如何提高视频搜索的准确性，成为了亟待解决的技术问题。

技术实现思路

[0003]本申请实施例的主要目的在于提出一种视频搜索方法和装置、电子设备、存储介质，旨在提高视频搜索的准确性。
[0004]为实现上述目的，本申请实施例的第一方面提出了一种视频搜索方法，所述方法包括：
[0005]获取原始搜索数据，其中，所述原始搜索数据包括文本数据和原始视频数据；
[0006]对所述原始视频数据进行抽帧处理，得到候选关键帧数据；
[0007]通过预先训练的数据处理模型对所述候选关键帧数据进行标准化处理，得到标准关键帧数据；
[0008]通过所述数据处理模型的编码层对所述文本数据进行编码处理，得到文本向量，并通过所述编码层对所述标准关键帧数据进行编码处理，得到多个关键帧图像向量；
[0009]计算所述文本向量与每一所述关键帧图像向量的第一相似度值；
[0010]根据所述第一相似度值对所述标准关键帧数据进行筛选处理，得到目标视频片段。
[0011]在一些实施例，所述对所述原始视频数据进行抽帧处理，得到候选关键帧数据，包括：
[0012]对所述原始视频数据进行解析处理，得到原始视频图像；
[0013]通过预先训练的关键帧提取模型的在线网络对所述原始视频图像进行向量化处理，得到第一图像特征向量；
[0014]通过预先训练的关键帧提取模型的目标网络对所述原始视频图像进行图像增强处理，得到第二图像特征向量；
[0015]计算所述第一图像特征向量与所述第二图像特征向量的第二相似度值，并根据所述第二相似度值得到所述候选关键帧数据。
[0016]在一些实施例，所述通过预先训练的关键帧提取模型的在线网络对所述原始视频图像进行向量化处理，得到第一图像特征向量，包括：
[0017]通过所述在线网络对所述原始视频图像进行特征提取，得到第一视频特征图；
[0018]通过所述在线网络将所述第一视频特征图映射到预设的第一高维向量空间，得到所述第一图像特征向量。
[0019]在一些实施例，所述通过预先训练的关键帧提取模型的目标网络对所述原始视频图像进行图像增强处理，得到第二图像特征向量，包括：
[0020]通过所述目标网络对所述原始视频图像进行图像增强处理，并对经过图像增强处理之后的原始视频图像进行特征提取，得到第二视频特征图；
[0021]通过所述目标网络将所述第二视频特征图映射到预设的第二高维向量空间，得到所述第二图像特征向量。
[0022]在一些实施例，所述通过预先训练的数据处理模型对所述候选关键帧数据进行标准化处理，得到标准关键帧数据，包括：
[0023]对所述候选关键帧数据进行特征提取，得到候选文本特征、候选音频特征以及候选关键帧图像；
[0024]对所述候选音频特征进行语义分析，得到标准音频数据；
[0025]对所述候选文本特征进行文本识别处理，得到字符文本数据；
[0026]对所述标准音频数据、所述字符文本数据以及所述候选关键帧图像进行融合处理，得到标准关键帧数据。
[0027]在一些实施例，所述编码层包括文本编码器和图像编码器，所述通过所述数据处理模型的编码层对所述文本数据进行编码处理，得到文本向量，并通过所述编码层对所述标准关键帧数据中的多个标准关键帧图像进行编码处理，得到多个关键帧图像向量，包括：
[0028]通过文本编码器对所述文本数据进行文本编码，得到所述文本向量；
[0029]通过图像编码器对多个所述标准关键帧图像进行图像编码，得到多个所述关键帧图像向量。
[0030]在一些实施例，所述根据所述第一相似度值对所述标准关键帧数据进行筛选处理，得到目标视频片段，包括：
[0031]根据所述第一相似度值，对所述标准关键帧数据中的标准关键帧图像进行筛选，得到目标关键帧图像；
[0032]对多个所述目标关键帧图像进行拼接处理，得到所述目标视频片段。
[0033]为实现上述目的，本申请实施例的第二方面提出了一种视频搜索装置，所述装置包括：
[0034]数据获取模块，用于获取原始搜索数据，其中，所述原始搜索数据包括文本数据和原始视频数据；
[0035]抽帧处理模块，用于对所述原始视频数据进行抽帧处理，得到候选关键帧数据；
[0036]标准化处理模块，用于通过预先训练的数据处理模型对所述候选关键帧数据进行标准化处理，得到标准关键帧数据；
[0037]编码模块，用于通过所述数据处理模型的编码层对所述文本数据进行编码处理，得到文本向量，并通过所述编码层对所述标准关键帧数据进行编码处理，得到多个关键帧图像向量；
[0038]计算模块，用于计算所述文本向量与每一所述关键帧图像向量的第一相似度值；
[0039]筛选模块，用于根据所述第一相似度值对所述标准关键帧数据进行筛选处理，得
到目标视频片段。
[0040]为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现上述第一方面所述的方法。
[0041]为实现上述目的，本申请实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面所述的方法。
[0042]本申请提出的视频搜索方法和装置、电子设备、存储介质，其通过获取原始搜索数据，其中，原始搜索数据包括文本数据和原始视频数据。进而，对原始视频数据进行抽帧处理，得到候选关键帧数据，并通过预先训练的数据处理模型对候选关键帧数据进行标准化处理，得到标准关键帧数据，能够使得得到的标准关键帧数据更加符合视频搜索的需求，降低视频搜索的计算量。进而，通过数据处理模型的编码层分别对文本数据和标准关键帧数据进行编码处理，得到文本向量和多个关键帧图像向量。同时，计算文本向量与每一关键帧图像向量的第一相似度值，这样一来，能够较为准确地确定出文本向量与每一关键帧图像向量的相关性。最后，根据第一相似度值对标准关键帧数据进行筛选处理，得到目标视频片段，能够提高视频搜索的准确性。
附图说明
[0043]图1是本申请实施例提供的视频搜索方法的流程图；
[0044]图2是图1中的步骤S102的流程图；
[0045]图3是图2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频搜索方法，其特征在于，所述方法包括：获取原始搜索数据，其中，所述原始搜索数据包括文本数据和原始视频数据；对所述原始视频数据进行抽帧处理，得到候选关键帧数据；通过预先训练的数据处理模型对所述候选关键帧数据进行标准化处理，得到标准关键帧数据；通过所述数据处理模型的编码层对所述文本数据进行编码处理，得到文本向量，并通过所述编码层对所述标准关键帧数据进行编码处理，得到多个关键帧图像向量；计算所述文本向量与每一所述关键帧图像向量的第一相似度值；根据所述第一相似度值对所述标准关键帧数据进行筛选处理，得到目标视频片段。2.根据权利要求1所述的视频搜索方法，其特征在于，所述对所述原始视频数据进行抽帧处理，得到候选关键帧数据，包括：对所述原始视频数据进行解析处理，得到原始视频图像；通过预先训练的关键帧提取模型的在线网络对所述原始视频图像进行向量化处理，得到第一图像特征向量；通过预先训练的关键帧提取模型的目标网络对所述原始视频图像进行图像增强处理，得到第二图像特征向量；计算所述第一图像特征向量与所述第二图像特征向量的第二相似度值，并根据所述第二相似度值得到所述候选关键帧数据。3.根据权利要求2所述的视频搜索方法，其特征在于，所述通过预先训练的关键帧提取模型的在线网络对所述原始视频图像进行向量化处理，得到第一图像特征向量，包括：通过所述在线网络对所述原始视频图像进行特征提取，得到第一视频特征图；通过所述在线网络将所述第一视频特征图映射到预设的第一高维向量空间，得到所述第一图像特征向量。4.根据权利要求2所述的视频搜索方法，其特征在于，所述通过预先训练的关键帧提取模型的目标网络对所述原始视频图像进行图像增强处理，得到第二图像特征向量，包括：通过所述目标网络对所述原始视频图像进行图像增强处理，并对经过图像增强处理之后的原始视频图像进行特征提取，得到第二视频特征图；通过所述目标网络将所述第二视频特征图映射到预设的第二高维向量空间，得到所述第二图像特征向量。5.根据权利要求1所述的视频搜索方法，其特征在于，所述通过预先训练的数据处理模型对所述候选关键帧数据进行标准化处理，得到标准关键帧数据，包括：对所述候选关键帧数据进行特征提取，得到候选文本特征、候选音频特征以及候选关键帧图像；对所述候选音频特征进行语义分析，得到标准音频数据；对...

【专利技术属性】
技术研发人员：唐小初，舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：