关键帧确定方法、装置、电子设备和可读存储介质制造方法及图纸

本申请实施例提供了一种关键帧确定方法、装置、电子设备和可读存储介质，涉及计算机技术领域，通过本申请实施例，可以先确定目标视频对应的各候选帧以及文本信息对应的各关键词，然后，基于各候选帧以及各关键词之间的相似度，可以确定候选帧中与文本信息相关程度较高的目标关键帧，在此过程中，由于候选帧是图像类的信息，关键词是文本类的信息，所以说，通过本申请实施例可以将两种不同维度的信息进行比较，以确定这两种不同维度的信息之间的相似度，进而能够基于这两种不同维度的信息之间的相似度确定可以准确代表目标视频内容的目标关键帧。

【技术实现步骤摘要】
关键帧确定方法、装置、电子设备和可读存储介质
本申请涉及计算机
，特别是涉及一种关键帧确定方法、装置、电子设备和可读存储介质。
技术介绍
目前，随着互联网技术的发展，用户在网络视频平台观看视频成为日常的休闲娱乐的方式之一，用户在网络视频平台观看视频时，可以通过平台提供的视频预览界面挑选想要观看的视频，其中，预览界面一般包括各个视频的文本信息以及预览图像，预览图像可以表征对应视频的大致内容，使得用户可以提前了解该视频所要播放的内容。相关技术中，可以通过人工筛选的方式确定各视频的预览图像，但是这样的方式效率较低，也可以通过均匀抽帧的方式确定各视频的预览图像，但是这样的方式无法保证预览图像能够有效代表对应视频的内容。
技术实现思路
有鉴于此，本申请实施例提供一种关键帧确定方法、装置、电子设备和可读存储介质，以确定可以准确代表目标视频内容的目标关键帧。第一方面，提供了一种关键帧确定方法，所述方法应用于电子设备，所述方法包括：获取目标视频以及所述目标视频对应的文本信息。确定所述目标视频对应的各候选帧。确定所述文本信息对应的各关键词。基于各候选帧与各关键词之间的相似度，从各候选帧中确定目标关键帧。第二方面，提供了一种关键帧确定装置，所述装置应用于电子设备，所述装置包括：获取模块，用于获取目标视频以及所述目标视频对应的文本信息。候选帧模块，用于确定所述目标视频对应的各候选帧。关键词模块，用于确定所述文本信息对应的各关键词。r>目标关键帧模块，用于基于各候选帧与各关键词之间的相似度，从各候选帧中确定目标关键帧。第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面所述的方法。第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如第一方面所述的方法。第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如第一方面所述的方法。通过本申请实施例，可以先确定目标视频对应的各候选帧以及文本信息对应的各关键词，然后，基于各候选帧以及各关键词之间的相似度，可以确定候选帧中与文本信息相关程度较高的目标关键帧，在此过程中，由于候选帧是图像类的信息，关键词是文本类的信息，所以说，通过本申请实施例可以将两种不同维度的信息进行比较，以确定这两种不同维度的信息之间的相似度，进而能够基于这两种不同维度的信息之间的相似度确定可以准确代表目标视频内容的目标关键帧。附图说明通过以下参照附图对本申请实施例的描述，本申请实施例的上述以及其它目的、特征和优点将更为清楚，在附图中：图1为本申请实施例提供的一种视频预览界面的示意图；图2为本申请实施例提供的一种关键帧确定方法的流程图；图3为本申请实施例提供的另一种关键帧确定方法的流程图；图4为本申请实施例提供的一种确定视频子片段过程的示意图；图5为本申请实施例提供的另一种关键帧确定方法的流程图；图6为本申请实施例提供的一种确定各候选帧的第一候选帧特征向量过程的流程图；图7为本申请实施例提供的一种确定各关键词的第一关键词特征向量过程的流程图；图8为本申请实施例提供的一种确定各第一候选帧特征向量和各第一关键词特征向量之间的相似度过程的流程图；图9为本申请实施例提供的一种关键帧确定装置的结构示意图；图10为本申请实施例提供的一种电子设备的结构示意图。具体实施方式以下基于实施例对本申请进行描述，但是本申请并不仅仅限于这些实施例。在下文对本申请的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。为了避免混淆本申请的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。除非上下文明确要求，否则在说明书的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。目前，随着互联网技术的发展，用户在网络视频平台观看视频成为日常的休闲娱乐的方式之一，用户在网络视频平台观看视频时，可以通过平台提供的视频预览界面挑选想要观看的视频，例如，如图1所示，图1为本申请实施例提供的一种视频预览界面的示意图，该示意图包括：视频预览窗口11、视频预览窗口12、视频预览窗口13、视频预览窗口14和视频预览窗口15。其中，在图1所示的视频预览界面中有两种视频预览窗口，其一是位于视频预览界面上方的视频预览窗口11，其占用面积大，可以作为主要的预览窗口，其二是位于视频预览窗口11下方的视频预览窗口12-15，其占用面积小但数量多，可以作为次要的预览窗口，以提供给用户更多的选择，当然，在实际应用中也可以存在其他形式的视频预览窗口。针对视频预览窗口11，视频预览窗口11包括预览图像以及嵌入在预览图像中的文本框，其中，预览图像是预览视频预览窗口11对应视频中的一个视频帧，文本框中包括文本信息(例如视频标题)，用户在浏览视频预览界面时，可以根据视频预览窗口11所展示的预览图像以及文本信息，预览视频预览窗口11对应视频所要展示的内容。针对视频预览窗口12，视频预览窗口12包括预览图像以及在预览图像下方的文本框，其中，预览图像是预览视频预览窗口12对应视频中的一个视频帧，文本框中包括文本信息(例如视频标题)，用户在浏览视频预览界面时，可以根据视频预览窗口12所展示的预览图像以及文本信息，预览视频预览窗口12对应视频所要展示的内容。针对视频预览窗口13，视频预览窗口13包括预览图像区域以及在预览图像区域下方的文本框，其中，预览图像区域包括静止展示的多个预览图像(即视频预览窗口13中用不同填充表示的4张图像)，文本框中包括文本信息(例如视频标题)，用户在浏览视频预览界面时，可以根据视频预览窗口13所展示的预览图像以及文本信息，预览视频预览窗口13对应视频所要展示的内容，由于视频预览窗口13中展示了多张预览图像，因此，用户在在浏览视频预览界面时可以获取更多关于视频的信息，另外，视频预览窗口13中所展示的图像数量不是固定值，本申请实施例对视频预览窗口13中所展示的图像数量不做限定。针对视频预览窗口14，视频预览窗口14包括预览图像区域以及在预览图像区域下方的文本框，其中，预览图像区域包括一张图像互换格式(GraphicsInterchangeFormat，GIF)的图像，该GIF图本文档来自技高网...

【技术保护点】
1.一种关键帧确定方法，其特征在于，所述方法包括：/n获取目标视频以及所述目标视频对应的文本信息；/n确定所述目标视频对应的各候选帧；/n确定所述文本信息对应的各关键词；以及/n基于各候选帧与各关键词之间的相似度，从各候选帧中确定目标关键帧。/n

【技术特征摘要】
1.一种关键帧确定方法，其特征在于，所述方法包括：
获取目标视频以及所述目标视频对应的文本信息；
确定所述目标视频对应的各候选帧；
确定所述文本信息对应的各关键词；以及
基于各候选帧与各关键词之间的相似度，从各候选帧中确定目标关键帧。


2.根据权利要求1所述的方法，其特征在于，所述基于各候选帧与各关键词之间的相似度，从各候选帧中确定目标关键帧，包括：
基于预先训练的图像处理模型，确定各候选帧的第一候选帧特征向量；
基于预先训练的文本处理模型，确定各关键词的第一关键词特征向量；
确定各第一候选帧特征向量和各第一关键词特征向量之间的相似度；以及
基于各相似度确定各候选帧中的目标关键帧。


3.根据权利要求2所述的方法，其特征在于，所述确定各第一候选帧特征向量和各第一关键词特征向量之间的相似度，包括：
将各第一候选帧特征向量和各第一关键词特征向量输入预先训练的多模态子空间嵌入模型，确定每个第一候选帧特征向量对应的第二候选帧特征向量以及每个第一关键词特征向量对应的第二关键词特征向量，其中，所述多模态子空间嵌入模型用于将不同维度的特征向量映射至同一子空间中；以及
确定各第二候选帧特征向量和各第二关键词特征向量之间的特征相似度。


4.根据权利要求1所述的方法，其特征在于，所述确定所述目标视频对应的各候选帧，包括：
确定所述目标视频中各视频帧之间像素差异度数值；
基于各视频帧之间的像素差异度数值，确定所述目标视频中的多个视频子片段；以及
对各视频子片段进行抽帧处理，确定多个候选帧。

【专利技术属性】
技术研发人员：刘恋，孙以强，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11