视频特征提取方法、装置、终端设备及存储介质制造方法及图纸

本申请适用于计算机技术领域，提供了一种视频特征提取方法、装置、终端设备及存储介质，方法包括：对待处理视频进行i次采样，得到帧数互不相同的i个视频片段，i为大于1的整数；将i个视频片段输入视频特征提取模型进行处理，输出待处理视频的视频特征集合。本申请提供的视频特征提取方法精确度高。频特征提取方法精确度高。频特征提取方法精确度高。

Video feature extraction method, device, terminal device and storage medium

【技术实现步骤摘要】
视频特征提取方法、装置、终端设备及存储介质


[0001]本申请属于计算机
，尤其涉及一种视频特征提取方法、装置、终端设备及存储介质。

技术介绍

[0002]随着多媒体技术的迅速发展，视频已经成为信息处理领域中一种重要的媒体形式。视频能够记录、保存空间和时间上的各种视觉信息。近些年来，随着短视频的迅速发展，围绕短视频的多种视频语义理解需求也急剧增加。而视频特征提取是各种视频语义理解的基础和前提。
[0003]相关技术中，对于视频特征的提取，主要是通过3D卷积神经网络，对待处理视频时间维度和空间维度的特征进行同时提取，得到所需的视频特征。
[0004]然而，这种视频特征提取的方法提取的视频特征存在精确度差的问题。

技术实现思路

[0005]本申请实施例提供了视频特征提取方法、装置、终端设备及存储介质，可以解决视频特征精确度差的问题。
[0006]第一方面，本申请实施例提供了一种视频特征提取方法，包括：
[0007]对待处理视频进行i次采样，得到帧数互不相同的i个视频片段，i为大于1的整数；
[0008]将i个视频片段输入视频特征提取模型进行处理，输出待处理视频的视频特征集合。
[0009]第二方面，本申请实施例提供了一种视频特征提取装置，包括：
[0010]采样模块，用于对待处理视频进行i次采样，得到帧数互不相同的i个视频片段，i为大于1的整数；
[0011]处理模块，用于将i个视频片段输入视频特征提取模型进行处理，输出待处理视频的视频特征集合。
[0012]第三方面，本申请实施例提供了一种终端设备，终端设备包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述第一方面所述的视频特征提取方法。
[0013]第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述第一方面所述的视频特征提取方法。
[0014]本申请实施例提供的视频特征提取方法、装置、终端设备及存储介质，通过对待处理视频进行i次采样，得到帧数互不相同的i个视频片段，每个视频片段的帧图像之间的时间距离不同，从而使得神经网络模型能够学习到不同的时间距离的帧图像之间的关系，提取到不同的时间语义，因而能够提高视频特征提取的精确度。
附图说明
[0015]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0016]图1是本申请一实施例提供的视频特征提取方法所适用于的终端设备的结构示意图；
[0017]图2是本申请一实施例提供的视频特征提取方法的流程示意图；
[0018]图3是本申请一实施例提供的视频特征提取模型的结构及应用示意图；
[0019]图4是本申请一实施例提供的第一个子模型的结构示意图；
[0020]图5是本申请一实施例提供的第二个子模型的结构示意图；
[0021]图6是本申请一实施例提供的残差层的结构示意图；
[0022]图7是本申请一实施例提供的第一个残差层的卷积过程的流程示意图；
[0023]图8是本申请一实施例提供的残差层中的卷积层的结构示意图；
[0024]图9是本申请一实施例提供的通道注意力模型的结构示意图；
[0025]图10是本申请一实施例提供的第二个残差层的卷积过程的流程示意图；
[0026]图11是本申请另一实施例提供的视频特征提取方法的流程示意图；
[0027]图12是本申请一实施例提供的视频特征提取模型的应用示意图；
[0028]图13是本申请另一实施例提供的视频特征提取模型的应用示意图；
[0029]图14是本申请一实施例提供的视频特征提取装置的结构示意图。
具体实施方式
[0030]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
[0031]在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0032]在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0033]图1为本申请一实施例提供的视频特征提取装置/终端设备的结构示意图。如图1所示，该实施例的视频特征提取装置/终端设备1包括：至少一个处理器10(图1中仅示出一个)处理器、存储器11以及存储在存储器11中并可在至少一个处理器10上运行的计算机程序12，处理器10执行计算机程序12时实现任意各个视频特征提取方法实施例中的步骤。
[0034]上述视频特征提取装置/终端设备1可以是桌上型计算机、笔记本、掌上电脑及云
端服务器等计算设备。该视频特征提取装置/终端设备可包括，但不仅限于，处理器10、存储器11。本领域技术人员可以理解，图1仅仅是视频特征提取装置/终端设备1的举例，并不构成对视频特征提取装置/终端设备1的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
[0035]所称处理器10可以是中央处理单元(Central Processing Unit，CPU)，该处理器10还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field
‑
Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0036]存储器11在一些实施例中可以是视频特征提取装置/终端设备1的内部存储单元，例如视频特征提取装置/终端设备1的硬盘或内存。存储器11在另一些实施例中也可以是视频特征提取装置/终端设备1的外部存储设备，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频特征提取方法，其特征在于，包括：对待处理视频进行i次采样，得到帧数互不相同的i个视频片段，所述i为大于1的整数；将所述i个视频片段输入视频特征提取模型进行处理，输出所述待处理视频的视频特征集合。2.如权利要求1所述的方法，其特征在于，所述i次采样包括i次降采样；或者，所述i次采样包括1次全采样和i
‑
1次降采样；所述视频特征提取模型包括i个子模型，所述视频特征集合包括所述i个子模型分别输出的视频特征；第一个子模型输出的第一视频特征是通过所述第一个子模型对所述i个视频片段中帧数最大的第一视频片段进行时间域和空间域上的视频特征提取得到的；第二个子模型输出的视频特征是通过所述第二个子模型对所述i个视频片段中帧数次大的第二视频片段进行时间域和空间域上的视频特征提取得到第二视频特征，并对所述第二视频特征和所述第一个子模型输出的视频特征进行特征融合得到的；以此类推。3.如权利要求2所述的方法，其特征在于，所述子模型包括多个级联的残差层，所述残差层包括卷积层和通道注意力机制模型；通过子模型对视频片段进行时间域和空间域上的视频特征提取，得到所述视频片段对应的视频特征，包括：通过第一个残差层中的卷积层对所述视频片段进行卷积，得到具有时间维度的第一中间特征图；根据所述第一中间特征图通过所述第一个残差层中的通道注意力机制模型得到第一通道注意力值；以所述第一通道注意力值作为权重对所述视频片段进行加权处理后输出至第二个残差层；通过所述第二个残差层中的卷积层对所述第一个残差层的输出进行卷积，得到具有时间维度的第二中间特征图；根据所述第二中间特征图通过所述第二个残差层中的通道注意力机制模型得到第二通道注意力值；以所述第二通道注意力值作为权重对所述第一个残差层的输出进行加权处理后输出至第三个残差层；以此类推；根据最后一个残差层的输出确定所述视频片段对应的视频特征。4...

【专利技术属性】
技术研发人员：杨捷文，
申请(专利权)人：TCL科技集团股份有限公司，
类型：发明
国别省市：