视频识别方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种视频识别方法、装置、电子设备及存储介质。方法包括：确定第一视频的m个第一图像帧中的每个第一图像帧对应的n个第一特征向量；第一特征向量表征对应的第一图像帧的空间特征向量；从m个第一图像帧对应的第一特征向量中提取得到第二特征向量，并通过全连接层处理第二特征向量，得到第三特征向量；第二特征向量表征m个第一图像帧对应的时序特征向量；基于第三特征向量确定第一视频对应的第一对象和第二对象之间的第一行为类型；第三特征向量中的每个元素对应表征一种行为类型的概率；在第一行为类型是设定的行为类型的情况下，基于第一行为类型和第二对象的类型，确定第一视频的视频识别结果；其中，m，n均为正整数。数。数。

【技术实现步骤摘要】
视频识别方法、装置、电子设备及存储介质


[0001]本申请涉及图像处理领域，尤其涉及一种视频识别方法、装置、电子设备及存储介质。

技术介绍

[0002]随着视频广告的普及，以人为主体的视频广告能够展现人与商品的互动，获得更好的商品展示效果。目前，为识别视频中人与商品之间的互动行为，需要海量的标注样本，获取模型训练样本的成本较高。

技术实现思路

[0003]有鉴于此，本申请实施例提供一种视频识别方法、装置、电子设备及存储介质，以至少解决相关技术获取模型训练样本的成本较高的问题。
[0004]本申请实施例的技术方案是这样实现的：
[0005]本申请实施例提供了一种视频识别方法，所述方法包括：
[0006]确定第一视频的m个第一图像帧中的每个第一图像帧对应的n个第一特征向量；所述第一特征向量表征对应的第一图像帧的空间特征向量；所述第一图像帧的图像内容包括第一对象和第二对象；
[0007]从所述m个第一图像帧对应的第一特征向量中提取得到第二特征向量，并通过全连接层处理所述第二特征向量，得到第三特征向量；所述第二特征向量表征所述m个第一图像帧对应的时序特征向量；
[0008]基于所述第三特征向量确定所述第一视频对应的第一对象和第二对象之间的第一行为类型；所述第三特征向量中的每个元素对应表征一种行为类型的概率；
[0009]在所述第一行为类型是设定的行为类型的情况下，基于所述第一行为类型和第二对象的类型，确定所述第一视频的视频识别结果；其中，
[0010]m，n均为正整数。
[0011]其中，上述方案中，所述确定第一视频的m个第一图像帧中的每个第一图像帧对应的n个第一特征向量，包括：
[0012]将m个第一图像帧中的每个第一图像帧输入第一特征提取模型，得到所述第一特征提取模型输出的每个第一图像帧的第一特征图；
[0013]通过设定尺寸的卷积核，得到每个第一图像帧的第一特征图对应的n个第二特征图；
[0014]将每个第一特征图对应的n个第二特征图中的每个第二特征图进行特征提取，得到每个第一图像帧对应的n个第一特征向量。
[0015]上述方案中，所述将m个第一图像帧中的每个第一图像帧输入第一特征提取模型，包括：
[0016]对第一视频的m个第一图像帧中的每个第一图像帧按照设定比例缩放，并根据设
定尺寸的裁剪框裁剪，得到处理后的m个第一图像帧；
[0017]将处理后的m个第一图像帧中的每个第一图像帧输入第一特征提取模型。
[0018]上述方案中，所述从所述m个第一图像帧对应的第一特征向量中提取得到第二特征向量，包括：
[0019]将所述m个第一图像帧对应的第一特征向量输入第二特征提取模型，得到所述第二特征提取模型输出的第二特征向量；所述第二特征提取模型用于对输入的第一特征向量进行时序特征提取，得到对应的第二特征向量。
[0020]上述方案中，所述第二特征提取模型包括串联的至少两个隐藏层组合；每个隐藏层组合包括串联的第一隐藏层和第二隐藏层；所述第一隐藏层用于基于输入的特征向量提取每个第一图像帧的空间特征；所述第二隐藏层用于基于输入的每个第一图像帧的空间特征输出m个第一图像帧之间的时序特征。
[0021]上述方案中，在所述将所述m个第一图像帧对应的第一特征向量输入第二特征提取模型之前，所述方法还包括：
[0022]在样本的行为类型是设定的行为类型的情况下，删除对应的标注中的第二对象的类型，得到处理后的样本；
[0023]基于处理后的样本，训练第二特征提取模型。
[0024]上述方案中，在所述确定第一视频的m个第一图像帧中的每个第一图像帧对应的n个第一特征向量之前，所述方法还包括：
[0025]将第二视频的多个第二图像帧输入识别模型，得到所述识别模型输出的图像识别结果；
[0026]将对应的图像识别结果满足设定拼接条件的至少两个第二图像帧进行拼接，得到第一视频；其中，
[0027]所述识别模型用于识别输入的第二图像帧中的第一对象，输出对应的图像识别结果；所述图像识别结果表征对应的第二图像帧中包含第一对象的置信度。
[0028]上述方案中，所述第一对象表征人的设定部位；所述第二对象表征物品。
[0029]上述方案中，所述方法还包括：
[0030]在所述第一行为类型不是设定的行为类型的情况下，基于所述第一行为类型确定所述第一视频的视频识别结果。
[0031]本申请实施例还提供了一种视频识别装置，包括：
[0032]第一处理单元，用于确定第一视频的m个第一图像帧中的每个第一图像帧对应的n个第一特征向量；所述第一特征向量表征对应的第一图像帧的空间特征向量；所述第一图像帧的图像内容包括第一对象和第二对象；
[0033]第二处理单元，用于从所述m个第一图像帧对应的第一特征向量中提取得到第二特征向量，并通过全连接层处理所述第二特征向量，得到第三特征向量；所述第二特征向量表征所述m个第一图像帧对应的时序特征向量；
[0034]分类单元，用于基于所述第三特征向量确定所述第一视频对应的第一对象和第二对象之间的第一行为类型；所述第三特征向量中的每个元素对应表征一种行为类型的概率；
[0035]第三处理单元，用于在所述第一行为类型是设定的行为类型的情况下，基于所述
第一行为类型和第二对象的类型，确定所述第一视频的视频识别结果；其中，
[0036]m，n均为正整数。
[0037]本申请实施例还提供了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
[0038]其中，所述处理器用于运行所述计算机程序时，执行上述视频识别方法的步骤。
[0039]本申请实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述视频识别方法的步骤。
[0040]本申请实施例提供的一种视频识别方法、装置、电子设备及存储介质，确定第一视频的m个第一图像帧中的每个第一图像帧对应的n个第一特征向量；第一特征向量表征对应的第一图像帧的空间特征向量；第一图像帧的图像内容包括第一对象和第二对象；从m个第一图像帧对应的第一特征向量中提取得到第二特征向量，并通过全连接层处理第二特征向量，得到第三特征向量；第二特征向量表征m个第一图像帧对应的时序特征向量；基于第三特征向量确定第一视频对应的第一对象和第二对象之间的第一行为类型；第三特征向量中的每个元素对应表征一种行为类型的概率；在第一行为类型是设定的行为类型的情况下，基于第一行为类型和第二对象的类型，确定第一视频的视频识别结果；其中，m，n均为正整数。在上述方案中，通过分别检测视频的行为类型和对象类型，确定视频识别结果，这样，无须以行为类型和对象类型的组合为样本进行标注，减少了视频识别时所需要的样本数量，降低了获取视频识别模型的成本。
附图说明
[0041]图1为本申请实施例提供的视频识别方法实现流本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频识别方法，其特征在于，所述方法包括：确定第一视频的m个第一图像帧中的每个第一图像帧对应的n个第一特征向量；所述第一特征向量表征对应的第一图像帧的空间特征向量；所述第一图像帧的图像内容包括第一对象和第二对象；从所述m个第一图像帧对应的第一特征向量中提取得到第二特征向量，并通过全连接层处理所述第二特征向量，得到第三特征向量；所述第二特征向量表征所述m个第一图像帧对应的时序特征向量；基于所述第三特征向量确定所述第一视频对应的第一对象和第二对象之间的第一行为类型；所述第三特征向量中的每个元素对应表征一种行为类型的概率；在所述第一行为类型是设定的行为类型的情况下，基于所述第一行为类型和第二对象的类型，确定所述第一视频的视频识别结果；其中，m，n均为正整数。2.根据权利要求1所述的方法，其特征在于，所述确定第一视频的m个第一图像帧中的每个第一图像帧对应的n个第一特征向量，包括：将m个第一图像帧中的每个第一图像帧输入第一特征提取模型，得到所述第一特征提取模型输出的每个第一图像帧的第一特征图；通过设定尺寸的卷积核，得到每个第一图像帧的第一特征图对应的n个第二特征图；将每个第一特征图对应的n个第二特征图中的每个第二特征图进行特征提取，得到每个第一图像帧对应的n个第一特征向量。3.根据权利要求2所述的方法，其特征在于，所述将m个第一图像帧中的每个第一图像帧输入第一特征提取模型，包括：对第一视频的m个第一图像帧中的每个第一图像帧按照设定比例缩放，并根据设定尺寸的裁剪框裁剪，得到处理后的m个第一图像帧；将处理后的m个第一图像帧中的每个第一图像帧输入第一特征提取模型。4.根据权利要求1所述的方法，其特征在于，所述从所述m个第一图像帧对应的第一特征向量中提取得到第二特征向量，包括：将所述m个第一图像帧对应的第一特征向量输入第二特征提取模型，得到所述第二特征提取模型输出的第二特征向量；所述第二特征提取模型用于对输入的第一特征向量进行时序特征提取，得到对应的第二特征向量。5.根据权利要求4所述的方法，其特征在于，所述第二特征提取模型包括串联的至少两个隐藏层组合；每个隐藏层组合包括串联的第一隐藏层和第二隐藏层；所述第一隐藏层用于基于输入的特征向量提取每个第一图像帧的空间特征；所述第二隐藏层用于基于输入的每个第一图像帧的空间特征输出m个第一图像帧之间的时序特征。6.根据权利要求4所...

【专利技术属性】
技术研发人员：雷泽宇，牟俊舟，吕晶晶，张政，
申请(专利权)人：北京沃东天骏信息技术有限公司，
类型：发明
国别省市：