【技术实现步骤摘要】
模型生成方法、特征提取方法、装置及电子设备
[0001]本专利技术涉及计算机
，特别是涉及一种模型生成方法、特征提取方法、装置及电子设备。
技术介绍
[0002]随着互联网技术的快速发展，视频已成为内容创作和社交媒体平台的重要传播方式之一。视频特征提取作为视频处理中的一个重要环节，提取的特征类别的全面性直接影响着后续视频处理的效果。
[0003]现有技术中，通常是使用3D卷积神经网络或2D卷积神经网络进行特征提取。其中，使用3D卷积神经网络提取的方式，能够同时提取到视频的空间维度特征及时间维度特征，但由于3D卷积神经网络本身特性的影响，提取所需的计算量较大。使用2D卷积神经网络提取的方式，所需的计算量较小，但仅能提取到视频的空间维度特征。这些方法均无法做到特征提取的全面性和所需耗费的计算量的均衡。因此，如何兼顾特征提取的全面性和所需耗费的计算量已成为业内亟待解决的技术问题。
技术实现思路
[0004]本专利技术实施例的目的在于提供一种模型生成方法、特征提取方法、装置及电子设备，以实现解决无法兼顾...
【技术保护点】
【技术特征摘要】
1.一种模型生成方法，其特征在于，所述方法包括：通过预设时间-空间维度2D卷积神经网络中的特征图生成层对样本视频进行采样，得到T个输入特征图；所述T为大于1的整数；通过所述预设时间-空间维度2D卷积神经网络中的空间特征提取层，提取所述T个输入特征图的空间维度特征，以及，通过时间通道卷积神经网络TCC模块，根据预设的二维卷积核提取所述T个输入特征图的时间维度特征；其中，所述预设时间-空间维度2D卷积神经网络是通过预先在2D卷积神经网络中嵌入至少一个所述TCC模块得到的；基于所述空间维度特征及所述时间维度特征，生成特征提取模型。2.根据权利要求1所述的方法，其特征在于，所述通过预先嵌入的时间通道卷积神经网络TCC模块，根据预设的二维卷积核提取所述T个输入特征图的时间维度特征，包括：基于所述输入特征图的时间顺序，根据所述预设的二维卷积核在每个所述输入特征图的时间及通道维度上进行卷积操作，以确定所述时间维度特征；所述输入特征图是所述TCC模块之前的层对所述样本视频中的样本视频帧进行处理得到的。3.根据权利要求2所述的方法，其特征在于，所述基于所述输入特征图的时间顺序，根据所述预设的二维卷积核在每个所述输入特征图的时间及通道维度上进行卷积操作，包括：对于任一所述输入特征图，按照时间维度的索引、通道维度的索引，利用所述预设的二维卷积核在各个所述索引指示的时间及通道维度下遍历所述输入特征图，以进行所述卷积操作。4.根据权利要求2或3所述的方法，其特征在于，在所述基于所述输入特征图的时间顺序，根据所述预设的二维卷积核在每个所述输入特征图的时间及通道维度上进行卷积操作之前，所述方法还包括：将所述输入特征图的通道数量调整为P；所述P＜Q，所述Q是所述输入特征图的原始通道数量；在所述基于所述输入特征图的时间顺序，根据所述预设的二维卷积核在每个所述输入特征图的时间及通道维度上进行卷积操作之后，所述方法还包括：将进行卷积之后的输入特征图的通道数量恢复为Q，得到所述时间维度特征。5.根据权利要求4所述的方法，其特征在于，所述预设时间-空间维度2D卷积神经网络中包括卷积层；所述TCC模块与所述卷积层连接；所述TCC模块包括时间通道卷积层、数量调整层及数量恢复层；所述时间通道卷积层用于实现所述根据所述预设的二维卷积核在每个所述输入特征图的时间及通道维度上进行卷积操作的操作，所述数量调整层用于实现所述将所述输入特征图的通道数量调整为P的操作，所述数量恢复层用于实现所述将所述输入特征图的通道数量恢复为Q的操作；所述数量调整层、所述时间通道卷积层及所述数量恢复层均连接有批量归一化BN层和修正线性单元Relu层；所述BN层用于对所述数量调整层、所述时间通道卷积层或所述数量恢复层的输出进行归一化操作，所述Relu层用于对所述BN层的输出进行修正线性操作。6.一种特征提取方法，其特征在于，所述方法包括：将待提取视频作为特征提取模型的输入，通过所述特征提取模型提取所述待提取视频的时间维度特征以及空间维度特征；
其中，所述特征提取模型是根据权利要求1至5中任一所述的方法生成的。7.一种模型生成装置，其特征在于，所述装置包括：采样模块，用于通过预设时间-空间维度2D卷积神经网络中的特征图生成层对样本视频进行采样，得...
【专利技术属性】
技术研发人员：刘倩，王涛，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。