视频分类方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本公开实施例公开了一种视频分类方法、装置、电子设备和计算机可读存储介质。其中该视频分类方法包括：获取待分类视频的多个视频帧；对所述多个视频帧进行分类得到所述多个视频帧的第一类别，其中所述第一类别包括对象外部视频帧和对象内部视频帧；分别对所述对象外部视频帧和所述对象内部视频帧进行特征提取得到与所述多个视频帧对应的融合特征向量；根据所述融合特征向量确定所述待分类视频的分类结果。上述方法通过结合对象外部视频帧以及对象内部视频帧的特征，解决了视频分类中由于单帧质量所导致的召回率和准确率低的技术问题。题。题。

【技术实现步骤摘要】
视频分类方法、装置、电子设备及计算机可读存储介质


[0001]本公开涉及视频分类领域，尤其涉及一种视频分类方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]近几年，随着移动互联网的快速发展，短视频行业迅速崛起，由于其传播速度快，制作门槛低以及社交属性强能优点受到大量用户和创作者的青睐。为了更精准的为用户推荐相关内容，需要对每个视频进类别的标注，例如在汽车视频中，需要对视频所描述的车系进行标注。针对用户创作内容(user generated cintent,UGC)场景下的视频车系分类。
[0003]现有的技术是单帧识别后整合单帧结果得到视频结果。虽然该方案在识别准确率上能够满足大多数场景，但是对于单帧图片质量和抽帧频率要求较高。实时性要求较高的场景，往往会对图片质量和抽帧数进行压缩，从而减少传输时间，这也大大降低了现有技术的准确率和召回率。

技术实现思路

[0004]提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频分类方法，其特征在于，包括：获取待分类视频的多个视频帧；对所述多个视频帧进行分类得到所述多个视频帧的第一类别，其中所述第一类别包括对象外部视频帧和对象内部视频帧；分别对所述对象外部视频帧和所述对象内部视频帧进行特征提取得到与所述多个视频帧对应的融合特征向量；根据所述融合特征向量确定所述待分类视频的分类结果。2.如权利要求1所述的视频分类方法，其特征在于，所述对所述多个视频帧进行分类得到所述多个视频帧的第一类别，包括：对所述视频帧进行目标检测得到至少一个目标检测框；根据所述目标检测框的置信度、目标检测框距离视频帧中心点的距离以及目标检测框的面积在视频帧中的占比计算所述目标框的综合置信度；将综合置信度最大的目标检测框所对应的类别作为所述视频帧的第一类别。3.如权利要求2所述的视频分类方法，其中所述对所述视频帧进行目标检测得到至少一个目标检测框由目标检测模型执行，其中所述目标检测模型为经过裁剪的RetinaNet模型，其通道数为RetinaNet模型的一半，且所述目标检测模型经过int8量化以及tensorRT加速。4.如权利要求1
‑
3任意一项所述的视频分类方法，其特征在于，所述分别对所述对象外部视频帧和所述对象内部视频帧进行特征提取得到与所述多个视频帧对应的融合特征向量，包括：将所述对象外部视频帧输入对象外部特征提取模型得到所述对象外部视频帧的第一特征向量；将所述对象外部视频帧输入对象外部特征提取模型得到所述对象外部视频帧的第一特征向量；将所述第一特征向量按照所述多个视频帧的顺序排列得到融合特征向量。5.如权利要求4所述的视频分类方法，其特征在于：当所述视频帧的第一类别为空时，将全零特征向量作为所述视频帧的第一特征向量。6.如权利要求5所述的视频分类方法，其特征在于，所述根据所述融合特征向量确定所述待分类视频的分类结果，包括：将所述融合特征向量输入融合特征分类模型得到所述待分类视频的分类结果；其中，所述融合特征分类模型包括特征转换层和分类层，其中所述特征转换层用于将所述融合特征向量转换为类别差向量，所述分类层用于根据所述类别差向量计算所述待分类视频属于每个第二类别的概率值。7.如权利要求6所述的视频分类方法，其特征在于，所述将所述融合特征向量输入融合特征分类模型得到所述待分类视频的分类结果，包括：将所述融合特征向量分别输入所述特征转换层的权重计算层和残差计算层；所述权重计算层用于根据所述融合特征向量计算所述多个视频帧属于每个第二类别的权重值；所述残差计算层用于计算融合特征向量与每个第二类别的中心特征向量的残差值；
根据所述权重值和所述残差值计算得到所述类别差向量；根据所述类别差向量确定所述待分类视频的分类结果。8.如权利要求7所述的视频分类方法，其特征在于，所述根据所述权...

【专利技术属性】
技术研发人员：毛永波，孙文胜，韦晓全，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：