视频分类方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本公开实施例公开了一种视频分类方法、装置、电子设备和计算机可读存储介质。其中该视频分类方法包括：获取待分类视频的多个视频帧；对所述多个视频帧进行分类得到所述多个视频帧的第一类别，其中所述第一类别包括对象外部视频帧和对象内部视频帧；根据所述对象外部视频帧对所述对象进行识别得到所述对象外部视频帧的第一分类向量；根据所述对象内部视频帧对所述对象进行识别得到所述对象内部视频帧的第一分类向量；根据所述第一分类向量确定所述待分类视频的分类结果。上述方法通过结合对象外部视频帧以及对象内部视频帧，解决了视频分类的召回率低的技术问题。频分类的召回率低的技术问题。频分类的召回率低的技术问题。

【技术实现步骤摘要】
视频分类方法、装置、电子设备及计算机可读存储介质


[0001]本公开涉及视频分类领域，尤其涉及一种视频分类方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]近几年，随着移动互联网的快速发展，短视频行业迅速崛起，由于其传播速度快，制作门槛低以及社交属性强能优点受到大量用户和创作者的青睐。为了更精准的为用户推荐相关内容，需要对每个视频进类别的标注，例如在汽车视频中，需要对视频所描述的车系进行标注。针对用户创作内容(user generated cintent,UGC)场景下的视频车系分类，现有的技术方案是抽取视频帧，利用检测模型提取出图片中面积占比最大的目标区域，并返回目标区域的车辆系类型。
[0003]针对多标签视频车系识别问题，现有技术方案主要存在以下缺点：1、汽车视频样本中，包括大量对汽车内饰的介绍内容，现有方案仅通过汽车外观进行识别，因此整体召回率不高；2、单帧视频有时候会有多辆车的情况，现有方案仅返回面积最大的目标结果，可能存在错判；3、最终结果仅与单帧有关，如果单帧识别错误，则会大大降低准确率。
专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频分类方法，其特征在于，包括：获取待分类视频的多个视频帧；对所述多个视频帧进行分类得到所述多个视频帧的第一类别，其中所述第一类别包括对象外部视频帧和对象内部视频帧；根据所述对象外部视频帧对所述对象进行识别得到所述对象外部视频帧的第一分类向量；根据所述对象内部视频帧对所述对象进行识别得到所述对象内部视频帧的第一分类向量；根据所述第一分类向量确定所述待分类视频的分类结果。2.如权利要求1所述的视频分类方法，其中所述对所述多个视频帧进行分类得到所述多个视频帧的第一类别，包括：对所述视频帧进行目标检测得到至少一个目标检测框；根据所述目标检测框的置信度、目标检测框距离视频帧中心点的距离以及目标检测框的面积在视频帧中的占比计算所述目标框的综合置信度；将综合置信度最大的目标检测框所对应的类别作为所述视频帧的第一类别。3.如权利要求1所述的视频分类方法，其中所述第一分类向量中的每个第一元素对应一种第二类别，所述第一元素的值表示所述视频帧为所述第一元素所对应的第二类别的置信度。4.如权利要求3所述的视频分类方法，其中所述根据所述第一分类向量确定所述待分类视频的分类结果，包括：根据所述第一分类向量将所述第一分类向量所对应的视频帧分类为至少一个第二类别；其中，每个第二类别对应一个视频帧集合；根据所述视频帧集合中的每个视频帧的所述第一分类向量计算所述待分类视频为所述视频帧集合所对应的第二类别的置信度；根据所述第二类别的置信度确定所述待分类视频的分类结果。5.如权利要求4所述的视频分类方法，其中所述根据所述第一分类向量将所述第一分类向量所对应的视频帧分类为至少一个第二类别，包括：获取聚类阈值；比较所述第一分类向量中的每一个第一元素的值与所述聚类阈值的大小；响应于所述第一元素的值大于所述聚类阈值，将所述第一分类向量所对应的视频帧分类为所述第一元素所对应的第二类别。6.如权利要求4所述的视频分类方法，其特征在于，所述方法还包括：根据所述对象外部视频帧对所述对象的标识进行识别得到所述对象外部视频帧中包括所述对象的标识的标识置信度；根据所述标识置信度计算所述对象外部视频帧的权重值；所述根据所述视频帧集合中的每个视频帧的所述第一分类向量计算所述待分类视频为所述视频帧集合所对应的第二类别的置信度，包括：根据所述对象外部视频帧的权重值对视频帧集合中的所述对象外部视频帧的第一分类向量进行加权计算得到加权第一分类向量；
根据所述加权第一分类向量计算所述待分类视频为所述视频帧集合所对应的第二类别的置信度。7.如权利要求6所述的视频分类方法，其特征在于，所述根据所述标识置信度计算所述对象外部视频帧的权重值...

【专利技术属性】
技术研发人员：毛永波，孙文胜，韦晓全，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：