视频分类方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及计算机技术领域，具体涉及一种视频分类方法、装置、存储介质及电子设备。本公开实施例提供的方法包括：从待分类视频中抽取至少一个视频帧，并对所述视频帧进行预处理以得到全局图像；其中，所述全局图像的特征信息包括环境特征和对象特征中的至少一种；将所述全局图像输入预先训练的环境特征分类模型以得到基于所述环境特征的环境特征分类结果；将所述全局图像输入预先训练的对象特征分类模型以得到基于所述对象特征的对象特征分类结果；根据所述环境特征分类结果和所述对象特征分类结果融合得到所述待分类视频的分类结果。该方法显著提高了视频分类的准确性，能够应用于涉及人物社会关系等高级语义分析的视频分类场景中。

【技术实现步骤摘要】
视频分类方法、装置、存储介质及电子设备
本公开涉及计算机
，具体涉及一种视频分类方法、视频分类装置、计算机可读存储介质及电子设备。
技术介绍
视频分类技术一般是指通过计算机算法根据视频中的图像、音频等内容对一段视频分类为预定义的某一类别(如广告、体育、新闻、影视等)的技术。视频分类技术可用于网络视频的自动标签、搜索、内容理解等任务，目前分类准确率较高的方法主要是基于深度学习模型(如卷积神经网络、递归神经网络等)的视频分类方法。然而，现有的基于深度学习模型的分类方法仅能对视频中的基础信息进行学习，因而只能面向一般性的视频分类应用，对于视频中的人物社会关系等高级语义信息则难以有效识别，在视频分类的准确性和有效性方面仍存在缺陷。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种视频分类方法、视频分类装置、计算机可读存储介质及电子设备，进而至少在一定程度上克服由于相关技术的限制而导致的难以识别高级语义信息的技术问题。根据本公开的一个方面，提供一种视频分类方法，该方法包括：从待分类视频中抽取至少一个视频帧，并对所述视频帧进行预处理以得到全局图像；其中，所述全局图像的特征信息包括环境特征和对象特征中的至少一种；将所述全局图像输入预先训练的环境特征分类模型以得到基于所述环境特征的环境特征分类结果；将所述全局图像输入预先训练的对象特征分类模型以得到基于所述对象特征的对象特征分类结果；根据所述环境特征分类结果和所述对象特征分类结果融合得到所述待分类视频的分类结果。在本公开的一些示例性实施方式中，所述对象特征分类模型包括对象检测模型、特征提取模型和对象分类模型；所述将所述全局图像输入预先训练的对象特征分类模型以得到基于对象特征的对象特征分类结果，包括：将所述全局图像输入预先训练的所述对象检测模型以得到对应于实体对象的局部图像；将所述局部图像输入预先训练的所述特征提取模型以得到各个所述局部图像的对象特征；根据各个所述局部图像的对象特征以及图像来源信息确定各个所述局部图像之间的对象关系信息；将所述对象特征和所述对象关系信息输入预先训练的所述对象分类模型以得到对象特征分类结果。在本公开的一些示例性实施方式中，所述根据各个所述局部图像的对象特征以及图像来源信息确定各个所述局部图像之间的对象关系信息，包括：将各个所述局部图像进行组合以得到用于表征各个所述局部图像之间对象关系的关系图模型；根据各个所述局部图像的对象特征以及图像来源信息确定对应于所述关系图模型的邻接矩阵，并将所述邻接矩阵作为所述对象关系信息。在本公开的一些示例性实施方式中，所述根据各个所述局部图像的对象特征以及图像来源信息确定对应于所述关系图模型的邻接矩阵，包括：计算任意两个所述局部图像的对象特征的特征相似度；根据所述特征相似度以及所述图像来源信息，按照预设规则确定任意两个所述局部图像的关系特征值；将所述关系特征值进行组合以得到对应于所述关系图模型的邻接矩阵。在本公开的一些示例性实施方式中，所述特征相似度为特征向量之间的欧式距离或者余弦距离。在本公开的一些示例性实施方式中，所述实体对象包括主要实体对象和次要实体对象，所述局部图像包括对应于所述主要实体对象的主要对象局部图像和对应于所述次要实体对象的次要对象局部图像；所述根据各个所述局部图像的对象特征以及图像来源信息确定各个所述局部图像之间的对象关系信息，包括：根据所述主要对象局部图像的对象特征以及图像来源信息确定各个所述主要对象局部图像之间的主要对象关系信息；根据所述主要对象局部图像和所述次要对象局部图像的图像来源信息确定所述主要对象局部图像与所述次要对象局部图像之间的次要对象关系信息。在本公开的一些示例性实施方式中，所述对象特征分类结果包括对应于所述主要实体对象的主要对象特征分类结果和对应于所述次要实体对象的次要对象特征分类结果；所述将所述对象特征和所述对象关系信息输入预先训练的所述对象分类模型以得到对象特征分类结果，包括：将所述主要对象局部图像的对象特征以及所述主要对象关系信息输入预先训练的所述对象分类模型以得到所述主要对象特征分类结果；将所述主要对象局部图像的对象特征、所述次要对象局部图像的对象特征以及所述次要对象关系信息输入预先训练的所述对象分类模型以得到所述次要对象特征分类结果。在本公开的一些示例性实施方式中，所述主要对象关系信息包括用于表征相同主要实体对象之间对象关系的同体对象关系信息和用于表征不同主要实体对象之间对象关系的异体对象关系信息；所述根据所述主要对象局部图像的对象特征以及图像来源信息确定各个所述主要对象局部图像之间的主要对象关系信息，包括：计算任意两个所述主要对象局部图像的对象特征的特征相似度；根据所述特征相似度，按照第一预设规则确定两个所述主要对象局部图像的同体关系特征值，并基于所述同体关系特征值确定所述同体对象关系信息；根据所述特征相似度以及所述图像来源信息，按照第二预设规则确定两个所述主要对象局部图像的异体关系特征值，并基于所述异体关系特征值确定所述异体对象关系信息。在本公开的一些示例性实施方式中，所述按照第一预设规则确定两个所述主要对象局部图像的同体关系特征值，包括：若所述特征相似度小于第一预设阈值，将第一特征值作为两个所述主要对象局部图像的同体关系特征值；若所述特征相似度大于或等于所述第一预设阈值，将第二特征值作为所述同体关系特征值。在本公开的一些示例性实施方式中，所述按照第二预设规则确定两个所述主要对象局部图像的异体关系特征值，包括：若两个所述主要对象局部图像来源于同一全局图像，将第三特征值作为两个所述主要对象局部图像的异体关系特征值；若两个所述主要对象局部图像来源于不同的全局图像并且所述特征相似度大于或等于第二预设阈值，将第三特征值作为所述异体关系特征值；若两个所述主要对象局部图像来源于不同的全局图像并且所述特征相似度小于所述第二预设阈值，将第四特征值作为所述异体关系特征值。在本公开的一些示例性实施方式中，所述根据所述主要对象局部图像和所述次要对象局部图像的图像来源信息确定所述主要对象局部图像与所述次要对象局部图像之间的次要对象关系信息，包括：根据所述主要对象局部图像和所述次要对象局部图像的图像来源信息，按照第三预设规则确定次要关系特征值，并基于所述次要关系特征值确定所述主要对象局部图像与所述次要对象局部图像之间的次要对象关系信息。在本公开的一些示例性实施方式中，所述按照第三预设规则确定次要关系特征值，包括：若所述主要对象局部图像和所述次要对象局部图像来源于同一全局图像，将第五特征值作为所述次要关系特征值；若所述主要对象局部图像本文档来自技高网...

【技术保护点】
1.一种视频分类方法，其特征在于，包括：/n从待分类视频中抽取至少一个视频帧，并对所述视频帧进行预处理以得到全局图像；其中，所述全局图像的特征信息包括环境特征和对象特征中的至少一种；/n将所述全局图像输入预先训练的环境特征分类模型以得到基于所述环境特征的环境特征分类结果；/n将所述全局图像输入预先训练的对象特征分类模型以得到基于所述对象特征的对象特征分类结果；/n根据所述环境特征分类结果和所述对象特征分类结果融合得到所述待分类视频的分类结果。/n

【技术特征摘要】
1.一种视频分类方法，其特征在于，包括：
从待分类视频中抽取至少一个视频帧，并对所述视频帧进行预处理以得到全局图像；其中，所述全局图像的特征信息包括环境特征和对象特征中的至少一种；
将所述全局图像输入预先训练的环境特征分类模型以得到基于所述环境特征的环境特征分类结果；
将所述全局图像输入预先训练的对象特征分类模型以得到基于所述对象特征的对象特征分类结果；
根据所述环境特征分类结果和所述对象特征分类结果融合得到所述待分类视频的分类结果。


2.根据权利要求1所述的视频分类方法，其特征在于，所述对象特征分类模型包括对象检测模型、特征提取模型和对象分类模型；
所述将所述全局图像输入预先训练的对象特征分类模型以得到基于对象特征的对象特征分类结果，包括：
将所述全局图像输入预先训练的所述对象检测模型以得到对应于实体对象的局部图像；
将所述局部图像输入预先训练的所述特征提取模型以得到各个所述局部图像的对象特征；
根据各个所述局部图像的对象特征以及图像来源信息确定各个所述局部图像之间的对象关系信息；
将所述对象特征和所述对象关系信息输入预先训练的所述对象分类模型以得到对象特征分类结果。


3.根据权利要求2所述的视频分类方法，其特征在于，所述根据各个所述局部图像的对象特征以及图像来源信息确定各个所述局部图像之间的对象关系信息，包括：
将各个所述局部图像进行组合以得到用于表征各个所述局部图像之间对象关系的关系图模型；
根据各个所述局部图像的对象特征以及图像来源信息确定对应于所述关系图模型的邻接矩阵，并将所述邻接矩阵作为所述对象关系信息。


4.根据权利要求3所述的视频分类方法，其特征在于，所述根据各个所述局部图像的对象特征以及图像来源信息确定对应于所述关系图模型的邻接矩阵，包括：
计算任意两个所述局部图像的对象特征的特征相似度；
根据所述特征相似度以及所述图像来源信息，按照预设规则确定任意两个所述局部图像的关系特征值；
将所述关系特征值进行组合以得到对应于所述关系图模型的邻接矩阵。


5.根据权利要求4所述的视频分类方法，其特征在于，所述特征相似度为特征向量之间的欧式距离或者余弦距离。


6.根据权利要求2所述的视频分类方法，其特征在于，所述实体对象包括主要实体对象和次要实体对象，所述局部图像包括对应于所述主要实体对象的主要对象局部图像和对应于所述次要实体对象的次要对象局部图像；
所述根据各个所述局部图像的对象特征以及图像来源信息确定各个所述局部图像之间的对象关系信息，包括：
根据所述主要对象局部图像的对象特征以及图像来源信息确定各个所述主要对象局部图像之间的主要对象关系信息；
根据所述主要对象局部图像和所述次要对象局部图像的图像来源信息确定所述主要对象局部图像与所述次要对象局部图像之间的次要对象关系信息。


7.根据权利要求6所述的视频分类方法，其特征在于，所述对象特征分类结果包括对应于所述主要实体对象的主要对象特征分类结果和对应于所述次要实体对象的次要对象特征分类结果；
所述将所述对象特征和所述对象关系信息输入预先训练的所述对象分类模型以得到对象特征分类结果，包括：
将所述主要对象局部图像的对象特征以及所述主要对象关系信息输入预先训练的所述对象分类模型以得到所述主要对象特征分类结果；
将所述主要对象局部图像的对象特征、所述次要对象局部图像的对象特征以及所述次要对象关系信息输入预先训练的所述对象分类模型以得到所述次要对象特征分类结果。


8.根据权利要求6所述的视频分类方法，其特征在于，所述主要对象关系信息包括用于表征相同主要实体对象之间对象关系的同体对象关系信息和用于表征不同主要实体对象之间对象关系的异体对象关系信息；
所述根据所述主要对象局部图像的对象特征以及图像来源信息确定各个所述主要对象局部图像之间的主要对象关系信息，包括：
计算任意两个所述主要对象局部图像的对象特征的特征相似度；
根据所述特征相似度，按照第一预设规则确定两个所述主要对象局部图像的同体关系特征值，并基于所述同体关系特征值确定所述同体对象关系信息；
根据所述特征相似度以及所述图像来源信息，按照第二预设规则确定两个所述主要对象局部图像的异体关系特征值，并基于所述异体关系特征值确定所述异体对象关系信...

【专利技术属性】
技术研发人员：刘鑫辰，刘武，梅涛，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11