视频封面图像提取方法及装置、存储介质及电子设备制造方法及图纸

本公开提供一种视频封面图像提取方法及装置、电子设备、存储介质；涉及人工智能技术领域。所述视频封面图像提取方法包括：对目标视频的分帧图像进行精彩程度评估，获取用于表征各所述分帧图像的精彩程度的第一度量值；对所述目标视频进行精彩片段识别，获取所述目标视频中的精彩片段以及用于表征各所述精彩片段的精彩程度的第二度量值；对于各所述分帧图像，根据该所述分帧图像的第一度量值以及该所述分帧述图像所属精彩片段的第二度量值，计算该所述分帧图像的第三度量值；根据各所述分帧图像的第三度量值从所述视频中提取封面图像。本公开可以提升视频封面图像提取的准确性及稳定性。

【技术实现步骤摘要】
视频封面图像提取方法及装置、存储介质及电子设备
本公开涉及人工智能
，具体而言，涉及基于人工智能的一种视频封面图像提取方法、视频封面图像提取方法装置、电子设备以及计算机可读存储介质。
技术介绍
随着科学技术和信息技术的进步，特别是计算机技术、网络技术和大容量存储技术的不断发展，目前互联网上已经生产了海量的视频数据。在对视频进行展示时，一般会从视频中选取一个或多个分帧图像作为封面图像，以使用户通过封面图像对视频有初步了解。现有技术中，有些方案是对视频中分帧图像单独进行简单评估，并根据评估结果从视频中自动挑选封面图像。但该方案的准确性以及稳定性仍存在一定的提升空间。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开实施例的目的在于提供一种视频封面图像提取方法、视频封面图像提取装置、电子设备以及计算机可读存储介质，进而至少在一定程度上提高视频封面图像提取的稳定性及准确性。根据本公开的一个方面，提供一种视频封面图像提取方法，包括：对目标视频的分帧图像进行精彩程度评估，获取用于表征各所述分帧图像的精彩程度的第一度量值；对所述目标视频进行精彩片段识别，获取所述目标视频中的精彩片段以及用于表征各所述精彩片段的精彩程度的第二度量值；对于各所述分帧图像，根据该所述分帧图像的第一度量值以及该所述分帧述图像所属精彩片段的第二度量值，计算该所述分帧图像的第三度量值；根据各所述分帧图像的第三度量值从所述视频中提取封面图像。在本公开的一种示例性实施例中，对目标视频的分帧图像进行精彩程度评估，包括：将所述分帧图像输入至第一判别模型以通过所述第一判别模型确定所述分帧图像属于精彩图像的概率值，并将所述概率值作为所述第一度量值。在本公开的一种示例性实施例中，所述方法还包括：获取多条训练数据，各所述训练数据至少包含样本图像以及关于所述样本图像是否属于精彩图像的标注信息；基于所述训练数据，对一机器学习模型进行训练，以得到所述第一判别模型。在本公开的一种示例性实施例中，对所述目标视频进行精彩片段识别，包括：基于所述目标视频的图像信息、光流信息、音频信息以及附属信息中的一种或多种，对所述目标视频进行精彩片段识别。在本公开的一种示例性实施例中，对所述目标视频进行精彩片段识别，包括：从所述目标视频中提取多个时刻的图像信息和音频信息；根据所述多个时刻的图像信息和音频信息获取所述目标视频在各所述时刻的综合特征信息；根据所述综合特征信息，对所述目标视频进行精彩片段识别。在本公开的一种示例性实施例中，获取所述目标视频在各所述时刻的综合特征信息，包括：对于各时刻的所述图像信息进行图像特征提取，得到所述目标视频在各时刻的第一特征信息；对于各时刻的所述音频信息进行音频特征提取，得到所述目标视频在各时刻的第二特征信息；融合各时刻的所述第一特征信息和第二特征信息，得到所述目标视频在各时刻的所述综合特征信息。在本公开的一种示例性实施例中，融合所述第一特征信息和第二特征信息，包括：对所述第一特征信息进行编码操作，得到第一编码信息；对所述第二特征信息进行所述编码操作，得到第二编码信息；合并所述第一特征信息和第二特征信息，得到第三特征信息，并对所述第三特征信息进行所述编码操作，得到第三编码信息；合并所述第一编码信息、第二编码信息以及第三编码信息，得到所述综合特征信息。在本公开的一种示例性实施例中，对所述目标视频进行精彩片段识别，包括：将所有所述时刻的所述综合特征信息输入至第二判别模型，以通过所述第二判别模型确定各时刻属于精彩片段开始阶段的概率值、属于精彩片段结束阶段的概率值以及属于精彩片段中间阶段的概率值；根据各所述概率值从各所述时刻中确定多个候选开始时刻以及多个候选结束时刻；根据所述多个候选开始时刻以及候选结束时刻确定多个候选片段；对各所述候选片段进行评估，并根据评估结果从所述多个所述候选片段中确定所述精彩片段以及对应的所述第二度量值。在本公开的一种示例性实施例中，对各所述候选片段进行评估，包括：获取多条训练数据，各所述训练数据至少包含样本片段以及该样本片段与其对应的精彩片段的时间交并比；基于所述训练数据，对一机器学习模型进行训练，得到评估模型；将所述候选片段输入所述评估模型以通过所述评估模型确定所述候选片段为精彩片段的概率。在本公开的一种示例性实施例中，计算该所述分帧图像的第三度量值，包括：对所述第一度量值和第二度量值进行相加，得到所述第三度量值；或者对所述第一度量值和第二度量值进行乘积，得到所述第三度量值；或者对所述第一度量值和第二度量值进行加权求和，得到所述第三度量值。在本公开的一种示例性实施例中，根据各所述分帧图像的第三度量值从所述视频中提取封面图像，包括：将所述第三度量值最高的一个或多个分帧图像作为所述封面图像。根据本公开的一个方面，提供一种视频封面图像提取装置，包括：图像评估模块，用于对目标视频的分帧图像进行精彩程度评估，获取用于表征各所述分帧图像的精彩程度的第一度量值；视频评估模块，用于对所述目标视频进行精彩片段识别，获取所述目标视频中的精彩片段以及用于表征各所述精彩片段的精彩程度的第二度量值；综合计算模块，用于对于各所述分帧图像，根据该所述分帧图像的第一度量值以及该所述分帧述图像所属精彩片段的第二度量值，计算该所述分帧图像的第三度量值；封面提取模块，用于根据各所述分帧图像的第三度量值从所述视频中提取封面图像。在本公开的一种示例性实施例中，所述图像评估模块通过下述方法对目标视频的分帧图像进行精彩程度评估：将所述分帧图像输入至第一判别模型以通过所述第一判别模型确定所述分帧图像属于精彩图像的概率值，并将所述概率值作为所述第一度量值。在本公开的一种示例性实施例中，所述装置还包括：第一模型训练模块，用于获取多条训练数据，各所述训练数据至少包含样本图像以及关于所述样本图像是否属于精彩图像的标注信息；基于所述训练数据，对一机器学习模型进行训练，以得到所述第一判别模型。在本公开的一种示例性实施例中，所述视频评估模块通过下述方法对所述目标视频进行精彩片段识别：基于所述目标视频的图像信息、光流信息、音频信息以及附属信息中的一种或多种，对所述目标视频进行精彩片段识别。在本公开的一种示例性实施例中，所述视频评估模块通过下述方法对所述目标视频进行精彩片段识别：从所述目标视频中提取多个时刻的图像信息和音频信息；根据所述多个时刻的图像信息和音频信息获取所述目标视频在各所述时刻的综合特征信息；根据所述综合特征信息，对所述目标视频进行精彩片段识别。在本公开的一种示例性实施例中，所述视频评估模块通过下述方法获取所述目标视频在各所述时刻的综合特征信息包括：对于各时刻的所述图像信息进行图像特征提取，得到所述目标视频在各时刻的第一特征信息；对于各时刻的所述音频信息进行音频特征提取，得到所述目标视频在各时刻的第二特征信息；融合各时刻的所述第一特征信息和第二特征信息，得到所述目标视频在各时刻的所述综合特征信息。在本公开的一种示例性实施例中，所述视频评估模块通过下述方法融合所述第一特征信息和第二特征信息：对所述第一特征信息进行编码操作，得到第一编码信息；对所述第二特征信息进行所述编码本文档来自技高网...

【技术保护点】
1.一种视频封面图像提取方法，其特征在于，包括：对目标视频的分帧图像进行精彩程度评估，获取用于表征各所述分帧图像的精彩程度的第一度量值；对所述目标视频进行精彩片段识别，获取所述目标视频中的精彩片段以及用于表征各所述精彩片段的精彩程度的第二度量值；对于各所述分帧图像，根据该所述分帧图像的第一度量值及该所述分帧述图像所属精彩片段的第二度量值，计算该所述分帧图像的第三度量值；根据各所述分帧图像的第三度量值从所述视频中提取封面图像。

【技术特征摘要】
1.一种视频封面图像提取方法，其特征在于，包括：对目标视频的分帧图像进行精彩程度评估，获取用于表征各所述分帧图像的精彩程度的第一度量值；对所述目标视频进行精彩片段识别，获取所述目标视频中的精彩片段以及用于表征各所述精彩片段的精彩程度的第二度量值；对于各所述分帧图像，根据该所述分帧图像的第一度量值及该所述分帧述图像所属精彩片段的第二度量值，计算该所述分帧图像的第三度量值；根据各所述分帧图像的第三度量值从所述视频中提取封面图像。2.根据权利要求1所述的视频封面图像提取方法，其特征在于，对目标视频的分帧图像进行精彩程度评估，包括：将所述分帧图像输入至第一判别模型以通过所述第一判别模型确定所述分帧图像属于精彩图像的概率值，并将所述概率值作为所述第一度量值。3.根据权利要求2所述的视频封面图像提取方法，其特征在于，所述方法还包括：获取多条训练数据，各所述训练数据至少包含样本图像以及关于所述样本图像是否属于精彩图像的标注信息；基于所述训练数据，对一机器学习模型进行训练，以得到所述第一判别模型。4.根据权利要求1所述的视频封面图像提取方法，其特征在于，对所述目标视频进行精彩片段识别，包括：基于所述目标视频的图像信息、光流信息、音频信息以及附属信息中的一种或多种，对所述目标视频进行精彩片段识别。5.根据权利要求1所述的视频封面图像提取方法，其特征在于，对所述目标视频进行精彩片段识别，包括：从所述目标视频中提取多个时刻的图像信息和音频信息；根据所述多个时刻的图像信息和音频信息获取所述目标视频在各所述时刻的综合特征信息；根据所述综合特征信息，对所述目标视频进行精彩片段识别。6.根据权利要求5所述的视频封面图像提取方法，其特征在于，获取所述目标视频在各所述时刻的综合特征信息，包括：对于各时刻的所述图像信息进行图像特征提取，得到所述目标视频在各时刻的第一特征信息；对于各时刻的所述音频信息进行音频特征提取，得到所述目标视频在各时刻的第二特征信息；融合各时刻的所述第一特征信息和第二特征信息，得到所述目标视频在各时刻的所述综合特征信息。7.根据权利要求6所述的视频封面图像提取方法，其特征在于，融合所述第一特征信息和第二特征信息，包括：对所述第一特征信息进行编码操作，得到第一编码信息；对所述第二特征信息进行所述编码操作，得到第二编码信息；合并所述第一特征信息和第二特征信息，得到第三特征信息，并对所述第三特征信息进行所述编码操作，得到第三编码信息；合并所述第一编码信息、第二编码信息以及第三编码信息，得到所述综合特征信息。8.根据权利要求5所述的视频封面图像...

【专利技术属性】
技术研发人员：田思达，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44