一种视频数据处理方法、装置、设备以及可读存储介质制造方法及图纸

本申请实施例公开了一种视频数据处理方法、装置、设备以及可读存储介质，本申请属于计算机技术领域，方法包括：获取视频的图像帧内容信息，根据图像帧内容信息在视频中抽取候选代表性图片；获取视频的默认代表性图片；对候选代表性图片与默认代表性图片分别对应的图像质量进行评估，得到质量评估结果；获取候选代表性图片与默认代表性图片分别对应的图片优先级，根据图片优先级与质量评估结果，在候选代表性图片与默认代表性图片中，选择视频的代表性图片。采用本申请，可以提高生成视频代表性图片的效率，提高视频代表性图片的质量。

A video data processing method, device, device and readable storage medium

【技术实现步骤摘要】
一种视频数据处理方法、装置、设备以及可读存储介质
本申请涉及计算机
，尤其涉及一种视频数据处理方法、装置、设备以及可读存储介质。
技术介绍
随着计算机技术的进步，视频技术也发展逐渐成熟起来。关于视频录播的程序与应用也越来越多，对于视频推荐来说，视频的封面图对于整个界面的观感、体验以及用户是否点击播放这个视频有着很大的影响。在现有技术中，对于视频的封面图，大多由人工进行选择确定，人工选择的方式只能确保视频封面图通过了安全审核规范、封面图中无违规信息，若想对视频封面图进行优化，也需要人工进行二次选择，这将消耗大量的人力成本与时间成本，而且人工选择的方式，只能覆盖到人工重点关注的部分内容上，，无法挖掘出视频中更多优秀的信息，这使得视频封面图的质量不高。申请内容本申请实施例提供一种视频数据处理方法、装置、设备以及可读存储介质，可以提高生成视频代表性图片的效率，提高视频代表性图片的质量。本申请实施例一方面提供了一种视频数据处理方法，包括：获取视频的图像帧内容信息，根据上述图像帧内容信息在上述视频中抽取候选代表性图片；获取上述视频的默认代表性图片；对上述候选代表性图片与上述默认代表性图片分别对应的图像质量进行评估，得到质量评估结果；获取上述候选代表性图片与上述默认代表性图片分别对应的图片优先级，根据上述图片优先级与上述质量评估结果，在上述候选代表性图片与上述默认代表性图片中，选择上述视频的代表性图片。本申请实施例一方面提供了一种视频数据处理装置，包括：抽取模块，用于获取视频的图像帧内容信息，根据上述图像帧内容信息在上述视频中抽取候选代表性图片；获取模块，用于获取上述视频的默认代表性图片；图像质量评估模块，用于对上述候选代表性图片与上述默认代表性图片分别对应的图像质量进行评估，得到质量评估结果；代表性图片选择模块，用于获取上述候选代表性图片与上述默认代表性图片分别对应的图片优先级，根据上述图片优先级与上述质量评估结果，在上述候选代表性图片与上述默认代表性图片中，选择上述视频的代表性图片。在一个实施例中，上述抽取模块，包括：第一获取单元，用于获取上述视频的视频帧；上述第一获取单元，还用于获取对象集合；匹配对象单元，用于将上述视频帧中的对象信息与上述对象集合中的默认对象信息进行进行匹配；第一确定单元，用于将匹配率大于匹配阈值的视频帧确定为上述候选代表性图片。在一个实施例中，上述抽取模块，包括：第二获取单元，用于获取上述视频的目标视频帧；第二确定单元，用于根据上述目标视频帧中的场景信息确定上述目标视频帧对应的第一场景类别；上述第二获取单元，还用于获取上述视频中上述目标视频帧的上一视频帧；上述第二确定单元，还用于根据上述上一视频帧中的场景信息确定上述上一视频帧对应的第二场景类别；上述第二确定单元，还用于若上述第一场景类别与上述第二场景类别不相同，则将上述目标视频帧和上述上一视频帧确定为上述候选代表性图片。在一个实施例中，上述图像质量评估模块，包括：输入单元，用于将上述候选代表性图片输入质量评估模型；上述质量评估模型包括清晰度信息对应的第一模型参数和美观度信息对应的第二模型参数；第三确定单元，用于根据上述第一模型参数确定上述候选代表性图片与上述默认代表性图片分别对应的清晰度评估分值；上述第三确定单元，还用于根据上述第二模型参数确定上述候选代表性图片与上述默认代表性图片分别对应的美观度评估分数；融合单元，用于融合上述清晰度评估分数与上述美观度评估分数，生成上述候选代表性图片与上述默认代表性图片分别对应的图像质量分值。将上述图像质量分值确定为上述质量评估结果。在一个实施例中，上述融合单元，包括：输出子单元，用于融合上述清晰度评估分数与上述美观度评估分数，通过上述分类层输出上述候选代表性图片与上述默认代表性图片分别对应的原始评估分数；归一化子单元，用于将上述原始评估分数输入上述归一化层，通过上述归一化层将上述原始评估分数转换为处于归一化数值范围内的数值，将上述归一化层所输出的数值确定为上述候选代表性图片与上述默认代表性图片分别对应的图像质量分值。在一个实施例中，上述代表性图片选择模块，包括：第一运算单元，用于获取上述候选代表性图片的第一图片优先级，将上述第一图片优先级与上述候选代表性图片对应的图像质量分值进行与运算，得到上述候选代表性图片的第一评估分值；上述第一运算单元，还用于获取上述默认代表性图片的第二图片优先级，将上述第二图片优先级与上述默认代表性图片对应的图像质量分值进行与运算，得到上述默认代表性图片的第二评估分值；第一确定代表性图片单元，用于将上述第一评估分值与上述第二评估分值中的最大值确定为最大评估分值，将上述最大评估分值对应的图片确定为上述视频的代表性图片。在一个实施例中，上述代表性图片选择模块，包括：第一获取优先级单元，用于若上述默认代表性图片为用户选择图片，则获取上述默认代表性图片的第三图片优先级；上述用户选择图片由用户终端响应图片选择操作所得到的；第二运算单元，用于将上述第二评估分值与上述第三图片优先级进行与运算，得到上述默认代表性图片的目标评估分值；第二确定代表性图片单元，用于将上述第一评估分值与上述目标评估分值中的最大值确定为最大评估分值，将上述最大评估分值对应的图片确定为上述视频的代表性图片。在一个实施例中，上述代表性图片选择模块，包括：获取类别单元，用于获取上述视频的视频类别标签；上述视频标签用于表征上述视频的类别；第四确定单元，用于将上述默认代表性图片与上述候选代表性图片均确定为待检测图片，将上述第一评估分值和上述第二评估分值均确定为待更新评估分值；识别标签单元，用于识别上述待检测图片对应的图片类别标签；匹配标签单元，用于将上述图片类别标签与上述视频类别标签进行匹配，将匹配率大于或等于标签阈值的图片类别标签确定为相似类别标签，将上述相似类别标签对应的待检测图片确定为关联代表性图片；第二获取优先级单元，用于获取上述视频类别标签相关联的第四图片优先级，将上述第四图片优先级与上述关联代表性图片的待更新评估分值进行与运算，得到上述关联代表性图片的关联评估分值；第三确定代表性图片单元，用于将非关联代表性图片对应的待更新评估分值以及上述关联评估分值中的最大值确定为最大评估分值，将上述最大评估分值对应的图片确定为上述视频的代表性图片；上述非关联代表性图片为上述待检测图片中除了上述关联代表性图片之外的图片。在一个实施例中，上述代表性图片选择模块，包括：确定候选集单元，用于将上述候选代表性图片与上述默认代表性图片确定为待过滤代表性图片集；过滤单元，用于对上述待过滤代表性图片集进行过滤处理，得到过滤代表性图片集；第四确定代表性图片单元，用于将上述过滤代本文档来自技高网...

【技术保护点】
1.一种视频数据处理方法，其特征在于，包括：/n获取视频的图像帧内容信息，根据所述图像帧内容信息在所述视频中抽取候选代表性图片；/n获取所述视频的默认代表性图片；/n对所述候选代表性图片与所述默认代表性图片分别对应的图像质量进行评估，得到质量评估结果；/n获取所述候选代表性图片与所述默认代表性图片分别对应的图片优先级，根据所述图片优先级与所述质量评估结果，在所述候选代表性图片与所述默认代表性图片中，选择所述视频的代表性图片。/n

【技术特征摘要】
1.一种视频数据处理方法，其特征在于，包括：
获取视频的图像帧内容信息，根据所述图像帧内容信息在所述视频中抽取候选代表性图片；
获取所述视频的默认代表性图片；
对所述候选代表性图片与所述默认代表性图片分别对应的图像质量进行评估，得到质量评估结果；
获取所述候选代表性图片与所述默认代表性图片分别对应的图片优先级，根据所述图片优先级与所述质量评估结果，在所述候选代表性图片与所述默认代表性图片中，选择所述视频的代表性图片。


2.根据权利要求1所述的方法，其特征在于，所述图像帧内容信息包括对象信息；
所述根据所述图像帧内容信息在所述视频中抽取候选代表性图片，包括：
获取所述视频的视频帧；
获取对象集合；
将所述视频帧中的对象信息与所述对象集合中的默认对象信息进行匹配；
将匹配率大于匹配阈值的视频帧确定为所述候选代表性图片。


3.根据权利要求1所述的方法，其特征在于，所述图像帧内容信息包括场景信息；
所述根据所述图像帧内容信息在所述视频中抽取候选代表性图片，包括：
获取所述视频的目标视频帧；
根据所述目标视频帧中的场景信息确定所述目标视频帧对应的第一场景类别；
获取所述视频中所述目标视频帧的上一视频帧；
根据所述上一视频帧中的场景信息确定所述上一视频帧对应的第二场景类别；
若所述第一场景类别与所述第二场景类别不相同，则将所述目标视频帧和所述上一视频帧确定为所述候选代表性图片。


4.根据权利要求1所述的方法，其特征在于，所述对所述候选代表性图片与所述默认代表性图片分别对应的图像质量进行评估，得到质量评估结果，包括：
将所述候选代表性图片输入质量评估模型；所述质量评估模型包括清晰度信息对应的第一模型参数和美观度信息对应的第二模型参数；
根据所述第一模型参数确定所述候选代表性图片与所述默认代表性图片分别对应的清晰度评估分值；
根据所述第二模型参数确定所述候选代表性图片与所述默认代表性图片分别对应的美观度评估分数；
融合所述清晰度评估分数与所述美观度评估分数，生成所述候选代表性图片与所述默认代表性图片分别对应的图像质量分值；
将所述图像质量分值确定为所述质量评估结果。


5.根据权利要求4所述的方法，其特征在于，所述质量评估模型包括分类层和归一化层；
所述融合所述清晰度评估分数与所述美观度评估分数，生成所述候选代表性图片与所述默认代表性图片分别对应的图像质量分值，包括：
融合所述清晰度评估分数与所述美观度评估分数，通过所述分类层输出所述候选代表性图片与所述默认代表性图片分别对应的原始评估分数；
将所述原始评估分数输入所述归一化层，通过所述归一化层将所述原始评估分数转换为处于归一化数值范围内的数值，将所述归一化层所输出的数值确定为所述候选代表性图片与所述默认代表性图片分别对应的图像质量分值。


6.根据权利要求1所述的方法，其特征在于，所述获取所述候选代表性图片与所述默认代表性图片分别对应的图片优先级，根据所述图片优先级与所述质量评估结果，在所述候选代表性图片与所述默认代表性图片中，选择所述视频的代表性图片，包括：
获取所述候选代表性图片的第一图片优先级，根据所述第一图片优先级与所述候选代表性图片的质量评估结果，确定所述候选代表性图片的第一评估分值；
获取所述默认代表性图片的第二图片优先级，根据所述第二图片优先级与所述默认代表性图片的质量评估结果，确定所述默认代表性图片的第二评估分值；
将所述第一评估分值与所述第二评估分值中的最大值确定为最大评估分值，将所述最大评估分值对应的图片确定为所述视频的代表性图片。


7.根据权利要求6所述的方法，其特征在于，所述将所述第一评估分值与所述第二评估分值中的最大值确定为最大评估分值，将所述最大评估分值对应的图片确定为所述视频的代表性图片，包括：
若所述默认代表性图片为用户选择图片，则获取所述默认代表性图片的第三图片优先级；所述用户选择图片由用户终端响应图片选择操作所得到的；
将所述第二评估分值与所述第三图片优先级进行与运算，得到所述默认代表性图片的目标评估分值；
将所述第一评估分值与所述目标评估分值中的最大值确定为最大评估分值，将所述最大评估分值对应的图片确定为所述视频的代表性图片。


8.根据权利要求6所述的方法，其特征在于，所述将所述第一评估分值与所述第二评估分值中的最大值确定为最大评估分值，将所述最大评估分值对应的图片确定为所述视频的代表性图片，包括：
获取所述视频的视频类别标签；所述视频类别标签用于表征所述视频的类别；
将所述默认代表性图...

【专利技术属性】
技术研发人员：高维惜，范湉湉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44