一种视频美学质量评价数据集构造方法技术

本发明专利技术提出一种视频美学质量评价数据集构造方法，包括以下步骤：数据准备，内容识别与视频分割，视频质量检测，视频美学质量标注以及数据整理。本方法可按美学质量评价研究需求自动整理、筛选、构建大规模的视频美学质量分类数据集，仅在数据质量评测模块使用人工。数据规模与开源数据规模和视频长度参数设定有关。本发明专利技术克服了现有视频美学质量标注方法需要标注者高度参与、成本高、难度大的问题。难度大的问题。难度大的问题。

【技术实现步骤摘要】
一种视频美学质量评价数据集构造方法


[0001]本专利技术属于计算机图像处理
，特别设计一种视频美学质量评价数据集构造方法。

技术介绍

[0002]随着信息设备和技术的发展，人们可以越来越方便地获得、修改、传播照片和视频等媒体文件，这对能够自动评价图像和视频媒体文件的美学质量的评价功能提出需求。近年来大部分美学质量评价算法都是使用数据驱动的深度学习技术，因此高质量的数据集是科研工作者进行算法改进的基础，完善视频美学质量数据集是推动相关算法实质性突破的必要条件，对理论和应用发展有关键作用。其中，视频美学质量数据集的资源最为匮乏，使用人类标注员的视频美学质量标注成本高、重复实验环境的难度大，导致视频的美学质量水平难以被标注、标注后难以扩充。
[0003]视频美学质量评价数据主要分为三大类：(1)美感分类；(2)美感评分；(3)美感间接评价。美学质量数据的评价范围主要包括媒体文件整体及媒体文件美感的影响因素。已有的评价研究收集视频整体的美感评分和影响因素间接评价，目前已存在的公开的真实视频美学质量数据集的数量少，每个数据集中的视频数量常本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频美学质量评价数据集构造方法，其特征在于，所述方法具体包括以下步骤，步骤1、数据准备，整合数据资源；收集、整合已公开的视频数据集和电影视频数据集，并将视频转换为统一格式；步骤2、对数据集中的视频进行内容识别和标注并对视频进行片段分割；依次读入视频，遍历帧，利用深度学习模型中的视频分类模型和视频理解模型对视频进行内容识别和标注获得语义标签，同时采用视频分割模型对视频进行片段分割，分割视频为短视频片段和长视频片段，短视频片段为t1秒/个，t1＝3～10，长视频片段为t2秒/个，t2＝20～30；步骤3、对视频片段进行质量检测，对短视频片段集合X1和长视频片段集合X2中的视频的语义标签和数据质量进行控制和筛选，在每类语义标签对应的视频片段中随机抽取视频片段，作为锚点视频，人工校验锚点视频的语义标签和视频片段相似程度，统计语义标签自动标注的准确率和视频片段相似程度；步骤4、标注视频美学质量分类并完善标签，为所有视频片段自动标注美学质量分类；步骤5、将视频数据集和标签数据整理，存储为数据集。2.根据权利要求1所述的方法，其特征在于，步骤1具体包括以下步骤，步骤1.1、收集、整理公开的视频数据集，公开的视频数据集包含的视频为非电影视频或电影视频，该电影视频为无版权电影视频，每个视频用FFmpeg转换为mp4格式；步骤1.2、收集电影视频作为电影视频数据集，该电影视频为公开版权的电影，每个视频用FFmpeg转换为mp4格式；步骤1.3、收集、整理上述视频中的包括视频长度、现有标签、类别、作者、年代的信息，作为已有信息标签；步骤1.4、选择具有特定标签的视频作为准备数据，其中特定标签从已有信息标签中选择。3.根据权利要求1所述的方法，其特征在于，步骤2具体包括以下步骤，步骤2.1、通过OpenCV函数库读入视频，遍历视频中的帧；步骤2.2、利用使用深度学习模型的视频分类模型和视频理解模型对视频进行内容检测获得语义标签和对应的时刻位置，语义标签代表视频的内容，语义标签包括主体、动作、内容描述；对能获得语义标签的视频，进行语义标签和时刻位置的记录，对应的视频片段集合为X；对不能检测到任何语义标签的视频随机抽取保留时刻，其中短视频保留n1个时刻位置，长视频保留n2个时刻位置，每个时刻位置对应的语义标签标记为空，对应的视频片段集合为Y；步骤2.3、遍历每个视频中记录的时刻位置；步骤2.4、从视频的每个记录的时刻位置起，取t1秒长度视频片段，使用基...

【专利技术属性】
技术研发人员：康晨，
申请(专利权)人：北京语言大学，
类型：发明
国别省市：