一种基于基因学习模型的曲艺视频标注方法技术

本发明专利技术公开了一种基于基因学习模型的曲艺视频标注方法，本方法包括以下步骤：S1、提取视频的关键帧，记录关键帧在曲艺视频所有帧中的下标，计算当前关键帧的时间，并将关键帧输入特征提取网络进行特征提取；S2、分离曲艺视频的音频，提取音频特征；S3、将每个关键帧的视觉特征以及音频特征进行同步聚合，得到每帧的多模态融合特征，对所有关键帧的多模态融合特征进行时序聚合，得到视频级时序聚合特征；S4、根据得到的视频级时序聚合特征进行推理，得到视频级特征，根据得到的关键帧特征进行推理得到视频帧级特征；本发明专利技术可以实现对传统曲艺视频的多粒度标注，有助于后续对该视频的管理、检索，有利于传播中华文化。

【技术实现步骤摘要】

本专利技术涉及计算机视觉，具体为一种基于基因学习模型的曲艺视频标注方法。

技术介绍

1、传统曲艺以活态载体(人)现场的演唱或演奏为主，同时通过表演者与当地风俗礼仪形成的精神文化场来传递知识、价值、情感，是十分珍贵的不可再生资源，由此需要对这类资源实施一定的保护措施，对曲艺进行录像并将视频进行标注，分类存储是保护传统曲艺的重要手段；数字技术可以支撑曲艺类非物质文化遗产的保护传承及传播，如何对这些文化相关的视频资源以及对应的文化视频的元数据进行高效且标准化管理就成了迫切需要面对的问题。

2、现有技术的不足：

3、目前针对曲艺视频的标注面临诸多挑战，首先缺少可用的曲艺视频标注数据集，而相关领域专家数量较少，普通人标注精确度较低，且人工标注效率低。其次因为曲艺视频包含大量具有传统文化语义的信息，高度特化，演员的形态、动作、衣服甚至配乐都具有其独特的艺术特点,普通的标注算法和平台无法高效地对传统曲艺视频进行标注。

技术实现思路

1、本专利技术的目的在于提供一种基于基因学习模型的曲艺视频标注方法，本文档来自技高网...

【技术保护点】

1.一种基于基因学习模型的曲艺视频标注方法，其特征在于：本方法包括以下步骤：

2.根据权利要求1所述的一种基于基因学习模型的曲艺视频标注方法，其特征在于：所述步骤S1具体包括以下步骤：

3.根据权利要求1所述的一种基于基因学习模型的曲艺视频标注方法，其特征在于：所述步骤S2具体包括以下步骤：

4.根据权利要求1所述的一种基于基因学习模型的曲艺视频标注方法，其特征在于：所述步骤S3具体包括以下步骤：

5.根据权利要求1所述的一种基于基因学习模型的曲艺视频标注方法，其特征在于：所述多粒度标注包括视频级标注分支及帧级标注分支，所述步骤S4具体包括...

【技术特征摘要】

1.一种基于基因学习模型的曲艺视频标注方法，其特征在于：本方法包括以下步骤：

2.根据权利要求1所述的一种基于基因学习模型的曲艺视频标注方法，其特征在于：所述步骤s1具体包括以下步骤：

3.根据权利要求1所述的一种基于基因学习模型的曲艺视频标注方法，其特征在于：所述步骤s2具体包括以下步骤：

4.根据权利要求1所述的一种基于基因学习模型的曲艺视频标注方法，其特征在于：所述步骤s3具体包括以下步骤：

5.根据权利要求1所述的一种基于基因学习模型的曲艺视频标注方法，其特征在于：所述多粒度标注包括视频级标注分支及帧级标注分支，所述步骤s4具体包括以下步骤：

6.根据权利要求2所述的一种基于基因学...

【专利技术属性】
技术研发人员：徐坤，赵海英，侯小刚，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：