标注文本生成方法、装置、计算机程序产品、设备及介质制造方法及图纸

技术编号:42303553 阅读:21 留言:0更新日期:2024-08-14 15:50
本申请提供一种标注文本生成方法、装置、计算机程序产品、设备及介质,该方法包括:对待标注视频进行视频帧文本标注和整体文本标注,获取第一标注文本,第一标注文本基于关联视频帧的第一标注信息和关联整体视频的第二标注信息生成;对待标注视频对应的N个子视频分别进行文本标注,获取基于N个子视频分别对应的第三标注信息生成的第二标注文本;根据第一标注文本、第二标注文本、原始标注文本与待标注视频的相关度,筛选待标注视频对应的目标标注文本。本申请通过引入视频帧标注和视频分段标注,可以保证标注文本与视频的相关度,且所提供给的标注方式无需人为参与,在保证标注文本与视频关联度的同时,基于自动标注提高处理效率、节约成本。

【技术实现步骤摘要】

本申请涉及人工智能,尤其涉及一种标注文本生成方法、装置、计算机程序产品、设备及介质


技术介绍

1、随着视频类模型的兴起,视频-文本预训练数据集的作用变得越来越重要,因为数据集的质量会影响到模型在各类下游任务中的表现,这些任务大体可以分为由视频生成文本和由文本生成视频两大类,包括但不限于视频和文本之间的检索、视频内容问答,基于视频生成文本信息、由文本描述生成视频等。

2、近年来,有越来越多的文本视频多模态模型展示出了在文本生成和视频生成方面强大的zero-shot能力,而大模型zero-shot的能力与预训练数据集的质量息息相关。大规模的数据集已经被证实在模型学习视频-文本之间的关联时十分有效,且视频相较于图像和文本来说包含了更丰富的信息。对于一个高质量的视频-文本数据集,需要满足视频的内容多样、安全,且文本可以详尽、准确地描述视频画面和内容等要求。

3、目前在对视频进行文本标注以构建视频-文本数据集时,采用的标注方式,主要包括以下几种:

4、1、针对包含字幕的视频,直接使用字幕提取工具提取字幕当做视频的文本说明,视频的本文档来自技高网...

【技术保护点】

1.一种标注文本生成方法,其特征在于,包括:

2.根据权利要求1所述的标注文本生成方法,其特征在于,所述对待标注视频分别进行视频帧文本标注和整体文本标注,获取第一标注文本,包括:

3.根据权利要求2所述的标注文本生成方法,其特征在于,所述选取所述待标注视频中的至少一个目标视频帧,对所述至少一个目标视频帧进行文本标注,获取所述第一标注信息,包括:

4.根据权利要求2所述的标注文本生成方法,其特征在于,所述对所述待标注视频进行整体文本标注,获取所述第二标注信息,包括:

5.根据权利要求2所述的标注文本生成方法,其特征在于,所述将所述第一标注信息...

【技术特征摘要】

1.一种标注文本生成方法,其特征在于,包括:

2.根据权利要求1所述的标注文本生成方法,其特征在于,所述对待标注视频分别进行视频帧文本标注和整体文本标注,获取第一标注文本,包括:

3.根据权利要求2所述的标注文本生成方法,其特征在于,所述选取所述待标注视频中的至少一个目标视频帧,对所述至少一个目标视频帧进行文本标注,获取所述第一标注信息,包括:

4.根据权利要求2所述的标注文本生成方法,其特征在于,所述对所述待标注视频进行整体文本标注,获取所述第二标注信息,包括:

5.根据权利要求2所述的标注文本生成方法,其特征在于,所述将所述第一标注信息和所述第二标注信息进行结合,获取所述第一标注文本,包括:

6.根据权利要求1所述的标注文本生成方法,其特征在于,所述对所述待标注视频对应的n个子视频分别进行文本标注,获取第二标注文本,包括:

7.根据权利要求6所述的标注文本生成方法,其特征在于,所述基于预设划分策略对所述待标注视频进行划分,获取n个子视频,包括:

8.根据权利要求6所述的标注文本生成方法,其特征在于,所述对所述n个子视频分别进行文本标注,获取n个第三标注信息,包括:

9.根据权利要求6所述的标注文本生成方法,其特征在于,所述将所述n个第三标注信息进行结合,生成所述第二标注文本,包括:

10.根据权利要求1所述的标注文本生成方法,其特征在于,所述根据所述第一...

【专利技术属性】
技术研发人员:于彤
申请(专利权)人:苏州元脑智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1