一种视频片段检索方法、装置、电子设备及可读存储介质制造方法及图纸

技术编号:41296087 阅读:25 留言:0更新日期:2024-05-13 14:45
本发明专利技术实施例提供了一种视频片段检索方法方法包括:获取指导视频的旁白音频和待处理视频,旁白音频和待处理视频具有对应的时间戳;通过大语言模型对旁白音频进行处理,得到N个操作步骤文本;根据N个操作步骤文本的起始时间戳和结束时间戳对所述待处理视频进行分割处理,得到N个视频片段;对于每个视频片段,通过对应的操作步骤文本进行逐帧相似度计算,在每个视频片段中确定出目标视频片段;基于目标视频片段以及对应的操作步骤文本,构建指导视频的检索结构,检索结构用于根据输入内容在指导视频中检索到对应的目标视频片段。解决了大语言模型对指导视频的跨模态知识提取的方面存在局限性,导致指导视频不能进行跨模态知识提取的问题。

【技术实现步骤摘要】

本专利技术属于人工智能,尤其涉及一种视频片段检索方法、装置、电子设备及可读存储介质


技术介绍

1、近年来,人工智能(ai)在众多领域取得了重大进步,特别是大语言模型(largelanguage models,简称llm),如openai的gpt系列。指导视频,即配有旁白解说的视频,旨在指引观众完成特定任务,这类视频内容丰富多样,涵盖从日常生活技巧到复杂专业操作的各个方面,例如烹饪教程、家居改善指南或各类设备的维修指导。在现代教育和自我学习领域,指导视频扮演着越来越重要的角色,不仅是人类学习新技能的有效工具,同时也为机器学习提供了丰富的视觉演示材料。现有存在大语言模型对指导视频的知识提取存在局限性,导致指导视频不能进行跨模态知识提取的问题。

2、现急需一种视频片段检索方法解决现有大语言模型对指导视频的跨模态知识提取的方面存在局限性,导致指导视频不能进行跨模态知识提取的问题。


技术实现思路

1、本专利技术实施例提供一种视频片段检索方法,旨在解决现有大语言模型对指导视频的跨模态知识提取的方面存在局限性本文档来自技高网...

【技术保护点】

1.一种视频片段检索方法,其特征在于,包括以下步骤:

2.如权利要求1所述的视频片段检索方法,其特征在于,所述获取指导视频的旁白音频和待处理视频的步骤包括:

3.如权利要求2所述的视频片段检索方法,其特征在于,所述通过大语言模型对所述旁白音频进行处理,得到N个操作步骤文本的步骤包括:

4.如权利要求3所述的视频片段检索方法,其特征在于,所述通过大语言模型对所述旁白文本和所述旁白文本对应的时间戳进行处理,得到N个操作步骤文本以及每个操作步骤文本对应的一个第一起始时间戳以及一个第一结束时间戳的步骤包括:

5.如权利要求4所述的视频片段检索方法,...

【技术特征摘要】

1.一种视频片段检索方法,其特征在于,包括以下步骤:

2.如权利要求1所述的视频片段检索方法,其特征在于,所述获取指导视频的旁白音频和待处理视频的步骤包括:

3.如权利要求2所述的视频片段检索方法,其特征在于,所述通过大语言模型对所述旁白音频进行处理,得到n个操作步骤文本的步骤包括:

4.如权利要求3所述的视频片段检索方法,其特征在于,所述通过大语言模型对所述旁白文本和所述旁白文本对应的时间戳进行处理,得到n个操作步骤文本以及每个操作步骤文本对应的一个第一起始时间戳以及一个第一结束时间戳的步骤包括:

5.如权利要求4所述的视频片段检索方法,其特征在于,所述对于每个视频片段,通过对应的操作步骤文本进行逐帧相似度计算,在每个视频片段中确定出目标视频片段的步骤包括:

6.如权利要求5所述的视频片段检索方法,...

【专利技术属性】
技术研发人员:石峰
申请(专利权)人:火离科技上海有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1