长视频高光点检测方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了一种长视频高光点检测方法、装置、计算机设备及存储介质，涉及视频技术领域。该方法包括：根据语音识别算法对待检测长视频进行语音识别，到字幕信息集合；通过视频语言大模型提取待检测长视频的视频描述信息集合；基于时间轴将字幕信息集合和视频描述信息集合进行融合，得到融合文本信息集合；通过自然语言大模型根据高光提示词对融合文本信息集合进行检测，得到高光点时间段及其对应的高光内容信息。这样，通过提取待检测长视频的字幕信息和视频描述信息进行高光点检测，从而不需要依赖数据集训练就可以获得视频高光点信息，并且可以根据高光提示词提取符合用户需求的高光点内容。

【技术实现步骤摘要】

本专利技术涉及视频，尤其涉及一种长视频高光点检测方法、装置、计算机设备及存储介质。

技术介绍

1、目前基于人工智能的精彩时刻都是基于固有数据集直接预测某个时刻点是否精彩。这种方案首先泛化性高度依赖于数据集，对于数据集中不存在的长视频类型，预测表现将不能保证；其次无法输出精彩时刻的标题以及成为精彩时刻的理由，以至于导致人工检查不方便；并且不能根据不同的需求有倾向的选取出精彩时刻。

技术实现思路

1、有鉴于此，本专利技术的目的是为了克服现有技术中的不足，提供一种长视频高光点检测方法、装置、计算机设备及存储介质，用于理解待检测长视频内容，并提取出待检测长视频中的高光内容。

2、本专利技术提供如下技术方案：

3、第一方面，本专利技术提出一种长视频高光点检测方法，包括：

4、根据语音识别算法对待检测长视频进行语音识别，得到字幕信息集合；

5、通过视频语言大模型提取所述待检测长视频的视频描述信息集合；

6、基于时间轴将所述字幕信息集合和所述视频描述信息集合进行融本文档来自技高网...

【技术保护点】

1.一种长视频高光点检测方法，其特征在于，包括：

2.根据权利要求1所述的长视频高光点检测方法，其特征在于，所述根据语音识别算法对待检测长视频进行语音识别，得到字幕信息集合，包括：

3.根据权利要求2所述的长视频高光点检测方法，其特征在于，所述根据所述音频参数和所述音频块数量确定说话区域，包括：

4.根据权利要求3所述的长视频高光点检测方法，其特征在于，所述根据所述能量阈值和各所述音频能量值确定所述说话区域，包括：

5.根据权利要求1所述的长视频高光点检测方法，其特征在于，所述通过视频语言大模型提取所述待检测长视频的视频描述信息集合，包括：...

【技术特征摘要】

1.一种长视频高光点检测方法，其特征在于，包括：

2.根据权利要求1所述的长视频高光点检测方法，其特征在于，所述根据语音识别算法对待检测长视频进行语音识别，得到字幕信息集合，包括：

3.根据权利要求2所述的长视频高光点检测方法，其特征在于，所述根据所述音频参数和所述音频块数量确定说话区域，包括：

4.根据权利要求3所述的长视频高光点检测方法，其特征在于，所述根据所述能量阈值和各所述音频能量值确定所述说话区域，包括：

5.根据权利要求1所述的长视频高光点检测方法，其特征在于，所述通过视频语言大模型提取所述待检测长视频的视频描述信息集合，包括：

6.根据权利要求1所述的长视频高光点检测方法，其特征在于，所述字幕信息集合包括多个时间区间对应的字幕信息，所述视频描...

【专利技术属性】
技术研发人员：余意，
申请(专利权)人：马栏山音视频实验室，
类型：发明
国别省市：