一种基于图片相似度与语义聚类的视频高效拆条方法技术

技术编号:44186371 阅读:18 留言:0更新日期:2025-02-06 18:27
本发明专利技术公开了一种基于图片相似度与语义聚类的视频高效拆条方法,首先,按照固定帧率提取视频中的图片帧,并利用图片编码模型计算相邻帧相似度,将相似度高的帧合并为初步视频片段。接着,提取音频并转写为文本,通过文本语义向量化与亲和聚类,对文本片段进行聚类分析,依据聚类结果合并视频片段。同时,针对长度不足的视频片段,通过动态计算相邻片段相似度进行智能合并,确保拆条的连贯性和精确性。该方法结合轻量级模型与并行处理,大幅提升了处理效率,解决了现有技术拆条过于细碎、依赖人物识别等问题,具有较强的通用性和适应性。

【技术实现步骤摘要】

本专利技术涉及新闻视频的智能剪辑与拆条,尤其是涉及一种基于图片相似度与语义聚类的视频高效拆条方法


技术介绍

1、在当前信息社会中,视频数据的数量急剧增长,远远超过了人类个体处理信息的能力。为了帮助用户快速获取有效信息,视频拆条技术应运而生,其主要应用于长视频的裁剪与内容提取,如新闻视频,通过将长视频拆分成多个小片段,以便用户能够快速获取核心内容。这种技术在新闻视频、直播回放、影视剪辑等场景中广泛应用。

2、现有技术通常通过人脸识别或场景变化检测来判断新闻视频片段的切换点,其工作原理是基于视频中出现的人物或场景变化,例如,当检测到主持人或其他人物出现在屏幕中时,系统会将其作为新闻片段的分割点。然而,这种方法在实际应用中存在显著问题:

3、1、过度依赖人物出现:在许多新闻片段中,尤其是纯播报新闻或街景画面,人物并不总是出现在视频中。此时,依赖人物识别来进行拆条,容易导致片段无法被准确分割。例如,在两则新闻之间没有主持人出现的过渡画面中,系统可能无法正确识别分割点,错失重要内容。

4、2、对非人脸画面识别能力不足:在一些新闻本文档来自技高网...

【技术保护点】

1.一种基于图片相似度与语义聚类的视频高效拆条方法,其特征在于:所述方法包括以下步骤:

2.根据权利要求1所述的一种基于图片相似度与语义聚类的视频高效拆条方法,其特征在于,步骤2中使用的图片相似度计算通过将每个图片帧的向量化表示进行向量积计算,确定相邻帧的相似度,并与预设的相似度阈值比较以决定是否合并帧。

3.根据权利要求1所述的一种基于图片相似度与语义聚类的视频高效拆条方法,其特征在于,步骤5中使用的亲和聚类算法不需要预设类别数量,能够根据文本语义相似性动态聚类,并将相似度高的文本片段归为同一聚类类别。

4.根据权利要求1所述的一种基于图片相似度与语...

【技术特征摘要】

1.一种基于图片相似度与语义聚类的视频高效拆条方法,其特征在于:所述方法包括以下步骤:

2.根据权利要求1所述的一种基于图片相似度与语义聚类的视频高效拆条方法,其特征在于,步骤2中使用的图片相似度计算通过将每个图片帧的向量化表示进行向量积计算,确定相邻帧的相似度,并与预设的相似度阈值比较以决定是否合并帧。

3.根据权利要求1所述的一种基于图片相似度与语义聚类的视频高效拆条方法,其特征在于,步骤5中使用的亲和聚类算法不需要预设类别数量,能够根据文本语义相似性动态聚类,并将相似度高的文本片段归为同一聚类类别。

4.根据权利要求1所述的一种基于图片相似度与语义聚类的视频高效拆条方法,其特征在于,步骤7中,当某一视频片段的帧数低于预设的最小帧数时,先计算该片段与前一视频片段的最后一帧图片相似度,以及与后一视频片段的第一帧图片相似度,并将该视频片段与相似度较高的片段进行合并。

5.根据权利要求1所述的一种基于图片相似度与语义聚类的视频高效拆条方法,其特征在于,所述预设的最小帧数为150帧,低于该帧数的视频片段被视为过短片段并触发动态合并机制。

6.根据权利...

【专利技术属性】
技术研发人员:杨珂王海荣吕晓宝宋怀明王元兵
申请(专利权)人:曙光天玑数据科技江苏有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1