当前位置: 首页 > 专利查询>江苏大学专利>正文

一种面向场景理解的时序视听知识图谱自动生成方法技术

技术编号:43918656 阅读:26 留言:0更新日期:2025-01-03 13:23
本发明专利技术提出一种面向场景理解的时序视听知识图谱自动生成方法,属于计算机领域。本发明专利技术将视频和音频数据作为场景理解的输入,并基于时间同步将其分割成连续的视听片段。接着,通过分割音频信号来识别无音频事件的背景时间段,并对有事件发生的片段进行采样。随后,利用实体和关系检测技术,在每个采样时刻生成视听知识图谱。最后,对生成的时序视听知识图谱进行关系补全,以提高其完整性和准确性。本发明专利技术提升了知识图谱的完整性和实用性,使系统能够自动推断和补全相关的视听关系,从而更好地支持场景理解和应用的智能化发展。

【技术实现步骤摘要】

本专利技术涉及知识图谱自动生成方法,属于计算机领域。


技术介绍

1、当前,随着人工智能技术的不断发展,场景理解作为一项重要的研究领域受到了广泛关注。传统的场景理解主要集中在对静态图像或视频的视觉感知,这种方法虽然在某些场景下表现出色,但在处理复杂场景和多模态信息时存在一定局限性。实际应用场景中,环境中的信息不仅仅局限于视觉,还包括声音、触觉等多种感知模式,因此,单一依靠视觉信息进行场景理解已经无法满足对多样化信息的需求。

2、在这一背景下,视听信息成为了场景理解中的重要组成部分。视听信息具有丰富的环境信息和认知价值,能够提供更全面、更深入的场景理解。因此,结合视听信息进行场景理解成为了研究的热点之一。然而,目前对于视听场景理解的研究还比较初级,尤其是在时序信息的处理和建模方面仍然存在一定的挑战。

3、针对以上问题,本专利技术以视听信息为主要研究对象,旨在构建动态的视听场景实体及其关系的知识图谱,以实现更深入、更全面的场景理解。具体而言,本专利技术提出一种时序视听知识图谱自动生成的方法,通过对视听数据进行分析和处理,实现对场景时序演变本文档来自技高网...

【技术保护点】

1.一种面向场景理解的时序视听知识图谱自动生成方法,其特征在于,包括以下步骤:

2.如权利要求1所述的一种面向场景理解的时序视听知识图谱自动生成方法,其特征在于,所述S2中视听感知数据的时域分割包括以下内容:

3.如权利要求1所述的一种面向场景理解的时序视听知识图谱自动生成方法,其特征在于,所述S4中提取同步的视觉-听觉特征包括以下内容:

4.如权利要求1所述的一种面向场景理解的时序视听知识图谱自动生成方法,其特征在于,所述S5具体包括以下步骤:

5.如权利要求1所述的一种面向场景理解的时序视听知识图谱自动生成方法,其特征在于,所述步骤S7...

【技术特征摘要】

1.一种面向场景理解的时序视听知识图谱自动生成方法,其特征在于,包括以下步骤:

2.如权利要求1所述的一种面向场景理解的时序视听知识图谱自动生成方法,其特征在于,所述s2中视听感知数据的时域分割包括以下内容:

3.如权利要求1所述的一种面向场景理解的时序视听知识图谱自动生成方法,其特征在于,所述s4中提取同步的视觉-听觉特征包括以下内容:

4.如权利要求1所述的一种面向场景理解的时序视听知识图谱自动生成方法,其特征在于,所述s5具体包括以下步骤:

<...

【专利技术属性】
技术研发人员:李元第季慧
申请(专利权)人:江苏大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1