一种基于多原型学习的场景语义信息提取方法技术

一种基于多原型学习的场景语义信息提取方法，包括以下步骤；步骤(1)：对输入图像进行预处理；步骤(2)：Backbone参数更新，将预处理后的图像提取特征；步骤(3)：在每一类的稠密特征内进行在线聚类，为每个类别构建多个原型；步骤(4)：将步骤(3)中每个类别的多个原型进行收集完成语义知识库的构建；步骤(5)：对于输入图像中的每个像素，将其特征表示与语义知识库中的原型进行匹配，找到最相似的原型，最近原型匹配的结果将用于场景语义提取，步骤(6)：对输出的逐像素语义标签进行重要性评估的后处理，最终得到整个场景的语义信息。本发明专利技术中每个像素的预测可以直观地理解为嵌入空间中与其最近原型中心的类别，增强了模型的可解释性。

【技术实现步骤摘要】

本专利技术属于语义信息提取，具体涉及一种基于多原型学习的场景语义信息提取方法。

技术介绍

1、随着计算机视觉和机器学习技术的快速发展，场景理解作为这些领域核心的研究方向之一，是科研和工业界的研究热点。场景语义信息提取旨在从图像或视频中识别并提取出有意义的语义信息，如物体、事件、关系等，它是许多高级视觉任务的基础，如目标检测、图像分类、语义分割等。此外，有效的场景语义信息提取对于众多现实应用都至关重要，如自动驾驶、机器人导航和增强现实等。

2、传统的场景语义信息提取方法往往基于规则、统计或深度学习等技术。其中，基于规则的方法需要手动编写大量规则，难以应对复杂场景；基于统计的方法对标注数据依赖性较高，且难以捕捉丰富的语义信息；基于深度学习的方法主要采用卷积神经网络(cnn)、循环神经网络(rnn)和图神经网络(gnn)等，这些方法需要在大量标注数据下经过复杂的训练流程，才能在特定场景下展现出良好的性能。然而，当遇到场景变动大、场景中各个类别内部特征丰富多样的复杂情形时，这些方法往往因为缺乏足够的灵活性和适应性，而难以满足现实应用对高精度和高效率的要本文档来自技高网...

【技术保护点】

1.一种基于多原型学习的场景语义信息提取方法，其特征在于，包括以下步骤；

2.根据权利要求1所述的一种基于多原型学习的场景语义信息提取方法，其特征在于，所述步骤(1)具体为：

3.根据权利要求1所述的一种基于多原型学习的场景语义信息提取方法，其特征在于，所述步骤(2)骨干网络通常由卷积层堆叠而成，用于从输入图像提取特征作为步骤(3)的输入，在训练过程中，骨干网络的参数根据步骤(5)中网络输出的结果计算损失进行更新，以优化网络性能。

4.根据权利要求2所述的一种基于多原型学习的场景语义信息提取方法，其特征在于，所述步骤(2)具体为：</p>

5.根据...

【技术特征摘要】

1.一种基于多原型学习的场景语义信息提取方法，其特征在于，包括以下步骤；

2.根据权利要求1所述的一种基于多原型学习的场景语义信息提取方法，其特征在于，所述步骤(1)具体为：

3.根据权利要求1所述的一种基于多原型学习的场景语义信息提取方法，其特征在于，所述步骤(2)骨干网络通常由卷积层堆叠而成，用于从输入图像提取特征作为步骤(3)的输入，在训练过程中，骨干网络的参数根据步骤(5)中网络输出的结果计算损失进行更新，以优化网络性能。

4.根据权利要求2所述的一种基于多原型学习的场景语义信息提取方法，其特征在于，所述步骤(2)具体为：

5.根据权利要求4所述的一种基于多原型...

【专利技术属性】
技术研发人员：牛毅，王丹，马明明，李甫，石光明，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：