一种基于形状感知特征的课程学习式全景场景图生成方法技术

本发明专利技术公开了一种基于形状感知特征的课程学习式全景场景图生成方法，属于计算机视觉领域。该方法包括：利用全景分割器识别图像中的物体，得到候选框及其相应掩膜，进一步提取边界框特征、掩码特征与边界特征；利用分阶段特征融合策略，得到具有不同复杂程度的物体特征和关系特征；基于认知学习难度差异将谓词分组，利用各自组别的谓词分阶段训练关系分类器，并通过谓词采样策略确保组内谓词数量的均衡；利用课程学习策略逐步提升输入特征复杂度，使模型按照从易到难的顺序学习不同认知难度的谓词，并融合知识蒸馏策略以保存早期阶段所获得的知识。实验证明，本发明专利技术能显著提升模型在关系预测方面的准确度，展示出卓越的性能表现。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域中的全景场景图生成任务，尤其涉及一种基于形状感知特征的课程学习式全景场景图生成方法。

技术介绍

1、场景图生成任务是一项基础的场景理解任务，通过预测场景中物体之间的关系，超越了仅仅对物体进行分类和定位。然而，传统的场景图生成任务依赖基于边界框的范式，面临着物体定位不准确和背景标注有限的问题。因此，全景场景图生成任务利用更精准的场景掩码表示(全景分割)，并为背景物体定义关系，从而提供了对场景更精确和全面的理解。

2、由于全景场景图生成任务构建在场景图生成任务的基础上，因此面临着类似的挑战：1)长尾效应：少数谓词类别占据大多数真值标注，导致模型的预测偏向头部谓词。2)语义重叠：一个主宾对可能包含多个合理的关系，这些关系之间可能存在语义重叠，而现有的训练范式采用了独热编码。为了克服这些挑战，现有的全景场景图生成方法从场景图生成任务中汲取灵感，采用重采样、重加权的方法解决长尾效应，抑或是采用标签平滑方法来解决语义重叠。

3、尽管现有的全景场景图生成方法在提高关系预测准确性上取得了一些进展，但几乎所有现有方法都忽略本文档来自技高网...

【技术保护点】

1.一种基于形状感知特征的课程学习式全景场景图生成方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于形状感知特征的课程学习式全景场景图生成方法，其特征在于，步骤S1的具体过程如下：

3.如权利要求2所述的一种基于形状感知特征的课程学习式全景场景图生成方法，其特征在于，所述掩码特征的函数形式为：

4.如权利要求2所述的一种基于形状感知特征的课程学习式全景场景图生成方法，其特征在于，步骤S2的具体过程如下：

5.如权利要求2所述的一种基于形状感知特征的课程学习式全景场景图生成方法，其特征在于，步骤S3的具体过程如下：

...

【技术特征摘要】

1.一种基于形状感知特征的课程学习式全景场景图生成方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于形状感知特征的课程学习式全景场景图生成方法，其特征在于，步骤s1的具体过程如下：

3.如权利要求2所述的一种基于形状感知特征的课程学习式全景场景图生成方法，其特征在于，所述掩码特征的函数形式为：

4.如权利要求2所述的一种基于形状感知特征的课程学习式全景场景图生成方法，其特征在于，步骤s2的具体过程如下：

5.如权利要求2所述的一种基于形状感知特征的课程学习式全景场景图生成方法，其特征在于，步骤s3的具体过程如下：

6.如权利要求5所述的一种基于形状感知特征的课程学习式全景场景图生成方法，其特征在于，基于语义相似性进行调整的具体规则如下：对于第k个初始分组若初始分组中检测到存在混淆的谓词，则将出现频次较低的谓词移动到第k+1个初始分组中或者将出现频次较高的谓词移动到第k-1个初始分组中。

7.如权利要求5所述的一种基于形状感知特征的课程学习式全景场景图生成方法，其特征在于，关系分类器的分类空间用于识别先前组别和当前组别中的谓词类别，其函数形式为：

8.如权利要求5所述...

【专利技术属性】
技术研发人员：肖俊，施含容，李琳，
申请(专利权)人：浙江大学，
类型：发明
国别省市：