一种基于球面嵌入、球面对齐和球面校准的零样本学习机制制造技术

本申请公开了一种基于球面嵌入、球面对齐和球面校准的零样本学习机制，包括：系统整体框架构建、语义嵌入网络参数学习过程与未见类别样本识别。本发明专利技术中提出了联合目标函数，其中α和β为实验过程中调节的超参。本发明专利技术在一个优化公式中集中利用球面嵌入、球面对齐和球面校准，分别解决语义鸿沟问题、枢纽问题和预测偏差问题；本发明专利技术将图像的视觉特征和类别的语义描述之间的距离，映射到一个球体计算；传统的欧式距离忽略了角度信息，而余弦距离中完全没有体现出径向距离，因此本发明专利技术所采用的球面嵌入，更加综合考虑角度信息和径向距离；本发明专利技术且针对可见类别和未见类别，采用不同的径向距离，从而加重未见类别样本的作用。从而加重未见类别样本的作用。从而加重未见类别样本的作用。

【技术实现步骤摘要】
一种基于球面嵌入、球面对齐和球面校准的零样本学习机制


[0001]本申请涉及零样本学习
，尤其涉及一种基于球面嵌入、球面对齐和球面校准的零样本学习机制。

技术介绍

[0002]在现实场景中，许多任务需要对以前从未见过的实例类别进行识别，这样就使得原有训练方法不在适用。零样本学习应运而生。零样本学习，也叫Zero shot learning，该方法在学习时遇到的实例所涉及的类别与实际测试中要分类的类是不相交的，其主要目的是根据训练集中的可见类别数据，通过相关先验知识，实现对未见类别的数据，进行类别预测和识别。
[0003]现有的方法主要是从嵌入模型、生成模型和度量方法几个方面开展相关的研究工作。嵌入模型方法主要是通过将视觉空间的特征映射到语义表示的类别原型上，实现可见类别的知识向未知类别迁移。生成模型方法是通过生成对抗模型或者变分编码器通过未知类别的语义描述，产生该类别的样本，从而将零样本学习转为小样本或多样本学习。度量方法是在嵌入空间中选用合适的度量方法，建立视觉特征和类别原型之间的相似度。
[0004]现有的零样本学习方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于球面嵌入、球面对齐和球面校准的零样本学习机制，其特征在于，包括：系统整体框架构建、语义嵌入网络参数学习过程与未见类别样本识别；所述系统整体框架构建包括：图像经过视觉特征嵌入网络φ，类别信息经过语义嵌入网络通过球面嵌入的KL距离，球面对齐的R函数和球面校准的最小熵约束，构造一个目标函数如下：所述语义嵌入网络参数学习过程包括：输入：可见类别的类别原型A
s
集合和未知类别的类别原型A
u
集合，训练数据集合D
str
，视觉特征嵌入网输出：语义嵌入网络参数；步骤1：初始化，设置batch大小B以及迭代次数l，初始化语义嵌入网络参数；步骤2：迭代次数iter＝[1:l]，做以下操作：步骤2.1：随机采样B个样本；步骤2.2：将可见类别的类别原型A
s
和未知类别的类别原型A
u
投影到球面嵌入空间，即对A
s
∪A
u
中的每一个类别原型a，根据语义嵌入网络生成步骤2.3：按照以下公式计算R：其中其中均匀对齐因子按下式计算：语义对齐因子按下式计算：步骤2.4：按照以下公式计算：概率分布q计算为：
其中函数f
ρ
计算如下：其中ρ1和ρ2分别对应可见类别和未见类别的球面半径函数，一般指定ρ2>ρ1；步骤2.5：最小化下面目标函数ρ2>ρ1；；而为x
n
的one
‑
hot型标注向量，p函数计算如下：步骤2.6：用后向传播方法更新语义嵌入网络参数；所述未见类别样本识别包括：输入：测试图像x
m
，可见类别的类别原型A
s
和未知类别的类别原型A
u
，语义嵌入网络参数，视觉特征嵌入网络φ参数；输出：测试图像的预测输出；步骤1：对测试图像x
m
，计算测试图像的视觉表示；步骤2：将可见类别的类别原型A
s
和未知类别的类别原型A
u
投影到球面嵌入空间，即对A
s
...

【专利技术属性】
技术研发人员：张磊，沈佳怡，甄先通，李欣，
申请(专利权)人：广东石油化工学院，
类型：发明
国别省市：