【技术实现步骤摘要】
细粒度图像零样本识别方法
本专利技术涉及图像分类
,尤其涉及一种细粒度图像零样本识别方法。
技术介绍
传统的图像分类技术需要海量的数据支持和精确的人工标注。然而面对各种各样的任务需求,依靠人工标注是很低效的一种做法。近几年来,零样本图像识别技术得到了广泛的关注,其目的为使模型能够识别从未见过的图像类别。为了实现这一任务,不同类别的无偏语义信息被用来连接源域数据(可见数据)和目标域数据(不可见数据),来使模型对不同数据域的偏差更为鲁棒。通常的做法为,将图像和语义属性映射到同一个嵌入空间,使对应的图像和语义属性能正确的匹配上。于是分类问题变成了一个最近邻搜索问题,并最终使搜索域涵盖目标域数据,来达到零样本分类。由于在训练阶段中,目标域图像无法获得,因此训练好的模型对两个域的偏差非常敏感,而现有的方法仅仅利用目标域语义信息来得无偏的语义表达或者视觉表达,没有充分的利用好语义信息。
技术实现思路
本专利技术的目的是提供一种细粒度图像零样本识别方法,具有较好的分类效果。本专利技术的目的是通过以 ...
【技术保护点】
1.一种细粒度图像零样本识别方法,其特征在于,包括:/n构建语义分解与迁移网络,利用获取的源域数据集中的视觉图像与对应的语义属性,以及目标域数据集中包含的语义属性来训练所述的语义分解与迁移网络,使其能将视觉图像与其对应的语义表达做正确的配对;/n在测试阶段,利用训练好的语义分解与迁移网络对来源于任意域的视觉图像进行识别,得到识别结果。/n
【技术特征摘要】
1.一种细粒度图像零样本识别方法,其特征在于,包括:
构建语义分解与迁移网络,利用获取的源域数据集中的视觉图像与对应的语义属性,以及目标域数据集中包含的语义属性来训练所述的语义分解与迁移网络,使其能将视觉图像与其对应的语义表达做正确的配对;
在测试阶段,利用训练好的语义分解与迁移网络对来源于任意域的视觉图像进行识别,得到识别结果。
2.根据权利要求1所述的一种细粒度图像零样本识别方法,其特征在于,所述语义分解与迁移网络包括分解语义映射与迁移视觉映射,即分别将语义属性与视觉图像映射到嵌入空间,通过训练使得对应的图像表达和语义表达尽可能一致,不同的图像表达和语义表达尽可能远离;
其中,分解语义映射包括三个子映射函数:域不变的语义映射函数、源域特异的语义映射函数、以及目标域特异的语义映射函数,来同时捕捉源域和目标域语义信息共有的部分和私有的部分;
迁移视觉映射时,对于源域的视觉图像空间进行全监督学习;对于目标域,在合成的目标域图像空间进行标签平滑学习。
3.根据权利要求2所述的一种细粒度图像零样本识别方法,其特征在于,语义分解与迁移网络训练阶段的目标函数表示为:
其中,λi,i∈[1,5]表示不同目标函数的权重;表示与源域数据集中视觉图像与语义属性相似度相关的目标函数;表示优化三个分解的子映射函数在两个域映射的目标函数;表示将源域特异的语义映射函数迁移至目标域特异的语义映射函数时的目标函数;表示对源域的视觉图像空间进行全监督学习的目标函数;表示在合成的目标域图像空间进行标签平滑学习的目标函数。
4.根据权利要求3所述的一种细粒度图像零样本识别方法,其特征在于,目标函数的表达式为:
其中,f、对应的表示视觉映射、分解语义映射,χs为源域的视觉图像空间,a为视觉图像x对应的语义属性,语义属性为一组向量,其编码的内容为视觉图像的属性描述;d()计算了两个输入表达特征的相似度度量:
其中,||表达向量的模,<>表示向量的内积。
5.根据权利要求3所述的一种细粒度图像零样本识别方法,其特征在于,分解语义映射表示为:
其中,As、...
【专利技术属性】
技术研发人员:张勇东,闵少波,谢洪涛,李岩,
申请(专利权)人:中国科学技术大学,北京中科研究院,
类型:发明
国别省市:安徽;34
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。