单样本图像分类方法、系统、计算机设备及存储介质技术方案

本发明专利技术公开了一种单样本图像分类方法、系统、计算机设备及存储介质，方法包括：生成变体关系网络；训练T个变体关系网络，得到T个教师网络；利用教师网络提取所有训练图像的特征；为支撑图像列表创建参照相似度列表；构造排序损失函数和混合损失函数；用混合损失函数取代变体关系网络中的关系损失函数，用排序学习子网取代关系学习子网，生成排序网络；训练排序网络，得到训练好的排序网络；将查询图像和单样本支撑图像输入训练好的排序网络中进行分类，得到查询图像的分类结果。本发明专利技术公开的排序网络可根据相似度对支撑图像进行排序，弥补了现有模型只能判断“是或非”的不足，因而具有更强的泛化能力和更高的分类性能。

【技术实现步骤摘要】
单样本图像分类方法、系统、计算机设备及存储介质
本专利技术涉及一种单样本图像分类方法、系统、计算机设备及存储介质，属于深度学习和图像分类领域。
技术介绍
人类(甚至婴幼儿)只见过若干个(甚至一个)香蕉、橘子和西瓜，就能区分这几种水果。小样本学习旨在训练出具备这种类人能力的模型——只给模型提供极少量的新类别样本(这些类别不参与训练，叫“新类”；与之相对，参与训练的类别叫“基类”)，它就能执行图像分类。单样本学习是小样本学习的特例，它指的是训练好的模型能够在每个新类只提供一个样本的情况下进行图像识别。和其它很多领域一样，目前单样本学习领域的优秀方法大多是基于深度学习的。这些方法可以分成三种：网络微调法、循环神经网络记忆法和度量学习法。三者各有千秋，没有一种方法明显优于其它方法。其中，简单有效的度量学习法应用最为广泛。小(单)样本度量学习模型的典型代表是加拿大多伦多大学提出的孪生网络、谷歌提出的匹配网络、多伦多大学提出的原型网络和伦敦玛丽女王大学提出的关系网络。其中，最晚出现的关系网络表现最为突出，其网络结构如图1所示(以“5类、单样本、单查询”为例)。关系网络采用情景训练策略，每个训练情景(即小批)涉及一个支撑图像列表x＝(x1，x2，…，xC)和一个查询图像集Q。记xi(i∈{1，2，…，C})和查询图像q∈Q的真实关系得分为：并记关系网络对ri的预测值为r′i，则损失函数可定义为：其中，ω和分别表示特征学习子网和关系学习子网的参数(包括权重和偏置)。r>由的定义可看出，关系网络以二值预测为目标——如果支撑图像xi与查询图像q来自同一类，则期望的关系得分预测值为1(“是”)；否则为0(“非”)。换言之，在关系网络“眼里”，支撑图像只有两种：“与查询图像同类”和“与查询图像异类”；它“一视同仁”地对待四幅异类图像，“看不出”宫殿比其余三者更像教堂(见图1)。可见这种预测过于宽泛和粗略了。如果设定更严格的训练目标，“强迫”模型给出更具体精细的预测(例如，预测C幅支撑图像的顺序，越像查询图像者越靠前)，那么，深度网络学习到的特征必定更富有表现力，更能刻画图像的本质，因而模型将具有更强的泛化能力，其分类结果也将更准确可靠。
技术实现思路
有鉴于此，本专利技术提供了一种单样本图像分类方法、系统、计算机设备及存储介质，该方法生成一种新的单样本学习模型——排序网络。借助知识蒸馏和排序学习等技术，排序网络可对图像相似度进行精细预测，进而根据相似度大小对支撑图像进行排序。较之仅能判断“是或非”的现有模型，具备精细辨识力的排序网络拥有更强的单样本分类能力。本专利技术的第一个目的在于提供一种单样本图像分类方法。本专利技术的第二个目的在于提供一种单样本图像分类系统。本专利技术的第三个目的在于提供一种计算机设备。本专利技术的第四个目的在于提供一种存储介质。本专利技术的第一个目的可以通过采取如下技术方案达到：一种单样本图像分类方法，所述方法包括：通过改变关系网络的特征融合方式和重新构造损失函数，生成变体关系网络；依次将T个预训练卷积神经网络作为变体关系网络的特征学习子网，训练对应的变体关系网络，得到T个教师网络；依次将T个教师网络作为特征生成器，提取所有训练图像的特征；利用所有训练图像的特征，为支撑图像列表创建参照相似度列表；利用排列概率模型构造排序损失函数，进而构造混合损失函数；用混合损失函数取代变体关系网络中的关系损失函数，用排序学习子网取代关系学习子网，生成排序网络；根据参照相似度列表，采用情景训练模式训练排序网络，得到训练好的排序网络；将查询图像和单样本支撑图像输入训练好的排序网络中进行分类，得到查询图像的分类结果。进一步的，所述改变关系网络的特征融合方式，具体为：将特征学习子网看作一个向量函数f(ω；·)，集成支撑图像xi与查询图像q的特征，得到集成特征，如下式：αi＝(f(ω；xi)-f(ω；q)).*(f(ω；xi)-f(ω；q))其中，“.*”表示对应元素相乘，ω表示特征学习子网的参数。进一步的，所述重新构造损失函数，具体为：在关系网络的关系得分层运用softmax函数，令第i个激活值pi表示第i个归属概率，同时记查询图像q的的类别标签为l(q)，利用交叉熵构造关系损失函数，如下式：其中，表示关系损失函数，ω和分别表示特征学习子网和排序学习子网的参数，x表示支撑图像x1，x2，…，xC构成的支撑图像列表，Q表示任一训练情景的查询图像集。进一步的，所述利用所有训练图像的特征，为支撑图像列表创建参照相似度列表，具体包括：根据所有训练图像的特征，计算所有图像对的欧氏距离并规范化到[0，1]上；假设第t个教师算出支撑图像xi与查询图像q的规范化欧氏距离为dti，定义xi与q的参照相似度，如下式：其中，T表示教师网络的个数，si表示参照相似度且si∈[0，1)；若参照相似度si＝0，则舍弃对应的查询图像q；根据参照相似度s1，s2，…，sC，为支撑图像列表x＝(x1，x2，…，xC)创建参照相似度列表s＝(s1，s2，…，sC)。进一步的，所述利用排列概率模型构造排序损失函数，具体为：记π＝[π(1)，π(2)，…，π(C)]为C个自然数1，2，…，n的一个排列，且记所有排列构成的集合为Ωn，给定正列表u，定义排列π的概率，如下式：其中，π(i)表示排在第i位的自然数；记支撑图像列表x的参照相似度列表为s，并记排序网络为x生成的预测相似度列表为s′，利用s的排列概率P(π|s)和s′的排列概率P(π|s′)，构造排序损失函数，如下式：其中，ω和分别表示特征学习子网和排序学习子网的参数，q表示查询图像，Q表示任一训练情景的查询图像集。进一步的，所述构造混合损失函数，如下式：其中，表示混合损失函数，表示排序损失函数，表示关系损失函数，λ≥0表示一个正则化参数。进一步的，所述将查询图像和单样本支撑图像输入训练好的排序网络中进行分类，得到查询图像的分类结果，具体为：将查询图像和单样本支撑图像输入训练好的排序网络，得到和的相似度预测值与的归属概率进而得到所属类别如下式：本专利技术的第二个目的可以通过采取如下技术方案达到：一种单样本图像分类系统，所述系统包括：第一生成模块，用于通过改变关系网络的特征融合方式和重新构造损失函数，生成变体关系网络；第一训练模块，用于依次将T个预训练卷积神经网络作为变体关系网络的特征学习子网，训练对应的变体关系网络，得到T个教师网络；提取模块，用于依次将T个教师网络作为特征生成器，提取所有训练图像的特征；创建模块，用于利用所有训练图像的特征，为支撑图像列表创建参照相似度列表；构造模块，用于利用排列概率模型构造排序损失函数，进本文档来自技高网...

【技术保护点】
1.一种单样本图像分类方法，其特征在于，所述方法包括：/n通过改变关系网络的特征融合方式和重新构造损失函数，生成变体关系网络；/n依次将T个预训练卷积神经网络作为变体关系网络的特征学习子网，训练对应的变体关系网络，得到T个教师网络；/n依次将T个教师网络作为特征生成器，提取所有训练图像的特征；/n利用所有训练图像的特征，为支撑图像列表创建参照相似度列表；/n利用排列概率模型构造排序损失函数，进而构造混合损失函数；/n用混合损失函数取代变体关系网络中的关系损失函数，用排序学习子网取代关系学习子网，生成排序网络；/n根据参照相似度列表，采用情景训练模式训练排序网络，得到训练好的排序网络；/n将查询图像和单样本支撑图像输入训练好的排序网络中进行分类，得到查询图像的分类结果。/n

【技术特征摘要】
1.一种单样本图像分类方法，其特征在于，所述方法包括：
通过改变关系网络的特征融合方式和重新构造损失函数，生成变体关系网络；
依次将T个预训练卷积神经网络作为变体关系网络的特征学习子网，训练对应的变体关系网络，得到T个教师网络；
依次将T个教师网络作为特征生成器，提取所有训练图像的特征；
利用所有训练图像的特征，为支撑图像列表创建参照相似度列表；
利用排列概率模型构造排序损失函数，进而构造混合损失函数；
用混合损失函数取代变体关系网络中的关系损失函数，用排序学习子网取代关系学习子网，生成排序网络；
根据参照相似度列表，采用情景训练模式训练排序网络，得到训练好的排序网络；
将查询图像和单样本支撑图像输入训练好的排序网络中进行分类，得到查询图像的分类结果。


2.根据权利要求1所述的单样本图像分类方法，其特征在于，所述改变关系网络的特征融合方式，具体为：
将特征学习子网看作一个向量函数f(ω；·)，集成支撑图像xi与查询图像q的特征，得到集成特征，如下式：
αi＝(f(ω；xi)-f(ω；q)).*(f(ω；xi)-f(ω；q))
其中，“.*”表示对应元素相乘，ω表示特征学习子网的参数。


3.根据权利要求1所述的单样本图像分类方法，其特征在于，所述重新构造损失函数，具体为：
在关系网络的关系得分层运用softmax函数，令第i个激活值pi表示第i个归属概率，同时记查询图像q的的类别标签为l(q)，利用交叉熵构造关系损失函数，如下式：



其中，表示关系损失函数，ω和分别表示特征学习子网和排序学习子网的参数，x表示支撑图像x1，x2，…，xC构成的支撑图像列表，Q表示任一训练情景的查询图像集。


4.根据权利要求1-3任一项所述的单样本图像分类方法，其特征在于，所述利用所有训练图像的特征，为支撑图像列表创建参照相似度列表，具体包括：
根据所有训练图像的特征，计算所有图像对的欧氏距离并规范化到[0，1]上；
假设第t个教师算出支撑图像xi与查询图像q的规范化欧氏距离为dti，定义xi与q的参照相似度，如下式：



其中，T表示教师网络的个数，si表示参照相似度且si∈[0，1)；若参照相似度si＝0，则舍弃对应的查询图像q；
根据参照相似度s1，s2，…，sC，为支撑图像列表x＝(x1，x2，…，xC)创建参照相似度列表s＝(s1，s2，…，sC)。


5.根据权利要求1-3任一项所述的单样本图像分类方法，其特征在于，所述利用排列概率模型构造排序...

【专利技术属性】
技术研发人员：刘亦书，张利强，韩政卓，陈聪慧，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：广东;44