当前位置: 首页 > 专利查询>吉林大学专利>正文

一种基于深度学习的小样本图像识别方法技术

技术编号:21201000 阅读:84 留言:0更新日期:2019-05-25 01:34
本发明专利技术涉及一种基于深度学习的小样本图像识别方法,该方法包括下述步骤:一、划分训练集;二、生成噪声图像;三、预训练原型空间判别网络;四、训练欺骗图像生成网络;五、训练原型空间判别网络;六、重复步骤四和步骤五进行交叉迭代训练,直到达到预先设定的迭代次数或准确率不再提升;七、图像类别识别。本发明专利技术在不改变已经训练好的模型的前提下,借助每类少数几个标注样本,通过泛化这些罕见的类别,识别训练过程中有从未见过的新类,而不需要额外的训练,图像识别准确率高。

A Small Sample Image Recognition Method Based on Deep Learning

The present invention relates to a small sample image recognition method based on in-depth learning, which includes the following steps: 1. dividing training set; 2. generating noise image; 3. pre-training prototype space discrimination network; 4. training deception image generation network; 5. training prototype space discrimination network; 6. repeating steps 4 and 5 for cross-iterative training until the pre-training is achieved. The number of iterations or the accuracy of the first set is no longer improved. Seventh, image classification. Without changing the trained model, the method recognizes new classes which have never been seen in the training process by generalizing these rare classes with the help of a few labeled samples of each class, without additional training, and has high image recognition accuracy.

【技术实现步骤摘要】
一种基于深度学习的小样本图像识别方法
本专利技术属于图像识别
,涉及一种基于深度学习的小样本图像识别方法,更具体地说,本专利技术涉及一种基于生成对抗网络和原型思想的深度学习小样本图像识别方法。
技术介绍
深度学习已经广泛应用于各个领域,解决各类问题,例如在图像识别问题上,往往可以达到很高的准确率。然而,深度学习是一种“数据饥饿型”的技术,需要大量的标注样本才能发挥作用。可是在现实中,很多问题是没有这么多标注图像的,获取标注图像的成本也非常大,例如在医疗领域,安全领域等。随着更多应用场景的涌现,我们越来越面临着样本数量不足的问题。因此,当标注数据量比较少时,如何通过举一反三的方式进行小样本图像学习,成为了一个重要的研究方向。目前小样本问题的场景也就是小样本问题面临的问题是:不改变已经训练好的模型的前提下,只能借助每类少数几个标注样本,泛化这些罕见的类别,识别训练过程中有从未见过的新类,而不需要额外的训练。图像原型思想来源于原型网络,通过计算样本图片和每个类别的原型表达的距离来进行分类。它假设每个类别都存在一个聚在某单个原型表达周围的嵌入(embedding),该类的原型是支持集(supportset)在嵌入空间中的均值。然后,分类问题变成在嵌入空间中的最近邻。该方法思想十分简单高效,效果也非常好。原型网络本身就是一种小样本学习方法,实验表明欧几里得(squaredEuclidean)距离比余弦(cosine)距离要好14到17个百分点。目前,利用原型网络进行小样本学习,在miniImageNet数据集上,支持集中每类图像只有1个标注样本的情况下(one-shot-learning),查询图像识别准确率仅达到49.2±0.78%,支持集中每类图像有5个标注样本的情况下(five-shot-learning),查询图像识别准确率达到仅68.20±0.66%。
技术实现思路
本专利技术要解决的技术问题是提供一种基于深度学习的小样本图像识别方法,该方法借助每类少数几个标注样本,通过泛化这些罕见的类别,即可识别新图像的类别,而不需要额外的训练,图像识别准确率高。为解决上述技术问题,本专利技术的基于深度学习的小样本图像识别方法包括下述步骤:一、划分训练集将训练集中的样本图像随机划分到支持集S和查询集Q,训练集中每个类别样本图像的数目一般不少于600个;其中支持集表示支持集S中包含了n个类别的样本图像,其中为支持集S中属于类别k的样本图像的集合,是支持集S中属于类别k的第m个样本;查询集同样包含了n个类别的样本图像;其中,为查询集Q中属于类别k的样本图像的集合,是查询集Q中属于类别k的第l个样本;二.生成噪声图像随机生成噪声图像集合N,N中噪声图像数量是训练集图像类别数,噪声图像形状与训练集中图像相同;三、预训练原型空间判别网络Dφ1.将支持集S中各类别样本图像子集{S1,S2,...Sk...Sn},输入原型空间判别网络Dφ,得到支持集S各类别样本图像原型{c1,c2,...ck...cn};2.从查询集Q中样本图像随机选取M类样本图像,每类选取N个样本图像,组成每次训练用的查询子集输入原型空间判别网络Dφ,得到其在原型空间内的映射,其中代表查询子集QNM中属于类别k的图像集合;3.根据原型空间判别网络Dφ的预训练损失函数公式,采用梯度下降算法,预训练原型空间判别网络Dφ的网络参数并更新原型空间判别网络Dφ;4.将步骤2,3重复不少于50次;对于查询集Q中属于类别k的任意一张图像原型空间判别网络Dφ的预训练损失函数L(φ)′定义如下:其中,的定义如下:其中是查询集Q中属于类别k的图像,为查询集图像在原型空间内的映射;ck是支持集S中属于类别k的样本图像映射到原型空间内的中心点,即类别k样本图像的原型;ck′是支持集S中不属于类别k的图像映射到原型空间内的中心点,即除了类别k样本图像以外的某一类别样本图像的原型;代表两个张量ck之间的欧几里得距离;代表两个张量ck′之间的欧几里得距离;其中,Sk∈S,代表支持集S中属于类别k的样本图像集合,xi代表Sk中第i个样本图像的图像矩阵,yi代表Sk中第i个样本图像的所属类别;Dφ(xi)代表Sk中第i个样本图像在原型空间内的映射;其中,Sk′∈S,代表支持集S中不属于类别k的样本图像集合,xi’代表Sk′中第i个样本图像的图像矩阵,yi’代表Sk′中第i个样本图像的所属类别;Dφ(xi’)代表Sk′中第i个样本图像在原型空间内的映射;四、训练欺骗图像生成网络将噪声图像集合N中的所有图像输入欺骗图像生成网络Gθ得到欺骗图像集合F,F=Gθ(N),然后将欺骗图像生成网络Gθ输出的欺骗图像集合F进一步输入通过步骤三更新后的原型空间判别网络Dφ,将欺骗图像映射到原型空间;根据欺骗图像生成网络Gθ的损失函数J(θ),采用梯度下降算法,训练欺骗图像生成网络Gθ的网络参数并更新欺骗图像生成网络Gθ;对于每张欺骗图像来说,生成网络Gθ的损失函数J(θ)定义如下:其中,其中是随机噪声图像xrd输入欺骗图像生成网络Gθ后输出的类别k欺骗图像;是欺骗图像在原型空间内的映射;代表两个张量之间的欧几里得距离;代表两个张量之间的欧几里得距离;五.训练原型空间判别网络1.将支持集S中各类图像子集{S1,S2,...Sk...SN}输入原型空间判别网络得到各类图像原型{c1,c2,...ck...cN},2.从查询集Q中样本图像随机选取M类样本图像,每类选取N个样本图像,组成每次训练用的查询子集输入原型空间判别网络,得到其在原型空间内的映射;3.从步骤四中欺骗图像生成网络输出的欺骗图像集合F随机选取M张欺骗图像,输入原型空间判别网络得到其在原型空间内的映射;4.根据原型空间判别网络Dφ的训练误差函数CD(φ),采用梯度下降算法,训练网络参数并更新原型空间判别网络Dφ,5.重复步骤2,3,4不少于100次;原型空间判别网络Dφ的训练误差函数CD(φ)定义如下:CD(φ)=C′D(φ)+NCG(φ)(7)其中,这里的Gθ是步骤四中更新后的欺骗图像生成网络;六、重复步骤四和步骤五进行欺骗图像生成网络和原型空间判别网络的交替迭代训练,直到达到预先设定的迭代次数,或准确率不再提升,得到训练好的欺骗图像生成网络和原型空间判别网络;七、使用训练好的原型空间判别网络,将已知类别的图像归入支持集,通过原型空间判别网络Dφ映射到原型空间得到各类图像原型;将待识别的图像归入查询集,同样通过原型空间判别网络Dφ映射到原型空间得到待识别图像原型,在原型空间内比较待识别图像原型到各类图像原型之间的欧几里得距离,将与待识别图像原型之间欧几里得距离最近的图像原型所属类别判为待识别图像的类别。所述的原型空间判别网络Dφ采用4层卷积神经网络,每层卷积神经网络后接整流线性单元ReLU,并进行批量归一化操作。所述的欺骗图像生成网络采用2层卷积神经网络后接2层转置卷积神经网络,卷积神经网络卷积核的大小与转置卷积神经网络的卷积核大小相同,这里均采用3x3大小的卷积核,确保欺骗图像生成网络输出的图像与输入图像形状一致;当输入为与真实图像形状相同的随机噪声图像时,欺骗图像生成网络的输出是与真实图像形状一致的欺骗图像;初始时欺骗图像生成网络的网络参数为随本文档来自技高网
...

【技术保护点】
1.一种基于深度学习的小样本图像识别方法,其特征在于包括下述步骤:一、划分训练集将训练集中的样本图像随机划分到支持集S和查询集Q,训练集中每个类别样本图像的数目一般不少于600个;其中支持集

【技术特征摘要】
1.一种基于深度学习的小样本图像识别方法,其特征在于包括下述步骤:一、划分训练集将训练集中的样本图像随机划分到支持集S和查询集Q,训练集中每个类别样本图像的数目一般不少于600个;其中支持集表示支持集S中包含了n个类别的样本图像,其中为支持集S中属于类别k的样本图像的集合,是支持集S中属于类别k的第m个样本;查询集同样包含了n个类别的样本图像;其中,为查询集Q中属于类别k的样本图像的集合,是查询集Q中属于类别k的第l个样本;二.生成噪声图像随机生成噪声图像集合N,N中噪声图像数量是训练集图像类别数,噪声图像形状与训练集中图像相同;三、预训练原型空间判别网络Dφ1.将支持集S中各类别样本图像子集{S1,S2,...Sk...Sn},输入原型空间判别网络Dφ,得到支持集S各类别样本图像原型{c1,c2,...ck...cn};2.从查询集Q中样本图像随机选取M类样本图像,每类选取N个样本图像,组成每次训练用的查询子集输入原型空间判别网络Dφ,得到其在原型空间内的映射,其中代表查询子集QNM中属于类别k的图像集合;3.根据原型空间判别网络Dφ的预训练损失函数公式,采用梯度下降算法,预训练原型空间判别网络Dφ的网络参数并更新原型空间判别网络Dφ;4.将步骤2,3重复不少于50次;对于查询集Q中属于类别k的任意一张图像原型空间判别网络Dφ的预训练损失函数L(φ)′定义如下:其中,的定义如下:其中是查询集Q中属于类别k的图像,为查询集图像在原型空间内的映射;ck是支持集S中属于类别k的样本图像映射到原型空间内的中心点,即类别k样本图像的原型;ck′是支持集S中不属于类别k的图像映射到原型空间内的中心点,即除了类别k样本图像以外的某一类别样本图像的原型;代表两个张量ck之间的欧几里得距离;代表两个张量ck′之间的欧几里得距离;其中,Sk∈S,代表支持集S中属于类别k的样本图像集合,xi代表Sk中第i个样本图像的图像矩阵,yi代表Sk中第i个样本图像的所属类别;Dφ(xi)代表Sk中第i个样本图像在原型空间内的映射;其中,Sk′∈S,代表支持集S中不属于类别k的样本图像集合,xi’代表Sk′中第i个样本图像的图像矩阵,yi’代表Sk′中第i个样本图像的所属类别;Dφ(xi’)代表Sk′中第i个样本图像在原型空间内的映射;四、训练欺骗图像生成网络将噪声图像集合N中的所有图像输入欺骗图像生成网络Gθ得到欺骗图像集合F,F=Gθ(N),然后将欺骗图像生成网络Gθ输出的欺骗图像集合F进一步输入通过步骤三更新后的原型空间判别网络Dφ,将欺骗图像映射到原型空间;根据欺骗图像生成网络Gθ的损失函数J(θ),采用梯度下降算法,训练欺骗图像生成网络Gθ的网络参数并更新欺骗图像生成网络Gθ;对于每张欺骗图像来说,生成网络Gθ的损失函数J(θ)定义如下:其中,其中是随机噪声图像xrd输入欺骗图像生成网络Gθ后输出的类别k欺骗图像;是欺骗图像在原型空间内的映射;代表两个张量ck之间的欧几里得距离;代表两个张量ck′之间的欧几里得距离;五.训练原型空间判别网络1.将支持集S中各类图像子集{S1,S2,...Sk...SN}输入原型空间判别网络得到...

【专利技术属性】
技术研发人员:李玲刘婉莹刘丹杨秀华黄玉兰张海蓉李志军佟宇琪戴思达渠云龙顾琳李林杨泰梁楫坤
申请(专利权)人:吉林大学
类型:发明
国别省市:吉林,22

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1