一种包含在线小样本激励的图像分类方法技术

本发明专利技术属于图像处理领域，公开了一种包含在线小样本激励的图像分类方法。本发明专利技术的目的是在不断变化的环境中，使的用于图像分类的神经网络具有“学会学习”的能力，能够根据在线接收到的参考图片，激励分类的准确度。本发明专利技术以卷积神经网络为基础，在塑性神经网络的框架上，加入神经调节参数，使整个网络更接近于生物神经网络，并且在预测阶段参考图片的选择上，采取在线和实时的原则。本发明专利技术在图像分类的任务上具有灵活性高、准确性高、能实时根据环境调整输出结果的优势。

An image classification method with online small sample excitation

【技术实现步骤摘要】
一种包含在线小样本激励的图像分类方法
本专利技术属于图像处理领域，涉及基于小样本训练的人工神经网络进行图片分类的方法，特别涉及一种包含在线小样本激励的图像分类方法。
技术介绍
图像分类是指通过训练的计算机对一张陌生的测试图片进行分析并得出其中的内容属于什么类别的过程，其在计算机视觉和机器学习领域有着广泛的应用需求。深度神经网络是非常流行而且效果也很好的图像分类方法，通过一个多层的卷积神经网络，将图像的原始特征抽象为可以线性分割的特征向量，然后通过一个全连接层将特征向量进行线性组合，最终得出这张图片属于各个类别的概率。传统基于深度神经网络分类的方法存在一个局限性，即是为了训练网络中的参数，需要大量的训练数据，而网络一旦训练完成，所有参数则会被固化下来，在后续的预测过程中不会有所变动，整个网络所能分类的类型也会固定下来。这样就存在一个问题，如果要新增一个类别，或者有不同于训练集中的新训练图片，则需要对整个网络进行重新训练，这样会消耗大量时间，也达不到实时的效果。而在生物神经网络中，往往不存在这种固化的结构和参数，而是存在一种灵活的神经网络结构和运作机制，可以在短时间内适应新的环境，具备快速学习能力。比如在自然界有很多动物，只需要去过一次或两次的食物所在地，就能准确地记忆并再次导航前往。这些机制至今未被脑神经科学完全解释，但赫布1949年提出的赫布理论(HebbianTheory)是突触可塑性的基本原理，其中的Hebb学习规则(HebbRule)是一个无监督学习规则，这种学习的结果是使网络能够提取训练集的统计特性，从而把输入信息按照它们的相似性程度划分为若干类。这一点与人类观察和认识世界的过程非常吻合，人类观察和认识世界在相当程度上就是在根据事物的统计特征进行分类。Hebb学习规则只根据神经元连接间的激活水平改变权值，因此这种方法又称为相关学习或并联学习。随着人工智能的不断发展，对图像识别的智能性要求也越来越高。传统机器学习方法的模式是先训练若干(例如100)个类别，然后固定住整个网络，给出的待分类图片针对这100个类别，分别预测每个类别的概率，然后把概率最大的一个类别作为预测类别输出。然而这种模式在以下更灵活、智能的任务面前会难以产生效果：(1)整个图片分类任务是分为若干个阶段(生命周期)的，每个阶段中的图片可能属于的类别是不同的，例如第一个生命周期待分类图片可能属于苹果、猫、船三类中的一类，而第二个生命周期待分类图片可能属于树、卡车、蜘蛛三类中的一类，以此类推；(2)整个图片分类的任务中的类别是固定的，但是随着分类任务的进行，待分类图片属于各个类别的真实分布产生了变化；(3)整个图片分类任务中的类别是固定的，但在分类任务进行的过程中，不断能够得到新的、在原训练集中没有出现过的、带有分类标注的训练图片，并且如果学习了这些新图片中的特征，对短期内接下来的待分类图片的分类能力会有较大的提升。传统的图片分类方法训练出的网络，整个网络在训练(这个训练往往需要百万级以上的训练数据以及十几小时至几周的训练时间)完成后，网络结构、参数、包括输出的概率向量中每一位代表的类别都已经固定，在类似以上提到的情况中并不能根据环境的变化适应分类任务。将赫布规则(HebbianRule)应用于人工神经网络，并构成可以端对端地训练的神经网络结构的方法于2018年被提出，并命名为可导塑性神经网络(DifferentiablePlasticity)。
技术实现思路
本专利技术要解决的技术问题是：在一个长期的、可分为若干个生命周期的图像分类任务中，实现在每一个生命周期中对于新接受的参考图片和其所包含特征的学习，并将学习到的结果用于生命周期末尾的待分类图片预测中。本专利技术中的塑性分类网络可以在分类任务进行的过程中，在线根据近期接受的参考图片和其对应的类别标注，调整对每个类别的定义和敏感度，提升对未识别图像的识别率，达到学会学习的效果。本专利技术的具体技术方案为：一种包含在线小样本激励的图像分类方法，包括训练和预测两阶段，其中，训练阶段中的训练数据包含若干生命周期(episode)，且每个生命周期包括以下步骤：第一步，从训练集全部的类别中随机抽取5个类别，给它们编号为类别1-5，然后在1-5类中分别随机抽取一张图片，组成一组5张的参考图片；第二步，在1-5类中随机抽取一个类，再在里面抽取一张图片作为这个生命周期的测试图片；第三步，将5张参考图片按顺序一一进行下列操作：3.1通过四层卷积、非线性tanh层、Maxpool层的组合，分别得到一个1x64的特征向量activin；3.2将特征向量activin与固定权重参数w进行向量乘法，得到激活量的第一部分activ_1＝activinxw；(此处x符号代表将向量activin和矩阵w的矩阵乘法，以下相同)3.3将特征向量activin与赫布迹Hebb和赫布权重参数alpha进行乘法，得到激活向量的第二部分activ_2＝activinx(alphaxHebb)；3.4根据参考图片类型标注决定激活向量的第三部分activ_3＝1000*label，其中label是one-hot编码的类型标注，例如某图片的标注是0,1,2,3,4中的3,则label＝[0,0,0,1,0]；3.5将激活向量的三个部分相加得到激活向量activ＝activ_1+activ_2+activ_3；3.6使用sigmoid函数把激活向量的每一位都限制在[0,1]之间，使之成为合理的概率，并得到输出activout＝sigmoid(activ)；3.7计算神经调节参数，即预测结果的熵值，其中m(Modulation的缩写)为可训练的神经调节系数，mean(.)为计算平均值，Entropy(.)为计算熵值：mod＝mean(Entropy(activout+m*activ))；3.8通过计算两个向量外积的方式，计算步骤3.1中输入向量activin和步骤3.6中的输出向量activout的关联性，按照神经调节参数，添加进赫布迹中：Hebb＝(1-mod)*Hebb+mod*(activinxactivout)；3.9输出更新过的赫布迹Hebb；第四步，对1张测试图片进行下列操作：4.1通过四层卷积、非线性tanh层、Maxpool层的组合，得到一个1x64的特征向量activin’；4.2将特征向量activin’与固定权重参数w进行向量乘法，得到激活量的第一部分activ_1’＝activin’xw；4.3特征向量activin’与赫布迹Hebb和赫布权重参数alpha进行乘法，得到激活向量的第二部分activ_2’＝activin’*(alpha*Hebb)；4.4两部分相加得到激活向量activ’＝activ_1’+activ_2’；4.5使用sigmoid函数把激活向量限制为每一位都在[0,1]之间，使之成为一个合理的概率，得到输出activout＝sigmoid(本文档来自技高网...

【技术保护点】
1.一种包含在线小样本激励的图像分类方法，其特征在于，包括训练和预测两阶段，/n其中，训练阶段中的训练数据包含若干生命周期，且每个生命周期包括以下步骤：/n第一步，从训练集全部的类别中随机抽取5个类别，给它们编号为类别1-5，然后在1-5类中分别随机抽取一张图片，组成一组5张的参考图片；/n第二步，在1-5类中随机抽取一个类，再在里面抽取一张图片作为这个生命周期的测试图片；/n第三步，将5张参考图片按顺序一一进行下列操作：/n3.1通过四层卷积、非线性tanh层、Maxpool层的组合，分别得到一个1x64的特征向量activin；/n3.2将特征向量activin与固定权重参数w进行向量乘法，得到激活量的第一部分activ_1＝activin x w；/n3.3将特征向量activin与赫布迹Hebb和赫布权重参数alpha进行乘法，得到激活向量的第二部分activ_2＝activin x(alpha x Hebb)；/n3.4根据参考图片类型标注决定激活向量的第三部分activ_3＝1000*label，其中label是one-hot编码的类型标注；/n3.5将激活向量的三个部分相加得到激活向量activ＝activ_1+activ_2+activ_3；/n3.6使用sigmoid函数把激活向量的每一位都限制在[0,1]之间，使之成为合理的概率，并得到输出activout＝sigmoid(activ)；/n3.7计算神经调节参数，即预测结果的熵值，其中m为可训练的神经调节系数，mean(.)为计算平均值，Entropy(.)为计算熵值：mod＝mean(Entropy(activout+m*activ))；/n3.8通过计算两个向量外积的方式，计算步骤3.1中输入向量activin和步骤3.6中的输出向量activout的关联性，按照神经调节参数，添加进赫布迹中：Hebb＝(1-mod)*Hebb+mod*(activin x activout)；/n3.9输出更新过的赫布迹Hebb；/n第四步，对1张测试图片进行下列操作：/n4.1通过四层卷积、非线性tanh层、Maxpool层的组合，得到一个1x64的特征向量activin’；/n4.2将特征向量activin’与固定权重参数w进行向量乘法，得到激活量的第一部分activ_1’＝activin’x w；/n4.3特征向量activin’与赫布迹Hebb和赫布权重参数alpha进行乘法，得到激活向量的第二部分activ_2’＝activin’*(alpha*Hebb)；/n4.4两部分相加得到激活向量activ’＝activ_1’+activ_2’；/n4.5使用sigmoid函数把激活向量限制为每一位都在[0,1]之间，使之成为一个合理的概率，得到输出activout＝sigmoid(activ’)；/n4.6输出预测结果activout；/n第五步，将测试图片的预测结果activout与真实标注target进行对比，通过计算交叉熵值crossEntropy，得出损失函数Loss＝crossEntropy(activout,target)，并通过损失函数回传调整整个网络的参数；/n预测阶段在线进行，可以有任意多个生命周期，每个生命周期包含以下步骤：/n第六步，从可信的消息来源接收5张参考图片，给它们编号为类别1-5，然后在1-5类中分别随机抽取一张图片，组成一组5张的参考图片；/n第七步，接收一张待分类图片；/n第八步，将一共5张测试阶段实时接收的参考图片，按顺序一一进行下列操作，但不进行误差回传和网络参数调整：/n8.1通过四层卷积、非线性tanh层、Maxpool层的组合，分别得到一个1x64的特征向量activin_test；/n8.2将特征向量activin_test与固定权重参数w进行向量乘法，得到激活量的第一部分activ_test_1＝activin_test x w；/n8.3将特征向量activin_test与赫布迹Hebb和赫布权重参数alpha进行乘法，得到激活向量的第二部分activ_test_2＝activin_test x(alpha x Hebb)；/n8.4激活向量的第三部分是由该参考图片类型标注决定的activ_test_3＝1000*label_test，其中label_test是one-hot编码的类型标注，且其编码方式与训练阶段相同；/n8.5三部分相加得到激活向量activ_test＝activ_test_1+activ_test_2+active_test_3；/n8.6使用sigmoid函数把激活向量限制为每一位都在[0,1]之间，使之成为一个合理的概率，得到输出activout_test＝sigmoid(active_t...

【技术特征摘要】
1.一种包含在线小样本激励的图像分类方法，其特征在于，包括训练和预测两阶段，
其中，训练阶段中的训练数据包含若干生命周期，且每个生命周期包括以下步骤：
第一步，从训练集全部的类别中随机抽取5个类别，给它们编号为类别1-5，然后在1-5类中分别随机抽取一张图片，组成一组5张的参考图片；
第二步，在1-5类中随机抽取一个类，再在里面抽取一张图片作为这个生命周期的测试图片；
第三步，将5张参考图片按顺序一一进行下列操作：
3.1通过四层卷积、非线性tanh层、Maxpool层的组合，分别得到一个1x64的特征向量activin；
3.2将特征向量activin与固定权重参数w进行向量乘法，得到激活量的第一部分activ_1＝activinxw；
3.3将特征向量activin与赫布迹Hebb和赫布权重参数alpha进行乘法，得到激活向量的第二部分activ_2＝activinx(alphaxHebb)；
3.4根据参考图片类型标注决定激活向量的第三部分activ_3＝1000*label，其中label是one-hot编码的类型标注；
3.5将激活向量的三个部分相加得到激活向量activ＝activ_1+activ_2+activ_3；
3.6使用sigmoid函数把激活向量的每一位都限制在[0,1]之间，使之成为合理的概率，并得到输出activout＝sigmoid(activ)；
3.7计算神经调节参数，即预测结果的熵值，其中m为可训练的神经调节系数，mean(.)为计算平均值，Entropy(.)为计算熵值：mod＝mean(Entropy(activout+m*activ))；
3.8通过计算两个向量外积的方式，计算步骤3.1中输入向量activin和步骤3.6中的输出向量activout的关联性，按照神经调节参数，添加进赫布迹中：Hebb＝(1-mod)*Hebb+mod*(activinxactivout)；
3.9输出更新过的赫布迹Hebb；
第四步，对1张测试图片进行下列操作：
4.1通过四层卷积、非线性tanh层、Maxpool层的组合，得到一个1x64的特征向量activin’；
4.2将特征向量activin’与固定权重参数w进行向量乘法，得到激活量的第一部分activ_1’＝activin’xw；
4.3特征向量activin’与赫布迹Hebb和赫布权重参数alpha进行乘法，得到激活向量的第二部分activ_2’＝activin’*(alpha*Hebb)；
4.4两部分相加得到激活向量activ’＝activ_1’+activ_2’；
4.5使用sigmoid函数把激活向量限制为每一位都在[0,1]之间，使之成为一个合理的概率，得到输出activout＝sigmoid(activ’)；
4.6输出预测结果activout；
第五步，将测试图片的预测结果activout与真实标注target进行对比，通过计算交叉熵值crossEntropy，得出损失函数Loss＝crossEntropy(activout,target)，并通过损失函数回传调整整个网络的参数...

【专利技术属性】
技术研发人员：杨绍武，徐利洋，唐玉华，黄达，胡古月，吴慧超，郭晖晖，陈伯韬，杨懿，蔡成林，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43