通过WordNet嵌入进行测试和更新的树形网络方法技术

通过WordNet嵌入进行测试和更新的树形网络方法，涉及图片智能分类。构建树形网络；预训练；基于SVM的动态剪枝，在测试过程中，可以动态剪枝特征映射的激活值过低的节点和节点的子树，因为若节点的激活值太低，则该节点表示的类的概率较低，因此后代节点的概率会较低并且可以忽略；每张特征图的激活值之和的具有较强的线性可分性，因此使用SVM在测试过程中进行模型的加速；基于分支的在线更新，使用检测到的图像作为训练样本，将预测概率高的样本回传给树形网络进行训练。

【技术实现步骤摘要】
通过WordNet嵌入进行测试和更新的树形网络方法
本专利技术涉及图片智能分类，尤其是涉及一种通过WordNet嵌入进行测试和更新的树形网络方法。
技术介绍
深卷积神经网络引发了多项计算机视觉任务的一系列突破，如图像分类[1-5]、目标检测[6-7]和语义分割[8-10]等。深度卷积神经网络带来了许多强大的优势：低维/中维/高维的特征整合[11]；端到端的训练方式和随着层数增加而增加的准确性。最近的许多工作都着重于堆叠网络深度，以获得更加出色的准确性，但却导致了越来越差的可解释性。虽然越来越深的网络获得了极好的评估指标，但它带来了更多的前向传播时间和更差的解释能力。另外，决策树拥有优秀的可解释性以及快速的测试速度，可用于广泛的应用领域，如诊断、认知科学、人工智能、博弈论、工程和数据挖掘。但由于它的模型空间较小，因此它在处理自然语言处理和计算机视觉的问题时，不像神经网络一样具有很强的泛化能力。参考文献：[1]Simonyan,K.,Zisserman,A.:Verydeepconvolutionalnetworksforlarge-scaleimagerecognition.ComputerScience(2014)。[2]Szegedy,C.,Liu,W.,Jia,Y.,Sermanet,P.,Reed,S.,Anguelov,D.,Erhan,D.,Vanhoucke,V.,Rabinovich,A.:Goingdeeperwithconvolutions.(2014)1-9。[3]Krizhevsky,A.:Learningmultiplelayersoffeaturesfromtinyimages.(2009)。[4]Krizhevsky,A.,Sutskever,I.,Hinton,G.E.:Imagenetclassificationwithdeepconvolutionalneuralnetworks.In:InternationalConferenceonNeuralInformationProcessingSystems.(2012)1097-1105。[5]He,K.,Zhang,X.,Ren,S.,Sun,J.:Deepresiduallearningforimagerecognition.(2015)770-778。[6]Ren,S.,He,K.,Girshick,R.,Sun,J.:Fasterr-cnn:towardsreal-timeobjectdetectionwithregionproposalnetworks.In:InternationalConferenceonNeuralInformationProcessingSystems.(2015)91-99。[7]Dai,J.,Li,Y.,He,K.,Sun,J.:R-fcn:Objectdetectionviaregion-basedfullyconvolutionalnetworks.(2016)。[8]Pinheiro,P.O.,Collobert,R.,Doll,Piotr,R.:Learningtosegmentobjectcandidates.(2015)1990-1998。[9]Li,Y.,Qi,H.,Dai,J.,Ji,X.,Wei,Y.:Fullyconvolutionalinstance-awaresemanticsegmentation.In:IEEEConferenceonComputerVisionandPatternRecognition.(2017)4438-4446。[10]He,K.,Gkioxari,G.,Dollr,P.,Girshick,R.:Maskr-cnn.(2017)。[11]Miller,G.A.,Beckwith,R.,Fellbaum,C.,Gross,D.,Miller,K.J.:Introductiontowordnet:Anon-linelexicaldatabase*.InternationalJournalofLexicography3(4)(1990)235-244。
技术实现思路
本专利技术的目的在于提供通过WordNet嵌入进行测试和更新的树形网络方法。本专利技术包括以下步骤：1)构建树形网络；在步骤1)中，构建树形网络的具体方法可为：从英语词汇数据库(WordNet[11])中提取有关类之间语义关系和距离的信息，将带有先验知识的信息封装成一棵名为WordTree的树中，其中深层节点包含高维语义信息的类和更浅层节点包含低维语义信息的类；所述英语词汇数据库中，名词、动词、形容词和副词被分组成同组集合；裁剪所得到的WordTree：若一个节点只有一个孩子，则用它的后代节点替换它；因此，WordTree中的每个节点都包含两个或更多后代节点，每个节点只需要负责其后代节点的分类，将至少1个ResBlock[5]组合为一个TreeBlock，然后使用TreeBlock以高级语义构建层次化的WordTree，构造出树形网络。2)预训练；在步骤2)中，所述预训练的具体方法可为：由于树形网络中的每个节点都分配不同的任务，以使用树形网络训练CIFAR-10数据集为例，根节点负责人造物和生物的分类任务，哺乳动物节点负责食肉动物和有蹄类动物的分类任务，使每个节点的任务更简单，更清晰，因此，可以预先重复使用相同的分类数据集预训练每个节点；在预训练过程中，根据WordTree的结构从浅到深训练每个节点，具体方法为：在训练根节点时，在根节点之后添加一个简单的2类softmax，并将数据标签转换为人造物和生物，迫使根节点学习如何对这两个类进行分类；然后训练在根节点之后的节点，比如生物，只保留根节点的CNN部分并且固定所有权重；然后添加代表生物节点的TreeBlock和4类加权softmax：鸟类、蛙类、哺乳动物和其他类；最后转换将数据标签分为上述4类，迫使生物节点学习如何对这4类进行分类；以此类推预训练所有的节点。3)基于SVM的动态剪枝，在测试过程中，可以动态剪枝特征映射的激活值过低的节点和节点的子树，因为若节点的激活值太低，则该节点表示的类的概率较低，因此后代节点的概率会较低并且可以忽略；每张特征图的激活值之和的具有较强的线性可分性，因此使用SVM在测试过程中进行模型的加速；4)基于分支的在线更新，使用检测到的图像作为训练样本，将预测概率高的样本回传给树形网络进行训练。本专利技术源于深层卷积神经网络和决策树的互补性，以实现更快的前向传播速度和更好的可解释性，其基础是：1、由于其庞大的模型空间，深卷积神经网络获得精确的准确性；2、决策树易于解释，并且可以快速使用分支结构进行测试。由于WordNet[11]包含高级语义信息，包括人类对物体感知的层次结构，并且是一种易于理解的，可解释的层次关系。基于WordNet[11]，本专利技术可以根据人类的语义来动态剪枝分支或仅更新相关分支。这样做一方面可以提高前向传播效率；另一方面，在专注于特定语义并需要忽略不相关类别影响的学习过程中，它会更有效率。基于这种结构，本专利技术设计了一系列相关的算法，包括预训练、动态剪枝和分支更新。当使用分支结构时，本专利技术可以本文档来自技高网...

【技术保护点】
1.通过WordNet嵌入进行测试和更新的树形网络方法，其特征在于包括以下步骤：1)构建树形网络；2)预训练；3)基于SVM的动态剪枝，在测试过程中，可以动态剪枝特征映射的激活值过低的节点和节点的子树，因为若节点的激活值太低，则该节点表示的类的概率较低，因此后代节点的概率会较低并且可以忽略；每张特征图的激活值之和的具有较强的线性可分性，因此使用SVM在测试过程中进行模型的加速；4)基于分支的在线更新，使用检测到的图像作为训练样本，将预测概率高的样本回传给树形网络进行训练。

【技术特征摘要】
1.通过WordNet嵌入进行测试和更新的树形网络方法，其特征在于包括以下步骤：1)构建树形网络；2)预训练；3)基于SVM的动态剪枝，在测试过程中，可以动态剪枝特征映射的激活值过低的节点和节点的子树，因为若节点的激活值太低，则该节点表示的类的概率较低，因此后代节点的概率会较低并且可以忽略；每张特征图的激活值之和的具有较强的线性可分性，因此使用SVM在测试过程中进行模型的加速；4)基于分支的在线更新，使用检测到的图像作为训练样本，将预测概率高的样本回传给树形网络进行训练。2.如权利要求1所述通过WordNet嵌入进行测试和更新的树形网络方法，其特征在于在步骤1)中，构建树形网络的具体方法为：从英语词汇数据库中提取有关类之间语义关系和距离的信息，将带有先验知识的信息封装成一棵名为WordTree的树中，其中深层节点包含高维语义信息的类和更浅层节点包含低维语义信息的类；所述英语词汇数据库中，名词、动词、形容词和副词被分组成同组集合；裁剪所得到的WordTree：若一个节点只有一个孩子，则用它的后代节点替换它；因此，WordTree中的每个节点都包含...

【专利技术属性】
技术研发人员：张仲楠，曾鸣，朱展图，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建,35