基于图卷积神经网络的小样本分类模型的发育方法及系统技术方案

本发明专利技术属于计算机视觉领域，具体涉及了一种基于图卷积神经网络的小样本分类模型的发育方法及系统，旨在解决现有模型应用到新任务中性能不佳并且需要大量带标签训练样本的问题。本发明专利技术包括：提取一个由无向图构成的知识图谱，获取与任务相关的知识性信息；提取原始模型针对旧任务的训练过程中的经验信息；将知识性信息以及经验性信息相融合，构成新的融合图；通过建立新任务类别和旧任务类别之间的联系并进行模型的训练，得到面向新任务的认知发育后的分类模型。本发明专利技术方法在任务的迁移过程中，新任务无需提供大量的带标签样本，就可以实现快速而精准的视觉迁移，极大地提高了模型的利用率，降低了训练模型的成本和时间。

【技术实现步骤摘要】
基于图卷积神经网络的小样本分类模型的发育方法及系统
本专利技术属于计算机视觉领域，具体涉及了一种基于图卷积神经网络的小样本分类模型的发育方法及系统。
技术介绍
随着计算机视觉领域相关技术的不断发展，计算机视觉技术的应用范围越来越广泛。在视觉算法逐渐成熟的同时，模型对于大规模图像样本的依赖，已经成为模型训练中难以避免的问题。对于样本采集工作较为困难的领域，甚至是本身不具备大规模的样本的领域，带标签的样本的采集工作，更是成为了制约计算机视觉技术发展的难题。由于人类认知领域的不断扩展，新的任务类别逐渐被发现。然而，大多数目标识别模型的测试任务对象是固定的，为了能够对新任务实现正确的检测识别操作，需要对模型整体的参数进行更新和调整。这种训练模式需要花费大量的时间和精力投入。对相关模型参数的整体的更新训练，虽然可以实现新任务的目标分类任务，但是会造成对原有任务的遗忘。显然，这不符合计算机视觉领域追求的快速、精准的目标性能要求。图神经网络是近年来新兴的研究领域，将传统神经网络延伸到非欧几里德空间。在图结构上进行图操作，具有一定的可解释性能。图神经网络将类别之间的结构信息当做信息传播的通道，可以很好地提取样本之间的关系，模仿人脑在认知中的相应关联和区分机制，获取关于新任务的更多辅助信息，从而弥补了样本数据不足的问题。图神经网络可以很好地将旧类别与新类别关联起来，建立了原有模型与新的视觉任务间的信息的传播通道，便于实现模型对于新任务的推理。因此，本专利技术针对模型在旧任务到新任务的迁移过程中会遗忘旧任务以及模型进行新任务训练时需要大量的带标签训练样本的问题，将图网络应用到多任务问题中，利用图神经网络中信息在节点间传播和聚合的特点，在不提供大量带标签样本，只提供少量的样本图像的基础上，实现模型的快速精确的视觉迁移。
技术实现思路
为了解决现有技术中的上述问题，即现有模型应用到新任务中性能不佳并且需要大量带标签训练样本的问题，本专利技术提供了一种基于图卷积神经网络的小样本分类模型的发育方法，该方法包括：步骤S100，获取待发育分类模型，并提取所述待发育分类模型的分类器，分别提取预先构建的知识图谱中与待发育分类模型的旧任务和新任务相关的类别信息和连接信息，并构建常识性知识图网络；步骤S200，通过所述待发育分类模型的特征提取模块提取新任务的少量样本的类别特征作为初始节点信息；步骤S300，通过余弦相似度函数判别旧任务与新任务类别间的关系，若类别间的余弦相似度大于设定值，则基于初始节点信息构建经验性知识图网络；所述经验性知识图网络的边为两个类别的节点间连接边；步骤S400，通过降噪自动编码器，基于所述常识性知识图网络以及经验性知识图网络构建融合图；步骤S500，通过图卷积神经网络，迭代在所述融合图上进行常识性知识和经验性知识信息的传播和聚合以及通过目标优化函数最小化旧类别真实值与预测值之间的差值，获得新任务类别的分类器；步骤S600，将所述新任务类别的分类器的分类权重赋值给所述待发育分类模型中的分类器，获得面向新任务的认知发育后的分类模型。在一些优选的实施例中，所述预先构建的知识图谱为基于设定数据集构建的无向图，其公式表示为：G＝＜V,E＞其中，V＝{v1,v2,…,vi,…,vn}为知识图谱中相关节点的集合，每个节点分别代表一个类别；E＝{ei,j＝(vi,vj)}为边的集合，代表图中节点间的连接关系，ei,j＝1代表节点i和节点j具有直接连接关系，ei,j＝0代表节点i和节点j不具有直接连接关系；知识图谱中节点特征的集合为：X＝{x1,x2,…,xi,…,xn}知识图谱中类别的分类权重为：其中，N代表知识图谱中所有类别的总个数。在一些优选的实施例中，步骤S100包括：步骤S10，根据所述知识图谱中的对应类别信息，获取N个类别的语义特征描述；步骤S120，通过基于维基百科训练的Glove模型将所述N个类别的语义特征描述转换为对应的语义特征向量；步骤S130，基于所述语义特征向量以及知识图谱中节点之间的连接关系，构建常识性知识图网络。在一些优选的实施例中，所述常识性知识图网络的特征矩阵为XK∈RN×S，R代表实域空间，N×S为特征矩阵的维度，S为语义特征向量的长度；所述常识性知识图网络的边表示为：其中，ei,j＝1代表节点i和节点j具有直接连接关系，ei,j＝0代表节点i和节点j不具有直接连接关系。在一些优选的实施例中，步骤S200包括：步骤S210，通过所述待发育分类模型的特征提取模块F(·|θ)提取支撑集中提供的新任务的少量样本的特征值；步骤S220，计算所述少量样本的特征值的均值作为初始节点信息；所述初始节点信息表示为：其中，K为新任务的类别在支撑集中的样本个数，xk,i代表支撑集中第i个类别的第k个样本，代表旧任务的类别权重。在一些优选的实施例中，所述旧任务与新任务类别间的关系，其计算方法为：其中，xi和xj分别代表旧任务和新任务类别的两个节点，||·||2代表二范数，s为设定常数，代表判定连接的界限。在一些优选的实施例中，所述融合图中节点的输入特征向量为：其中，和分别代表常识性知识类别特征和经验性知识类别特征，||·||2代表数据的二范数，α和β分别代表常识性知识和经验性知识的融合权重。在一些优选的实施例中，所述融合图的边为：其中，xi和xj分别代表旧任务和新任务类别的两个节点，||·||2代表二范数，s代表为设定常数，代表判定连接的界限，∨代表或关系，hyponymy(i,j)代表节点i和节点j代表的类间间具有父子关系。在一些优选的实施例中，所述图卷积神经网络为：其中，H代表图卷积神经网络的输出，其中，网络第一层输出H0＝X；ReLu(·)为LeakyReLu函数，代表图卷积神经网络的非线性激活函数；E∈RN×N代表相应图的邻接矩阵，I为N阶单位矩阵；以邻接矩阵的行向量正则化，Eij代表图的连接矩阵，i代表第i个节点，j代表第j个节点；K(l)是指图卷积神经网络第l层的参数。在一些优选的实施例中，所述目标优化函数为：其中，代表图结构输出的对于旧类的分类权重的预测值，W代表通过训练好的新任务类别的分类器C(·|ω)得到的旧类别的分类权重的真实值，M是旧类别的数量，P为分类权重向量的维度，m代表第m类的类别节点，n代表第n个向量。本专利技术的另一方面，提出了一种基于图卷积神经网络的小样本分类模型的发育系统，该系统包括常识性知识图网络构建模块、初始节点信息提取模块、类别关系计算模块、融合模块、迭代训练模块和迁移模块；所述常识性知识图网络构建模块，配置为获取待发育分类模型，并提取所述待发育分类模型的分类器，分别提取预先构建的知识图谱中与待发育分类模型的旧任务和新任务相关的类别信息和连接信息，并构建常识性本文档来自技高网...

【技术保护点】
1.一种基于图卷积神经网络的小样本分类模型的发育方法，其特征在于，该方法包括：/n步骤S100，获取待发育分类模型，并提取所述待发育分类模型的分类器，分别提取预先构建的知识图谱中与待发育分类模型的旧任务和新任务相关的类别信息和连接信息，并构建常识性知识图网络；/n步骤S200，通过所述待发育分类模型的特征提取模块提取新任务的少量样本的类别特征作为初始节点信息；/n步骤S300，通过余弦相似度函数判别旧任务与新任务类别间的关系，若类别间的余弦相似度大于设定值，则基于初始节点信息构建经验性知识图网络；所述经验性知识图网络的边为两个类别的节点间连接边；/n步骤S400，通过降噪自动编码器，基于所述常识性知识图网络以及经验性知识图网络构建融合图；/n步骤S500，通过图卷积神经网络，迭代在所述融合图上进行常识性知识和经验性知识信息的传播和聚合以及通过目标优化函数最小化旧类别真实值与预测值之间的差值，获得新任务类别的分类器；/n步骤S600，将所述新任务类别的分类器的分类权重赋值给所述待发育分类模型中的分类器，获得面向新任务的认知发育后的分类模型。/n

【技术特征摘要】
1.一种基于图卷积神经网络的小样本分类模型的发育方法，其特征在于，该方法包括：
步骤S100，获取待发育分类模型，并提取所述待发育分类模型的分类器，分别提取预先构建的知识图谱中与待发育分类模型的旧任务和新任务相关的类别信息和连接信息，并构建常识性知识图网络；
步骤S200，通过所述待发育分类模型的特征提取模块提取新任务的少量样本的类别特征作为初始节点信息；
步骤S300，通过余弦相似度函数判别旧任务与新任务类别间的关系，若类别间的余弦相似度大于设定值，则基于初始节点信息构建经验性知识图网络；所述经验性知识图网络的边为两个类别的节点间连接边；
步骤S400，通过降噪自动编码器，基于所述常识性知识图网络以及经验性知识图网络构建融合图；
步骤S500，通过图卷积神经网络，迭代在所述融合图上进行常识性知识和经验性知识信息的传播和聚合以及通过目标优化函数最小化旧类别真实值与预测值之间的差值，获得新任务类别的分类器；
步骤S600，将所述新任务类别的分类器的分类权重赋值给所述待发育分类模型中的分类器，获得面向新任务的认知发育后的分类模型。


2.根据权利要求1所述的基于图卷积神经网络的小样本分类模型的发育方法，其特征在于，所述预先构建的知识图谱为基于设定数据集构建的无向图，其公式表示为：
G＝＜V,E＞
其中，V＝{v1,v2,…,vi,…,vn}为知识图谱中相关节点的集合，每个节点分别代表一个类别；E＝{ei,j＝(vi,vj)}为边的集合，代表图中节点间的连接关系，ei,j＝1代表节点i和节点j具有直接连接关系，ei,j＝0代表节点i和节点j不具有直接连接关系；
知识图谱中节点特征的集合为：
X＝{x1,x2,…,xi,…,xn}
知识图谱中类别的分类权重为：



其中，N代表知识图谱中所有类别的总个数。


3.根据权利要求2所述的基于图卷积神经网络的小样本分类模型的发育方法，其特征在于，步骤S100包括：
步骤S10，根据所述知识图谱中的对应类别信息，获取N个类别的语义特征描述；
步骤S120，通过基于维基百科训练的Glove模型将所述N个类别的语义特征描述转换为对应的语义特征向量；
步骤S130，基于所述语义特征向量以及知识图谱中节点之间的连接关系，构建常识性知识图网络。


4.根据权利要求3所述的基于图卷积神经网络的小样本分类模型的发育方法，其特征在于，所述常识性知识图网络的特征矩阵为XK∈RN×S，R代表实域空间，N×S为特征矩阵的维度，S为语义特征向量的长度；
所述常识性知识图网络的边表示为：



其中，ei,j＝1代表节点i和节点j具有直接连接关系，ei,j＝0代表节点i和节点j不具有直接连接关系。


5.根据权利要求1所述的基于图卷积神经网络的小样本分类模型的发育方法，其特征在于，步骤S200包括：
步骤S210，通过所述待发育分类模型的特征提取模块F(·|θ)提取支撑集中提供的新任务的少量样本的特征值；
步骤S220，计算所述少量样本的特征值的均值作为初始节点信息；
所述初始节点信息表示为：



其中，K为新任务的类别在支撑集中的样本个数，xk,i代表支撑集中第i个类别的第k个样本，代表旧任务的类别权重。


6.根据权利要求1所述的基于图卷积神经网络的小样本分类模型的发育方法，其特征在于，所述旧任务与新任务类别间的关系，其计算方法为：



其中，xi和xj分别代表旧任务和新任务类别的两个节点，||·||2代...

【专利技术属性】
技术研发人员：杨旭，张昕悦，刘智勇，张璐，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11