一种基于知识图谱的小样本图片识别方法及系统技术方案

本发明专利技术提出一种基于知识图谱的小样本图片识别方法及系统，包括：获取包含训练图片集中所有种类标签的知识图谱，通过图神经网络对知识图谱进行特征提取，得到知识图谱的节点特征，通过求和网络对节点特征和训练图片集的均值特征进行求和处理，得到各组训练图片集的最终训练特征；以与最终测试特征相似度最高的最终训练特征对应种类标签为训练图片集的识别结果，并以训练图片集的类别标签作为训练目标，优化更新卷积神经网络、图神经网络和求和网络，保存当前卷积神经网络、图神经网络和求和网络作为图片识别模型；将待识别图片输入图片识别模型，得到待识别图片的种类作为图片识别结果。

【技术实现步骤摘要】
一种基于知识图谱的小样本图片识别方法及系统
本专利技术涉及机器学习人工智能
，并特别涉及一种基于知识图谱的小样本图片识别方法及系统。
技术介绍
关于小样本分类问题已经研究了很多年，大体上可以分为两大类，基于度量学习的方法、基于优化的方法。度量学习的方法基于度量距离函数，学习一个公共特征空间，在该特征空间中可以区分类别。最具有代表性的就是原型网络，如图1所示，我们有少量带标签的训练样本用不同灰度表示，以及一个测试样本，用白色表示，对于训练样本，每一个类别计算一个原型，也就是用属于同一类的所有样本的特征求平均，得到每个类别的原型，距离测试样本最近的原型的类别就是预测的测试样本的类别，原文中使用欧式距离。其他类似的方法还有匹配网络、关系网络等等。基于优化的方法设计一种优化器作为元学习器或者学习一个好的初始化。设计一种优化器最为出名的方法就是Meta-LSTM，如图2所示，将每次训练的样本等信息输入一个LSTM，该LSTM的输出作为模型梯度的更新。MAML是学习一个好的初始化最具代表性的方法，思想如图3所示，不同的任务有不同的更新本文档来自技高网...

【技术保护点】
1.一种基于知识图谱的小样本图片识别方法，其特征在于，包括：/n步骤1、获取具有类别标签的多组训练图片集，每组训练图片集具有其对应种类标签，通过该卷积神经网络提取该训练图片集中每一张训练图片的特征，根据训练图片集中图片总数，求和训练图片的特征并求平均，得到每组训练图片集的均值特征；/n步骤2、获取包含训练图片集中所有种类标签的知识图谱，通过图神经网络对该知识图谱进行特征提取，得到该知识图谱的节点特征，通过求和网络对该均值特征和该节点特征进行求和处理，得到各组训练图片集的最终训练特征；/n步骤3、以与该最终测试特征相似度最高的最终训练特征对应种类标签为训练图片集的识别结果，并以训练图片集的类别标...

【技术特征摘要】
1.一种基于知识图谱的小样本图片识别方法，其特征在于，包括：
步骤1、获取具有类别标签的多组训练图片集，每组训练图片集具有其对应种类标签，通过该卷积神经网络提取该训练图片集中每一张训练图片的特征，根据训练图片集中图片总数，求和训练图片的特征并求平均，得到每组训练图片集的均值特征；
步骤2、获取包含训练图片集中所有种类标签的知识图谱，通过图神经网络对该知识图谱进行特征提取，得到该知识图谱的节点特征，通过求和网络对该均值特征和该节点特征进行求和处理，得到各组训练图片集的最终训练特征；
步骤3、以与该最终测试特征相似度最高的最终训练特征对应种类标签为训练图片集的识别结果，并以训练图片集的类别标签作为训练目标，优化更新该卷积神经网络、该图神经网络和该求和网络，保存当前该卷积神经网络、该图神经网络和该求和网络作为图片识别模型；
步骤5、将待识别图片输入该图片识别模型，得到该待识别图片的种类作为图片识别结果。


2.如权利要求1所述的基于知识图谱的小样本图片识别方法，其特征在于，该步骤2包括：
使用词向量作为图神经网络中节点的初始化，并通过图神经网络对经过初始化的知识图谱进行特征提取，得到该知识图谱的节点特征。


3.如权利要求1所述的基于知识图谱的小样本图片识别方法，其特征在于，该步骤3包括采用交叉熵函数作为优化函数，优化更新该卷积神经网络、该图神经网络和该求和网络。


4.如权利要求1所述的基于知识图谱的小样本图片识别方法，其特征在于，从可视化数据库ImageNet中获取该知识图谱。

<...

【专利技术属性】
技术研发人员：朱勇椿，庄福振，何清，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京;11