【技术实现步骤摘要】
一种基于动态知识路径学习的小样本分类方法
本专利技术涉及一种基于动态知识路径学习的小样本分类方法,属于属于小样本分类
技术介绍
深度学习在各个领域已经取得了不错的成绩,但是目前的人工智能依赖于海量数据的训练,模型泛化能力不佳,在有限数据领域下的效果和快速拓展到新任务的能力都不尽人意。针对这个问题,小样本学习(FewShotLearning,FSL)问题被提出。小样本学习能够帮助减轻收集大规模监督数据或人工标注的困难,使得人工智能在工业环境下使用更方便,比如ResNet在人工标注的ImageNet数据集上分类准确率已经超过人类,但是在另一方面人们可以识别30,000个类别,让机器来做的几乎是不可能完成的任务。相反,小样本学习可以帮助减少这些数据密集型应用的数据收集工作,例如图像分类、图像检索、目标追踪、手势识别、图像字幕和视觉问题解答、视频事件检测和语言建模等。因此,如果通过小样本学习的架构来解决这些问题能够大量减少计算资源和人工成本,并且这些模型和算法能够成功解决小样本学习问题,在数据充足的情况下能够达到更好的效果 ...
【技术保护点】
1.一种基于动态知识路径学习的小样本分类方法,其特征在于:步骤如下:/n基于知识图的知识挑选阶段,通过将辅助集组成知识图,用以小样本实例在知识图中寻找适合自己的学习路径;/n基于类别约束的动态路径生成阶段,小样本实例选择知识图中最相关的知识点组成路径,引入路径在类别级的约束,获得类别共性,通过计算路径损失来约束路径的好坏;/n基于路径的知识学习与分类阶段,顺序地将最相关的知识点所携带的信息提取出来增强目标实例的特征表达,查询集每一个实例与支撑集中每一个实例的特征表达两两进行相似度计算,使得目标实例分到相似度最高的类别上,然后使用交叉熵损失来衡量分类损失,通过分类损失和路径损 ...
【技术特征摘要】
1.一种基于动态知识路径学习的小样本分类方法,其特征在于:步骤如下:
基于知识图的知识挑选阶段,通过将辅助集组成知识图,用以小样本实例在知识图中寻找适合自己的学习路径;
基于类别约束的动态路径生成阶段,小样本实例选择知识图中最相关的知识点组成路径,引入路径在类别级的约束,获得类别共性,通过计算路径损失来约束路径的好坏;
基于路径的知识学习与分类阶段,顺序地将最相关的知识点所携带的信息提取出来增强目标实例的特征表达,查询集每一个实例与支撑集中每一个实例的特征表达两两进行相似度计算,使得目标实例分到相似度最高的类别上,然后使用交叉熵损失来衡量分类损失,通过分类损失和路径损失的加权求和建立小样本分类模型。
2.根据权利要求1所述的一种基于动态知识路径学习的小样本分类方法,其特征在于:所述基于知识图的知识挑选阶段中,小样本实例在知识图中寻找适合自己的学习路径的具体方法为:
知识图的节点直接由辅助集类别原型组成,原型即知识点,而边利用各辅助类别之间的相似度,作为边的权重将各节点进行连接;知识图节点之间的相似度计算由公式(1)所示:
公式(1)中的p,q为辅助集类别知识点,s为相似度度量函数并将其定义为点积相似度;通过该函数可以得知识图中两两节点之间边的权重,从而确定出一个由辅助集B构成的知识图;
为每一个小样本实例都挑选一条专属的知识路径,设知识路径长度为T,在每个时刻都在辅助集B构成的知识图中选取一个知识点作为路径上的结点;特别地,对于其中一条路径i即第i个实例所挑选的路径,设定一个隐藏状态用于计算选取知识点的概率,而在时刻t第i个实例的隐藏状态为选取知识点后将被更新为
利用隐藏状态与辅助集B中所有知识点进行注意力计算,通过注意力分布作为选取知识点j的概率
在公式(2)中,WT,Wh和Wv都是线性变换操作,可以将矩阵转换到合适的维度,|B|表示辅助图中知识点的数量,表示辅助图中第j个知识点,表示第i个实例在时刻t对第j个知识点的偏好程度;
在公式(3)中,表示第i个实例在时刻t对第k个知识点的偏好程度,通过公式(3)转换为概率形式,从而得到选取知识点j的概率
通过公式(4)选取概率最大知识点作为路径的结点,则路径上的第t个结点,记为即第i个实例在时刻t挑选的路径结点为
在计算t+1时刻的隐藏层状态时引入了平均知识点特征来降低在搜索路径时偏离原问题的影响,最终通过循环神经网络更新隐藏层状态:
3.根据权利要求2所述的一种基于动态知识路径学习的小样本分类方法,其特征在于:所述基于类别约束的动态路径生成阶段中,路径的获取由小样本任务的实例从知识图中挑选最相...
【专利技术属性】
技术研发人员:廖清,尹哲,柴合言,漆舒汉,刘洋,
申请(专利权)人:哈尔滨工业大学深圳,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。