一种基于增广图卷积的多标签物体识别方法、装置及设备制造方法及图纸

本发明专利技术公开了一种基于增广图卷积的多标签物体识别方法、装置、设备以及计算机可读存储介质，为了抑制在新任务模型收敛时，旧任务多标签模型参数改变的问题以及在类递增数据流下跨任务关系构建中，难以获得旧任务标签信息的问题，基于终身学习和多标签学习，构建了可抑制模型遗忘的专家网络以及可在线更新的增广关系矩阵，并基于增广关系矩阵和图卷积算法实时构建跨任务的多标签关系，解决了传统终身学习无法构建多标签关系，无法抑制标签关系遗忘的问题。遗忘的问题。遗忘的问题。

【技术实现步骤摘要】
一种基于增广图卷积的多标签物体识别方法、装置及设备


[0001]本专利技术涉及计算机视觉领域，特别是涉及一种增广图卷积的多标签物体识别方法、装置、设备以及计算机可读存储介质。

技术介绍

[0002]近年来，终身学习(Lifelong learning)和多标签学习(Multi
‑
label learning)受到了学术界的极大重视，成为近两年来计算机视觉领域中比较热门的方向。目前基本没有为终身学习和多标签学习设计的算法。多标签图像识别是计算机视觉领域中具有重要研究意义的课题之一，相对于单标签图像，多标签更符合真实世界的设定。多标签图像识别是指对包含多种标签的图片，进行特征提取，标签识别。终身学习算法是计算机视觉领域新兴的研究课题，是一种处理类递增数据流的算法，它旨在多任务学习中抑制旧任务的遗忘，用同一个模型不断积累任务的知识。
[0003]基于图卷积的多标签图像识别方法利用图卷积的图结构来构建标签关系以提高模型精度。图卷积网络的输入有关键两点：一是初始化图结点；二是关系矩阵。初始化图结点从词向量提取；关系矩阵是从所有训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于增广图卷积的多标签物体识别方法，其特征在于，包括：利用多标签数据集对预先构建的多标签物体识别模型进行训练，将所述多标签数据集划分为l＝M/N组数据集，其中，M个标签为所述多标签数据集所包含的标签个数，N为所述多标签物体识别模型中每个任务所学习的标签个数；将第t组数据集输入至所述多标签物体识别模型的第t
‑
1个专家网络中，输出标签集合内各个标签在所述第t组数据集的多标签概率值，其中，所述第t
‑
1个专家网络根据第t
‑
1个任务的CNN网络参数和GCN网络参数构建，为完成所述第t
‑
1个任务后所述多标签物体识别模型已学习过的标签集合；将第t组数据集批量输入至第t个任务的CNN网络中，输出所述第t组数据集的图像特征矩阵；构建所述第t个任务的增广关系矩阵其中，为所述第t
‑
1个任务的增广关系矩阵，B
t
为基于所述第t个任务所学习的标签集合C
t
内各个标签在所述第t组数据集的硬标签构建的任务内标签关系矩阵，R
t
为根据所述标签集合C
t
内各个标签在所述第t组数据集的硬标签和所述标签集合内各个标签在所述第t组数据集的多标签概率值构建的任务间标签关系矩阵，Q
t
为基于朴素贝叶斯公式构建的所述标签集合C
t
和所述标签集合间的关系矩阵；将标签集合内各个标签的词向量和所述增广关系矩阵A
t
输入至所述第t个任务的GCN网络中，输出所述标签集合的多标签关系矩阵，其中，为完成所述第t个任务后所述多标签物体识别模型已学习过的标签集合；将所述图像特征矩阵与所述多标签关系矩阵输入至Sigmoid函数，输出所述标签集合内各个标签的多标签概率值；完成所述多标签数据集中M个标签的学习后，得到训练完成的目标多标签物体识别模型，利用所述目标多标签物体识别模型对待检测图像内的各个标签进行识别。2.如权利要求1所述的多标签物体识别方法，其特征在于，所述将第t组数据集输入至所述多标签物体识别模型的第t
‑
1个专家网络中，输出标签集合内各个标签在所述第t组数据集的多标签概率值包括：通过将所述第t
‑
1个任务的CNN网络参数保存至所述第t
‑
1个专家网络的CNN网络中，通过将所述第t
‑
1个任务的GCN网络参数保存至所述第t个专家网络的GCN网络中；将第t组数据集输入至所述第t
‑
1个专家网络中，输出所述标签集合内各个标签在所述第t组数据集的多标签概率值
其中，σ为Sigmoid函数，为所述标签集合中第i个标签的词向量。3.如权利要求2所述的多标签物体识别方法，其特征在于，所述构建所述第t个任务的增广关系矩阵A
t
包括：构建所述第t个任务的增广关系矩阵其中，所述任务内标签关系矩阵B
t
中元素中元素N
i&j
为标签i和标签j在所述第t组数据集中的共现次数，N
j
为标签j在所述第t组数据集中出现的次数；所述任务间标签关系矩阵R
t
中元素中元素∑p
′
i
为所述第t
‑
1个专家网络输出的标签i在所述第t组数据集中出现的概率值之和，y
j
为所述第t组数据集中标签j的硬标签；所述关系矩阵Q
t
中元素素4.如权利要求1所述的多标签物体识别方法，其特征在于，所述将所述图像特征矩阵与所述多标签关系矩阵输入至Sigmoid函数，输出所述标签集合内各个标签的多标签概率值包括：根据获取所述标签集合内各个标签的多标签...

【专利技术属性】
技术研发人员：胡伏原，杜凯乐，顾建明，过岱彦，李林燕，吕凡，赵柳清，陈昊，戴易桁，赵云杰，
申请(专利权)人：苏州市人民政府办公室苏州市信息中心苏州市电子政务中心，
类型：发明
国别省市：