System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于门控图神经网络的对象重识别方法及电子设备技术_技高网

基于门控图神经网络的对象重识别方法及电子设备技术

技术编号:39983261 阅读:4 留言:0更新日期:2024-01-09 01:41
本申请公开了一种基于门控图神经网络的对象重识别方法及电子设备,该方法包括:对多个样本图像进行特征提取,以获取样本图像的特征信息;基于多个所述样本图像构建知识图;将知识图导入门控图神经网络,并将样本图像的特征信息输入门控图神经网络进行迭代训练;将待识别图像的特征信息输入训练完成的门控图神经网络,通过门控图神经网络基于知识图和权重,确定待识别图像中待识别对象与知识图中各节点所表示的类型之间的第一相似度,以对待识别图像中的待识别对象进行重识别。该方法能够实现在相似类别之间转移类别的原型表示,能够加快迭代训练的进度,即使用于训练的样本数量较少,也能够使门控图神经网络形成较高的准确率。

【技术实现步骤摘要】

本申请涉及图像识别,特别涉及一种基于门控图神经网络的对象重识别方法及电子设备


技术介绍

1、重识别技术主要基于计算机识别技术判断图像或者视频序列中是否存在特定目标对象,例如,行人重识别、车辆重识别、行李箱重识别或其他物体重识别,具有广泛的应用前景。以车辆重识别记录为例,车辆重识别技术在交通路口中可以用于车辆监控与跟踪,对连续的多个交通路口进行车辆重识别,也有助于分析车辆的通行路径与城市道路拥挤时段,进而为人们的出行提供前期规划、为城市交通提供管理规划,也能进一步完善城市的建设规划。

2、在车辆重识别领域中,通常都是直接采用卷积神经网络(cnn)的方法来提取其特征;或者,预先采用分割模型或正则化等方法把车辆分割为几个面,使用卷积神经网络提取每个面上的特征;亦或者,把提取的特征图分为全局特征和局部特征,用损失函数进行评估。

3、在实际识别的过程中,即使同一种车辆,在不同视角下,实例会存在较大的差异;不同的车辆,相同的颜色也会有着相似的外观;在光照、粉尘、遮挡环境中,也会在摄像头中呈现的车辆外观与原外观差异很大。然而,在实际路况拍摄的照片中大多只拍摄到车辆的一个或者几个面,不是车辆的全部外观。但是,在实际重识别任务中,所得到的待识别车辆信息可能是我们没有拍摄到的外观。模型训练样本出现不足的问题,会对我们识别的精度带来误差。

4、当前使用图网络结构进行重识别主要如要包括两种方法:(1)首先构建以全局区域和局部区域为节点,以两层关系为边的层次空间结构图,在度量学习的约束下,利用图卷积神经网络(gcn)模块学习判别结构特征,然后,将分类损失与度量学习损失相结合;(2)基于图签名方法:将人的详细描述(属性标签)和视觉特征聚合为一个图,图进行推理,并将此人签名图编码为更具代表性的特征。然而,以上两种方法都需要大量的样本进行训练,否则难以达到较高的准确率。


技术实现思路

1、有鉴于现有技术中存在的上述问题,本申请提供了一种基于门控图神经网络的对象重识别方法及电子设备,使其在样本数量较少的情况下,仍然能够形成较高的准确率。

2、为解决上述问题,本申请实施例采用的技术方案如下:

3、本申请实施例第一方面提供了一种基于门控图神经网络的对象重识别方法,包括:

4、对多个样本图像进行特征提取,以获取样本图像的特征信息;其中,多个样本图像分别包含不同类型的目标对象;

5、基于多个所述样本图像构建知识图;其中,所述知识图包括与所述样本图像一一对应的多个节点和连接在相邻所述节点之间的边,所述节点表示目标对象的类型,且所述节点具有相对应的权重和隐藏状态,所述边表示各所述节点之间的相关性;

6、将所述知识图导入门控图神经网络,并将样本图像的特征信息输入所述门控图神经网络进行迭代训练;且在每次迭代时,各所述节点基于所述相关性聚合相邻节点的前一次迭代的隐藏状态和自身的前一次迭代的隐藏状态,通过门控循环单元对自身的隐藏状态和权重进行更新;

7、将待识别图像的特征信息输入训练完成的所述门控图神经网络,通过所述门控图神经网络基于所述知识图和所述权重,确定所述待识别图像中待识别对象与所述知识图中各节点所表示的类型之间的第一相似度,以对所述待识别图像中的待识别对象进行重识别。

8、在一些实施例中,所述基于多个所述样本图像构建知识图,包括:

9、基于样本图像的特征信息初始化所述知识图中的各所述节点;

10、随机初始化各所述节点的权重,并将所述节点的初始的隐藏状态配置为与初始的权重相同。

11、在一些实施例中,所述将所述知识图导入门控图神经网络,并将样本图像的特征信息输入所述门控图神经网络进行迭代训练,包括:

12、将所述知识图导入门控图神经网络,并将样本图像的特征信息输入所述门控图神经网络,通过所述门控图神经网络确定所述样本图像与所述知识图中各节点所表示的类型之间的第二相似度;

13、基于所述第二相似度,确定各所述节点之间的矢量距离;其中,所述矢量距离表征各所述节点之间的相关性;

14、基于所述矢量距离,驱使各所述节点聚合相邻节点的前一次迭代的隐藏状态,对各所述节点自身的特征向量进行更新;

15、通过门控循环单元基于所述特征向量和各所述节点自身的前一次迭代的隐藏状态,对各所述节点自身的隐藏状态进行更新;

16、基于更新后的隐藏状态,对所述节点的权重进行更新。

17、在一些实施例中,所述将所述知识图导入门控图神经网络,并将样本图像的特征信息输入所述门控图神经网络进行迭代训练,还包括:

18、基于所述第二相似度和预先定义的损失函数,确定损失值;其中,所述损失值表征所述门控图神经网络的预测结果和真实结果之间的差异;

19、在所述损失值的变化量符合第一预设条件的情况下,确定所述门控图神经网络训练完成。

20、在一些实施例中,所述将所述待识别图像的特征信息输入训练完成的所述门控图神经网络,通过所述门控图神经网络基于所述知识图和所述权重,确定所述待识别图像中待识别对象与所述知识图中各节点所表示的类型之间的第一相似度,以对所述待识别图像中的待识别对象进行重识别,包括:

21、对所述待识别图像进行特征提取,以获取所述待识别图像的特征信息;

22、将所述待识别图像的特征信息输入训练完成的所述门控图神经网络,通过所述门控图神经网络基于所述知识图和所述权重,确定所述待识别图像中待识别对象与所述知识图中各节点所表示的类型之间的第一相似度;

23、在多个所述第一相似度中的一个大于第一阈值的情况下,确定所述待识别对象属于所述知识图中相应节点所表示的类型。

24、在一些实施例中,所述将所述待识别图像的特征信息输入训练完成的所述门控图神经网络,通过所述门控图神经网络基于所述知识图和所述权重,确定所述待识别图像中待识别对象与所述知识图中各节点所表示的类型之间的第一相似度,以对所述待识别图像中的待识别对象进行重识别,包括:

25、对所述待识别图像进行特征提取,以获取所述待识别图像的特征信息;

26、将多个所述待识别图像的特征信息分别输入训练完成的所述门控图神经网络,通过所述门控图神经网络基于所述知识图和所述权重输出各所述待识别图像的相似度矩阵;其中,所述相似度矩阵包括所述待识别图像中待识别对象与所述知识图中各节点所表示的类型之间的第一相似度;

27、确定多个所述相似度矩阵之间的第三相似度,且在所述第三相似度符合第二预设条件的情况下,确定多个所述待识别图像中的待识别对象为同类对象。

28、在一些实施例中,所述对多个样本图像进行特征提取,以获取样本图像的特征信息,包括:

29、对所述样本图像进行预处理;

30、通过特征提取器对预处理后的样本图像进行特征提取,以获取所述样本图像的特征图。

31、在一些实施例中,所本文档来自技高网...

【技术保护点】

1.一种基于门控图神经网络的对象重识别方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于多个所述样本图像构建知识图,包括:

3.根据权利要求2所述的方法,其特征在于,所述将所述知识图导入门控图神经网络,并将样本图像的特征信息输入所述门控图神经网络进行迭代训练,包括:

4.根据权利要求3所述的方法,其特征在于,所述将所述知识图导入门控图神经网络,并将样本图像的特征信息输入所述门控图神经网络进行迭代训练,还包括:

5.根据权利要求1所述的方法,其特征在于,所述将待识别图像的特征信息输入训练完成的所述门控图神经网络,通过所述门控图神经网络基于所述知识图和所述权重,确定所述待识别图像中待识别对象与所述知识图中各节点所表示的类型之间的第一相似度,以对所述待识别图像中的待识别对象进行重识别,包括:

6.根据权利要求1所述的方法,其特征在于,所述将待识别图像的特征信息输入训练完成的所述门控图神经网络,通过所述门控图神经网络基于所述知识图和所述权重,确定所述待识别图像中待识别对象与所述知识图中各节点所表示的类型之间的第一相似度,以对所述待识别图像中的待识别对象进行重识别,包括:

7.根据权利要求1所述的方法,其特征在于,所述对多个样本图像进行特征提取,以获取样本图像的特征信息,包括:

8.根据权利要求1所述的方法,其特征在于,所述基于多个所述样本图像构建知识图,包括:

9.一种电子设备,其特征在于,包括:

10.一种电子设备,其特征在于,至少包括存储器和处理器,所述存储器上存储有应用程序,所述处理器在执行所述存储器上的应用行程序时实现如权利要求1至8任一项所述的方法。

...

【技术特征摘要】

1.一种基于门控图神经网络的对象重识别方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于多个所述样本图像构建知识图,包括:

3.根据权利要求2所述的方法,其特征在于,所述将所述知识图导入门控图神经网络,并将样本图像的特征信息输入所述门控图神经网络进行迭代训练,包括:

4.根据权利要求3所述的方法,其特征在于,所述将所述知识图导入门控图神经网络,并将样本图像的特征信息输入所述门控图神经网络进行迭代训练,还包括:

5.根据权利要求1所述的方法,其特征在于,所述将待识别图像的特征信息输入训练完成的所述门控图神经网络,通过所述门控图神经网络基于所述知识图和所述权重,确定所述待识别图像中待识别对象与所述知识图中各节点所表示的类型之间的第一相似度,以对所述待识别图像中的待识别对象进行...

【专利技术属性】
技术研发人员:张新钰李志伟刘华平高鑫田驰
申请(专利权)人:丰田自动车株式会社
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1