本发明专利技术涉及图像识别技术领域，且公开了基于图循环注意力网络的行人方向分类方法，包括以下步骤：步骤一：构建部位图，将仅包含一个行人图片输入到主干网络中，在主干网络输出的特征图上构建身体部位图，记为G＝(V,E)；步骤二：输入编码器，将身体部位图G＝(V,E)输入到图循环编码器中，图循环编码器包含了邻接矩阵和门控循环单元，邻接矩阵采用固定值，在编码器中进行对各身体部位特征的编码；步骤三：输入特征图。本发明专利技术利用卷积神经网络来提取像素级特征，可以过滤掉部分冗余的特征，在卷积网络输出的超像素级特征图上构建一个身体部位图，可以降低图结构的复杂性并有利于在图上的特征学习。学习。学习。
【技术实现步骤摘要】
基于图循环注意力网络的行人方向分类方法
[0001]本专利技术涉及图像识别
，具体为基于图循环注意力网络的行人方向分类方法。
技术介绍
[0002]行人方向分类属于图像分类技术的一种，通常是对仅包含一个行人的图片进行处理，并对图片中的行人属于哪个方向做出分类，随着深度学习的不断发展，基于卷积神经网络的图像分类方法。但行人方向分类作为一个较新的领域，目前大多采用传统方法。然而随着数据量的增加，传统方法呈现出一定的局限性。此外，与其他图像分类不同，行人方向属于行人大类别下的一个小分类。而不同方向类别间的特征差异很小，这进一步增加了行人方向分类的难度。因此，将现有的图像分类模型应用到行人方向分类上效果不佳。所以，需要设计一种能够提取不同方向间更具辨别性特征的模型，从而实现行人方向的分类。
[0003]由于方向的辨别需要更多细节特征，而当前大多基于深度学习的方法将行人当作一个整体进行特征提取，但这种方式缺少有效的细节特征。因此，一些技术通过将行人分为头和身体两部分并分别进行特征提取，为辨别方向提供了更多的细节特征。然而，当方向类别较少时，这种特征足够，但是一般的提取细节特征进行行人方向分类方法准确率较低，从而提出基于图循环注意力网络的行人方向分类方法。
技术实现思路
[0004](一)解决的技术问题
[0005]针对现有技术的不足，本专利技术通过将行人划分为更多的身体部位，通过构建一个身体部位图建立了各部位之间的关系。利用图循环注意力网络在图上进行特征学习，可提取更具辨别性的细节特征，从而实现准确率更高的行人方向分类。
[0006](二)技术方案
[0007]为实现上述目的，本专利技术提供如下技术方案：
[0008]基于图循环注意力网络的行人方向分类方法，包括以下步骤：
[0009]步骤一：构建部位图，将仅包含一个行人图片输入到主干网络中，在主干网络输出的特征图上构建身体部位图，记为G＝(V,E)；
[0010]步骤二：输入编码器，将身体部位图G＝(V,E)输入到图循环编码器中，图循环编码器包含了邻接矩阵和门控循环单元，邻接矩阵采用固定值，在编码器中进行对各身体部位特征的编码；
[0011]步骤三：输入特征图，将编码器输出的特征图输入到图循环注意力解码器中，图循环注意力解码器中的邻接矩阵具有注意力边权重，解码器输出具有图节点特征的特征图；
[0012]步骤四：转换节点图，利用编码器和解码器将蕴含行人外观信息的特征图转换为了具有身体部位之间关系的节点图，在节点图上进行最终的行人方向分类，采用全连接层将3
×
2的特征图映射为相应方向类别数，得到最终的方向分类结果。
[0013]在前述方案的基础上，所述S1中将包含一个行人且背景占比较小的图片输入到VGG11构成的主干网络中用于提取行人的外观信息，主干网络输出一个3
×
2的特征图，在特征图上构建一个身体部位图，其具有6个节点，分别表示行人的头(分为左和右两部分)、上半身(分为左和右两部分)以及下半身(分为左和右两部分)。
[0014]作为本专利技术再进一步的方案，所述S2中图循环编码器中节点之间关系用一个固定值的邻接矩阵表示，如式(1)所示：
[0015][0016]进一步的，所述S2中节点的特征通过聚合它的每一个邻居节点获得，节点的状态更新遵循GRU的方式，聚合和节点状态更新遵循式(2)和式(3)：
[0017][0018][0019]其中t表示编码器循环的次数，表示节点v在上一个时间步的隐藏状态，表示Hadamard积，编码器的输出用C
v
表示，身体部位图共有6个节点，因此共有6个序列，分别用C1,C2,C3,C4,C5和C6表示。
[0020]在前述方案的基础上，所述S2中编码器的算法流程如下：
[0021]2.1、编码器循环两次：for i＝1to 2；
[0022]2.1.1、遍历每个主节点：for j＝1to 6；
[0023]2.1.1.1、根据式(1)聚合邻居节点特征用来表示主节点特征
[0024]2.1.1.2、根据式(2)进行主节点的特征信息更新得到
[0025]2.1.2、第j个主节点的特征更新结束；
[0026]2.2、编码器执行一次结束，返回2.1继续执行，直到循环结束。
[0027]作为本专利技术再进一步的方案，所述S3中图循环注意力解码器中节点之间关系用一个具有注意力边权重的邻接矩阵表示，该权重通过在训练过程中学习得到，节点的特征通过聚合它的每一个邻居节点获得，计算主节点与其邻居节点的相关度如式(4)所示：
[0028][0029]其中表示主节点上一时间步的隐藏状态，表示邻居节点上一时间步的隐
藏状态，w
T
、W
v'
和W
v
是可以学习的模型参数，对每个主节点与其邻居节点之间的相关度执行softmax，目的是为了求得每个邻居节点对主节点的贡献度，也即注意力权重，用表示，如式(5)：
[0030][0031]在聚合时根据为每个邻居节点分配的注意力边权重选择性的进行，聚合的方式如式(6)所示：
[0032][0033]解码器的算法流程如下：
[0034]3.1、解码器循环两次：for i＝1to 2；
[0035]3.1.1、遍历每个主节点：for j＝1to 6；
[0036]3.1.1.1、遍历每个主节点的邻居节点：for k＝1to 6；
[0037]3.1.1.1.1、根据式(4)计算主节点与邻居节点的相关度
[0038]3.1.1.2、第j个主节点与所有邻居节点的相关度计算结束；
[0039]3.1.1.3、根据式(5)计算每个邻居节点对主节点的权重系数
[0040]3.1.1.4、根据式(6)聚合邻居结点特征用来表示主节点特征
[0041]3.1.1.5、根据式(3)进行主节点的特征信息更新得到
[0042]3.1.2、第j个主节点的特征更新结束，循环进行第j+1个节点的特征更新；
[0043]3.2、解码器执行一次结束，返回3.1继续执行，直到循环结束。
[0044]进一步的，所述S4中将解码器输出的特征图映射为具体的行人方向类别数的概率分布，利用一个全连接层实现。预测方向与实际方向之间的误差采用交叉熵损失，如式(7)所示，模型的性能评价指标采用准确率，如式(8)所示：
[0045][0046][0047]其中y
(i)
和分别表示样本i的实际方向和预测方向，m表示方向的数量，TP
c
表示方向c被正确预测的数量，n表示样本总数。
[0048]在前述方案的基础上，所述S4中采用一些其他指标来衡量不同方向的分类精度，包括精确度(pre)和召回率(TPR)，分别如式(9)和(10)所示：
[0049][0050][0051]其中，T本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.基于图循环注意力网络的行人方向分类方法，包括以下步骤：步骤一：构建部位图，将仅包含一个行人图片输入到主干网络中，在主干网络输出的特征图上构建身体部位图，记为G＝(V,E)；步骤二：输入编码器，将身体部位图G＝(V,E)输入到图循环编码器中，图循环编码器包含了邻接矩阵和门控循环单元，邻接矩阵采用固定值，在编码器中进行对各身体部位特征的编码；步骤三：输入特征图，将编码器输出的特征图输入到图循环注意力解码器中，图循环注意力解码器中的邻接矩阵具有注意力边权重，解码器输出具有图节点特征的特征图；步骤四：转换节点图，利用编码器和解码器将蕴含行人外观信息的特征图转换为了具有身体部位之间关系的节点图，在节点图上进行最终的行人方向分类，采用全连接层将3
×
2的特征图映射为相应方向类别数，得到最终的方向分类结果。2.根据权利要求1所述的基于图循环注意力网络的行人方向分类方法，其特征在于，所述S1中将包含一个行人且背景占比较小的图片输入到VGG11构成的主干网络中用于提取行人的外观信息，主干网络输出一个3
×
2的特征图，在特征图上构建一个身体部位图，其具有6个节点，分别表示行人的头(分为左和右两部分)、上半身(分为左和右两部分)以及下半身(分为左和右两部分)。3.根据权利要求2所述的基于图循环注意力网络的行人方向分类方法，其特征在于，所述S2中图循环编码器中节点之间关系用一个固定值的邻接矩阵表示，如式(1)所示：4.根据权利要求3所述的基于图循环注意力网络的行人方向分类方法，其特征在于，所述S2中节点的特征通过聚合它的每一个邻居节点获得，节点的状态更新遵循GRU的方式，聚合和节点状态更新遵循式(2)和式(3)：合和节点状态更新遵循式(2)和式(3)：其中t表示编码器循环的次数，表示节点v在上一个时间步的隐藏状态，表示Hadamard积，编码器的输出用C
v
表示，身体部位图共有6个节点，因此共有6个序列，分别用C1,C2,C3,C4,C5和C6表示。
5.根据权利要求4所述的基于图循环注意力网络的行人方向分类方法，其特征在于，所述S2中编码器的算法流程如下：2.1、编码器循环两次：for i＝1 to 2；2.1.1、遍历每个主节点：for j＝1 to 6；2.1.1.1、根据式(1)聚合邻居节点特征用来表示主节点特征2.1.1.2、根据式(2)进行主节点的特征信息更新得到2.1.2、第j个主节点的特征更新结束；2.2、编码器执行一次结束，返回2.1继续执行，直到循环结束。6.根据权利要求1所述的基于图循环注意力网络的行人方向分类方法，其特征在于，所述S3中图循...
【专利技术属性】
技术研发人员：李啸，
申请(专利权)人：江苏苏云信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。