【技术实现步骤摘要】
本专利技术属于人工智能的视频图像处理领域。具体涉及一种在监控视频中识别指定人员的方法，适用于监控视频中人员目标的识别和跟踪。
技术介绍
1、随着智能视频监控系统的日益成熟，人工寻找视频中人员的方法，已经不再适用。基于行人重识别技术的智能监控系统，能在多个不重叠视角中搜索指定行人，实现了效率上的提高。实际应用中，相机视角固定，同一视角的图像包含相似的背景；而且，视频中出现的目标常常存在衣着相似的情况。无论是图像背景还是目标前景，视觉相似问题都给特征提取带来了困难。
2、目前基于深度学习的行人重识别技术使用的特征提取方法主要分为3种：基于语义特征的方法、基于局部特征的方法和基于注意机制特征的方法。基于语义特征的方法借助语义模块生成行人的骨架姿态图或语义分割图，从这些辅助信息中判断身体区域，再构建多个子特征以去除背景影响。这类方法依赖语义模型的准确率，目标身体被部分遮挡的情况下识别的准确率下降，并且会增加网络的构建成本。基于局部特征的方法将图像直接水平分割成多个子区域，提取子特征后再对齐。这类方法构建简单，但是会引入错误的背景信息。基于注意机制特征的方法引入加权参数，旨在抑制背景信息和增强辨识区域，能提高全局特征的有效性。但是，这类方法不能准确定位语义部分，也不能保证图像之间焦点区域的一致性。
技术实现思路
1、本专利技术的目的在于针对现有技术存在的上述问题，提出一种在监控视频中识别指定人员的方法，具体而言，提出了一个基于局部语义与图卷积的行人重识别网络，充分挖掘行人局部特征
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种在监控视频中识别指定人员的方法，包括以下步骤：
4、步骤1、获取用于训练的指定人员图像作为样本图像构成训练样本集；
5、步骤2、构建基于局部语义与图卷积的行人重识别网络，基于局部语义与图卷积的行人重识别网络包括主干网络、前景增强模块、语义单元自适应模块和结构化图卷积模块，
6、前景增强模块，用于提取输入图像的前景增强的全局特征图fg和前景区域；
7、语义单元自适应模块，基于前景增强的全局特征图fg和前景区域，提取前景特征ff和身体部位的局部语义特征fpart-i，
8、结构化图卷积模块，用于输入身体部位的局部语义特征fpart-i，并依次经过包含随机初始化的邻接矩阵m的隐藏层的gcn网络，不断地在节点之间传递特征，最终输出图结构特征fgraph；
9、步骤3、将样本图像输入到基于局部语义与图卷积的行人重识别网络，以最小化网络总损失函数为目标，优化基于局部语义与图卷积的行人重识别网络；
10、步骤4、将视频帧输入到训练完成的基于局部语义与图卷积的行人重识别网络，获取对应的前景增强的全局特征图fg、前景特征ff、身体部位的局部语义特征fpart-i和图结构特征fgraph，计算样本图像和视频帧的前景增强的全局特征图fg、前景特征ff、身体部位的局部语义特征fpart-i和图结构特征fgraph的相似度，按照相似度从高到低对各个视频帧进行排列。
11、如上所述主干网络提取输入的图像的主干网络特征图，
12、所述前景增强模块，用于将主干网络特征图被馈送进空间注意力层，空间注意力层输出前景注意力掩膜，前景注意力掩膜与主干网络特征图像素相乘，生成前景增强的全局特征图fg，基于前景增强的全局特征图fg生成用于二分类的前景增强全局特征图f1(x,y)，并对用于二分类的前景增强全局特征图f1(x,y)进行分类，提取前景区域。
13、如上所述用于二分类的前景增强全局特征图f1(x,y)基于以下公式获得：
14、
15、其中，fg(x,y)为像素点(x,y)处的前景增强的全局特征，fg(x′,y′)为像素点(x′,y′)处的前景增强的全局特征，||||2为l2范数，max表示取最大值。
16、如上所述身体部位的局部语义特征fpart-i基于以下步骤获取：
17、对前景区域内的前景增强的全局特征图fg进行l2归一化处理，得到用于多分类的特征f2(x,y)；
18、对多分类的特征f2(x,y)进行分类，获得k个行人身体部位的语义标签作为伪标签；
19、通过卷积操作将前景增强的全局特征图fg的通道数压缩为k+1维，对每个像素的k+1维特征进行softmax分类处理，生成k+1个概率图k+1个概率图包括背景区域的概率图和k个身体部位的局部语义区域的概率图将各个身体部位的局部语义区域的概率图与前景增强的全局特征图fg相乘，得到各个身体部位的局部语义特征fpart-i。
20、如上所述前景特征ff基于以下步骤获取：
21、将各个身体部位的局部语义区域的概率图按照像素对齐并进行相加，得到前景概率图
22、前景概率图与前景增强的全局特征图fg相乘，得到前景特征ff。
23、如上所述邻接矩阵m由每个无向边相关联的权重构成，e表示无向边的集合，v为输入节点集合，v＝(v1,v2,...,vk)＝(fpart-1,fpart-2,...,fpart-k)，无向边的集合e和节点集合v构成无向图g＝(v,e)，h(i+1)表示将输入节点集合v传递到第i个gcn层后的特征矩阵，gcn层将节点特征h(i)和相应的相关矩阵m作为输入，并转换为输入节点集合v传递到第i个gcn层后的特征矩阵h(i+1)：
24、
25、其中，leakyrelu是激活函数，θ(i)是第i层gcn层的可训练权重矩阵，是相关矩阵m的归一化矩阵，是相关矩阵m的归一化矩阵，h(1)＝v，
26、最后一层gcn层输出的特征矩阵h(k+1)即为图结构特征fgraph。
27、如上所述网络总损失l为：
28、l＝lg+lf+lpart+lgraph+αlparsing
29、其中，lg为前景增强的全局特征图的基础特征损失，lf为前景特征的基础特征损失，lpart为所有身体部位的局部语义特征的基础特征损失lpart-i的总和，lgraph为图结构特征的基础特征损失，lparsing为总的语义交叉熵损失，α为语义交叉熵损失的权值。
30、如上所述基础特征损失包括标签平滑的id分类损失、三元组损失和中心损失。
31、如上所述总的语义交叉熵损失lparsing基于以下公式：
32、
33、
34、其中，lparsing(x,y)为像素点(x,y)处的语义交叉熵损失，d为像素点(x,y)点通过语义单元自适应模块sam聚类生成的伪标签，qk是符号函数，pk为像素点属于第k种局部语义区域class_k的概率。
35、本专利技术相对于现有技术，具有以下有益效果：
本文档来自技高网...【技术保护点】
1.一种在监控视频中识别指定人员的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种在监控视频中识别指定人员的方法，其特征在于，所述主干网络提取输入的图像的主干网络特征图，
3.根据权利要求2所述的一种在监控视频中识别指定人员的方法，其特征在于，所述用于二分类的前景增强全局特征图F1(x,y)基于以下公式获得：
4.根据权利要求1所述的一种在监控视频中识别指定人员的方法，其特征在于，所述身体部位的局部语义特征Fpart-i基于以下步骤获取：
5.根据权利要求4所述的一种在监控视频中识别指定人员的方法，其特征在于，所述前景特征Ff基于以下步骤获取：
6.根据权利要求4所述的一种在监控视频中识别指定人员的方法，其特征在于，所述邻接矩阵M由每个无向边相关联的权重构成，E表示无向边的集合，V为输入节点集合，V＝(v1,v2,...,vK)＝(Fpart-1,Fpart-2,...,Fpart-K)，无向边的集合E和节点集合V构成无向图G＝(V,E)，H(i+1)表示将输入节点集合V传递到第i个GCN层后的特征矩阵，G
7.根据权利要求1所述的一种在监控视频中识别指定人员的方法，其特征在于，所述网络总损失L为：
8.根据权利要求7所述的一种在监控视频中识别指定人员的方法，其特征在于，所述基础特征损失包括标签平滑的ID分类损失、三元组损失和中心损失。
9.根据权利要求8所述的一种在监控视频中识别指定人员的方法，其特征在于，所述总的语义交叉熵损失Lparsing基于以下公式：
...【技术特征摘要】
1.一种在监控视频中识别指定人员的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种在监控视频中识别指定人员的方法，其特征在于，所述主干网络提取输入的图像的主干网络特征图，
3.根据权利要求2所述的一种在监控视频中识别指定人员的方法，其特征在于，所述用于二分类的前景增强全局特征图f1(x,y)基于以下公式获得：
4.根据权利要求1所述的一种在监控视频中识别指定人员的方法，其特征在于，所述身体部位的局部语义特征fpart-i基于以下步骤获取：
5.根据权利要求4所述的一种在监控视频中识别指定人员的方法，其特征在于，所述前景特征ff基于以下步骤获取：
6.根据权利要求4所述的一种在监控视频中识别指定人员的方法，其特征在于，所述邻接矩阵m由每个无向边相关联的权重构成，e表示无向边的...
【专利技术属性】
技术研发人员：王丽园，庄稼丰，马天奕，罗丰，李正军，杨晶，熊文磊，
申请(专利权)人：中交第二公路勘察设计研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。