一种基于三维骨架信息和优化区域匹配的双流行人重识别方法技术

本发明专利技术提供了一种基于三维骨架信息和优化区域匹配的双流行人重识别方法，包括以下步骤：步骤1，使用三维骨架进行局部区域优化分割，提取局部特征；步骤2，使用孪生网络提取全局特征，充分利用标签信息；步骤3，将局部特征与全局特征进行融合，以保持人的完整性；步骤4，设计了一种用于度量学习的优化区域匹配方法。本发明专利技术提出了一种三维骨架和双流方法来实现人物Re

【技术实现步骤摘要】
一种基于三维骨架信息和优化区域匹配的双流行人重识别方法


[0001]本专利技术涉及行人重识别
，具体为一种基于三维骨架信息和优化区域匹配的双流行人重识别方法。

技术介绍

[0002]行人重识别(Re
‑
ID)是一些视频监控应用中的关键技术，如视频内容分析和多媒体检索，其目的是从非重叠摄像头中找到感兴趣的人。由于交叉摄像机技术的复杂性和差异性，Re
‑
ID不同于普通的图像检索。环境的变化是由不同的角度、颜色差异以及由于光照的变化而引起的人的姿势的变化引起的。此外，许多人的外表与其他人相似，因此难以区分。因此，Re
‑
ID是多摄像机监控领域的一项关键技术。个人身份识别在智能超市、智能安防和智能交通中起着至关重要的作用。通过使用城市摄像头获取人的图像信息，通过获取和学习人的特征来实现人的重新身份识别，构建智慧城市。
[0003]在视频监控中，由于视点不重叠、背景复杂、遮挡不可控，导致行人重识别(Re
‑
ID)是一项具有挑战性和艰巨性的任务。现有的获取行人局部区域信息的方法是将人的区域划分为水平条纹，这可能导致无效的特征和错误的学习。

技术实现思路

[0004]本专利技术的目的在于提供一种基于三维骨架信息和优化区域匹配的双流行人重识别方法，提出了一种结合人体三维骨架的最佳匹配方法来解决人体识别问题，改进鲁棒性特征并获得改进的质量等级。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种基于三维骨架信息和优化区域匹配的双流行人重识别方法，包括以下步骤：
[0006]步骤1，使用三维骨架进行局部区域优化分割，提取局部特征；
[0007]步骤2，使用孪生网络提取全局特征，充分利用标签信息；
[0008]步骤3，将局部特征与全局特征进行融合，以保持人的完整性；
[0009]步骤4，设计了一种用于度量学习的优化区域匹配方法。
[0010]进一步的，所述步骤1具体包括：
[0011]采用OpenPose提取人的骨架点，提取骨架后，任意骨架点可以表示为F＝(x
i
,y
i
),i∈(0,1,...,24)；
[0012]图像大小为W
×
H，在图像左上角建立笛卡尔坐标系；为绘制分界线并结合线段的交点形成几何图形，选取极值点，其描述为式(1):
[0013]S＝{x
max
+α，x
min
‑
α，y
min
‑
α}0≤x
i
≤W，O≤y
i
≤H
ꢀꢀꢀ
(1)
[0014]引入α参数来控制分割区域，避免行人出现在图像边缘；利用行人主体的语义属性进行语义划分，根据语义属性，将三维骨架应用于局部区域优化；机体S可智能划分为头部S1、上部S2、下部S3三个区域；为确保各区域之间的连通性和交叉性，必须满足方程(2):
[0015][0016]F
i
,i∈(1,2,3,4,5,6,7,8,9,12)表示区域2，R3＝F
i
,i∈(8,9,10,11,12,13,14,19,20,21,22,23,24)是与其余点组成的最后一个区域；在分割头部区域时，选取F1,F2和F5最小的坐标值F
m
，并将坐标作为区域1分割水平线；同时，为了得到头部区域S1，引入k来实现身体区域的重叠，并对125
×
256大小的图像实验设置k为4；然后重新定义区域S1为区域1和它下面的k长度的图像的组合；上半身区域和下半身区域以同样的方式分割；S2和S3分别代表上半身和下半身；同样的，区域s2可以被重新定义为区域2，其上k长度的图像和下k长度的图像的组合；区域S3同样可以由区域3和它上面的k长度的图像组成。
[0017]进一步的，所述步骤3具体包括：
[0018]以ResNet
‑
50作为提取局部特征的基本网络，三个分支共享权重；在ImageNet中对模型进行了预训练；通过在ResNet50网络中添加dropout层，对提取的特征进行映射，将原来的2048维特征转换为512维特征；采用修正后的线性单元层作为激活函数；该过程收敛后，引入SVDNet对全连接层进行奇异值分解SVD；防止权向量的关联度过高；引入权值矩阵的特征层奇异分解，对权值进行去相关和约束操作，如式(3)所示:
[0019][0020]式中W为权值矩阵，U和V为左右奇异值，即它们是单式矩阵；用特征向量代替权值，防止权值向量互相正交，损失不收敛；经过反复迭代，全连通层分类的效果得到了很大的提高；引入网络训练区域的三个部分，并提取三个区域对应的局部特征；结果得到2048维特征向量；图片大小调整为224
×
224；ResNet50网络的最后的卷积层被尺寸为1*1的卷积层取代，大大增加了网络层的非线性，提高网络的表达能力；此外，为了比较图像对的特征，引入正方形层，获得高维全局特征；
[0021]利用多特征融合的方法，首先得到两种模型下所有测试图像的等级分数，包括三个身体语义区域和一个全局区域；秩距离用L2距离计算；然后，将四种类型的得分按不同的权重进行汇总，权重由个人表现决定；这样可以充分利用各个部分的特征,有效分配相应的权重；
[0022]对于全局特征的提取，引用了连体网，充分利用了图像标签。
[0023]进一步的，所述步骤4具体包括：
[0024]为了减小内部距离，提出了一种优化区域匹配方法；全局属性距离与区域属性距离之和即为最终距离；全局距离就是L2距离；对于属性距离，将局部区域从上到下与body属性对齐；假设给出了两幅图像Q和G的三个局部特征；定义对应的局部特征如式(4):
[0025]F
Q
＝{q1，q2，q3}，F
G
＝{g1，g2，g3}
ꢀꢀꢀꢀ
(4)
[0026]利用骨架信息可以理解身体各个部位的语义属性；直观上看，具有相同语义属性的区域计算出的距离更准确，得到的权重也更高；不同语义属性之间的距离计算精度相对较低；将距离归一化如式(5)所示:
[0027][0028]其中d
i,j
对应区域之间的距离；为了避免每个距离相等，引入高斯核，为最近邻距离赋予新的权重，如公式(6):
[0029][0030]其中W
i,j
为对应区域之间的权值，这样可以将权值转换为软权值；同一对齐属性的语义区域赋予更多权重，不同语义属性的区域赋予更小的权重；
[0031]对于上半身相似的人来说，下半身的差异是区分两个人是否是同一个人的关键；对三个区域进行比较可以增强相似性距离的多样性和鲁棒性；考虑到初始距离的重要性，将全局距离和对齐属性距离作为最终距离来改进排序列表；考虑到融合局部特征后会引入噪声，在最终融合度量中加入偏置权本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维骨架信息和优化区域匹配的双流行人重识别方法，其特征在于：包括以下步骤：步骤1，使用三维骨架进行局部区域优化分割，提取局部特征；步骤2，使用孪生网络提取全局特征，充分利用标签信息；步骤3，将局部特征与全局特征进行融合，以保持人的完整性；步骤4，设计了一种用于度量学习的优化区域匹配方法。2.根据权利要求1所述的一种基于三维骨架信息和优化区域匹配的双流行人重识别方法，其特征在于：所述步骤1具体包括：采用OpenPose提取人的骨架点，提取骨架后，任意骨架点可以表示为F＝(x
i
,y
i
),i∈(0,1,...,24)；图像大小为W
×
H，在图像左上角建立笛卡尔坐标系；为绘制分界线并结合线段的交点形成几何图形，选取极值点，其描述为式(1):S＝{x
max
+α，x
min
‑
α，y
min
‑
α}0≤x
i
≤W，0≤y
i
≤H
ꢀꢀꢀꢀ
(1)引入α参数来控制分割区域，避免行人出现在图像边缘；利用行人主体的语义属性进行语义划分，根据语义属性，将三维骨架应用于局部区域优化；机体S可智能划分为头部S1、上部S2、下部S3三个区域；为确保各区域之间的连通性和交叉性，必须满足方程(2):F
i
,i∈(1,2,3,4,5,6,7,8,9,12)表示区域2，R3＝F
i
,i∈(8,9,10,11,12,13,14,19,20,21,22,23,24)是与其余点组成的最后一个区域；在分割头部区域时，选取F1,F2和F5最小的坐标值F
m
，并将坐标作为区域1分割水平线；同时，为了得到头部区域S1，引入k来实现身体区域的重叠，并对125
×
256大小的图像实验设置k为4；然后重新定义区域S1为区域1和它下面的k长度的图像的组合；上半身区域和下半身区域以同样的方式分割；S2和S3分别代表上半身和下半身；同样的，区域s2可以被重新定义为区域2，其上k长度的图像和下k长度的图像的组合；区域S3同样可以由区域3和它上面的k长度的图像组成。3.根据权利要求2所述的一种基于三维骨架信息和优化区域匹配的双流行人重识别方法，其特征在于：所述步骤3具体包括：以ResNet
‑
50作为提取局部特征的基本网络，三个分支共享权重；在ImageNet中对模型进行了预训练；通过在ResNet50网络中添加dropout层，对提取的特征进行映射，将原来的2048维特征转换为51...

【专利技术属性】
技术研发人员：韩清，闵卫东，汪琦，李龙飞，黄铁梅，
申请(专利权)人：南昌大学，
类型：发明
国别省市：