一种基于2D-3D坐标匹配策略的行人检测与姿态估计方法技术

本发明专利技术涉及一种基于2D

【技术实现步骤摘要】
一种基于2D
‑
3D坐标匹配策略的行人检测与姿态估计方法


[0001]本专利技术涉及行人检测与姿态估计
，尤其是涉及一种基于2D
‑
3D坐标匹配策略的行人检测与姿态估计方法。

技术介绍

[0002]随着自动驾驶技术的发展，其自身安全性受到了越来越多的关注，与非自动驾驶汽车相比，自动驾驶车辆需要准确识别环境中的障碍物以避免发生碰撞。而在交通场景下，运动轨迹最为多变的就是行人，因此模型不仅需要能够检测到行人位置，还需要对其轨迹有一定的了解。
[0003]现有技术的行人检测与姿态估计方法多直接采用多目标跟踪的框架同时追踪视野内的行人和其他障碍物，而没有考虑行人自身的先验信息。许多先前的工作致力于基于模型的3D姿态估计方法使用参数化的SMPL人体模型参数作为输出目标，从而利用身体结构的先验统计信息。随着深度学习技术的进步，越来越多的研究关注基于学习的模型，使用深度学习网络来估计姿势和形状参数。但是在基于学习的多人姿态检测方法中存在2D
‑
3D关键点坐标变换问题，目前尚未完全得到解决，因此在传统的2D姿态估计中往往存在错匹配的情况。

技术实现思路

[0004]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于2D
‑
3D坐标匹配策略的行人检测与姿态估计方法，该专利技术能够矫正关键点坐标，进而缓解现有技术2D姿态估计中错匹配的问题，提高检测效率。
[0005]本专利技术的目的可以通过以下技术方案来实现：r/>[0006]本专利技术提供一种基于2D
‑
3D坐标匹配策略的行人检测与姿态估计方法，将包含多人的待检测图像作为输入图像，输入预先构建并训练的检测网络中，输出行人检测及2D人体姿态估计结果；
[0007]所述检测网络包括：
[0008]主干网络：用以接收输入图像，输出多个不同尺度的第一特征图；
[0009]信息恢复分支：用以将最小尺度的第一特征图进行多次上采样，进而生成多个不同尺度的第二特征图；
[0010]检测器：用以接收所有第一特征图并执行检测任务，输出单人检测框和单人关键点坐标；
[0011]2D预测分支：用以接收并根据信息恢复分支输出的所有第二特征图以及检测器输出的单人检测框，预测单人2D姿态，输出2D人体表征参数；
[0012]矫正优化模块：用以接收并根据检测器输出的单人关键点坐标，描述3D人体表征参数，进而得到人体3D各坐标点的相对关系，根据人体3D各坐标点的相对关系对2D预测分支输出的2D人体表征参数进行优化，输出最终的2D人体姿态坐标点。
[0013]优选地，所述2D预测分支从所述信息恢复分支输出的所有第二特征图中选取与检测器输出的单人检测框尺度匹配的第二特征图，并对该第二特征图进行裁剪，得到预测热图，进行单人2D姿态的预测；
[0014]所述2D预测分支预测单人2D姿态的过程具体为：
[0015]1a)对于预测热图，分别按UV两个方向累加求和，得到各关键点在UV方向上的坐标投票权重z；
[0016]2a)根据坐标投票权重z，计算归一化权重分布z
′
＝Softmax(z)；
[0017]3a)定义固定枚举序列E，计算归一化权重分布z
′
与固定枚举序列E的乘积，得到各关键点对应的投票值；
[0018]4a)根据投票值计算均值和方差，得到各关键点的预测UV坐标值以及其不确定度。
[0019]优选地，所述2D预测分支预测过程中的2D姿态损失函数为：
[0020][0021]式中，u
i
和v
i
分别代表第i个关键点的横、纵坐标的真值，c
i
代表第i个关键点预测值的不确定度，w代表正则项的权重，和分别代表第i个关键点的横、纵坐标预测值。
[0022]优选地，所述2D预测分支基于K
‑
Block结构构建，输出包括人体SMPL关键点的2D坐标预测值和关键点的2D坐标预测值的不确定度。
[0023]优选地，所述矫正优化模块基于SMPL模型和单人关键点坐标，描述3D人体表征参数，输出SMPL关键点的3D坐标预测值，根据SMPL关键点的3D坐标预测值对2D预测分支输出的人体SMPL关键点的2D坐标预测值进行优化，基于2D
‑
3D坐标匹配策略的优化方程为：
[0024][0025]式中(R
*
,t
*
)为满足最小化损失函数Loss的2D
‑
3D坐标匹配的最优旋转矩阵和平移向量，p
i
和q
i
为SMPL向量形式的对应坐标点，考虑到不确定度c
i
和权重w
i
负相关，以不确定度c
i
和权重w
i
分别为对角线元素建立对角线矩阵W和C，以W＝C
‑1代入可简化得：
[0026][0027]式中，满足SVD分解P
T
C
‑1Q＝U∑V
T
，两组对应的坐标点组成点集P＝{p1,p2,
…
,p
k
}和Q＝{q1,q2,
…
,q
k
}，(R，t)分别为一对欧式变换的旋转矩阵和平移向量，通过该变换后使得P和Q的误差最小，U、V为两个正交矩阵，满足P
T
C
‑1Q＝U∑V
T
。
[0028]优选地，进行基于2D
‑
3D坐标匹配策略的优化的过程为：
[0029]输入人体SMPL关键点的2D坐标预测值KPS
2D
、关键点的2D坐标预测值的不确定度C
2D
以及SMPL关键点的3D坐标预测值KPS
3D
；
[0030]1b)计算KPS
2D
的均值mean和方差var用于后续恢复2D点的坐标，假设KPS
2D
的z轴坐标均为0；
[0031]2b)对KPS
2D
和KPS
3D
进行归一化以对齐模型；
[0032]3b)计算KPS
2D
，C
2D
和KPS
3D
的外积S＝(KPS
2D
)(C
2D
)
‑1(KPS
3D
)；
[0033]4b)计算S的SVD分解S＝UΣV'，得到旋转矩阵R＝VU'；
[0034]5b)令R的行列式为1，即det(R)＝1，以确保R为旋转矩阵而非反射矩阵；
[0035]6b)根据mean和var计算KPS
3D
对应2D点的坐标；
[0036]7b)将变换后的z轴坐标赋给KPS
2D
；
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于2D
‑
3D坐标匹配策略的行人检测与姿态估计方法，其特征在于，将包含多人的待检测图像作为输入图像，输入预先构建并训练的检测网络中，输出行人检测及2D人体姿态估计结果；所述检测网络包括：主干网络：用以接收输入图像，输出多个不同尺度的第一特征图；信息恢复分支：用以将最小尺度的第一特征图进行多次上采样，进而生成多个不同尺度的第二特征图；检测器：用以接收所有第一特征图并执行检测任务，输出单人检测框和单人关键点坐标；2D预测分支：用以接收并根据信息恢复分支输出的所有第二特征图以及检测器输出的单人检测框，预测单人2D姿态，输出2D人体表征参数；矫正优化模块：用以接收并根据检测器输出的单人关键点坐标，描述3D人体表征参数，进而得到人体3D各坐标点的相对关系，根据人体3D各坐标点的相对关系对2D预测分支输出的2D人体表征参数进行优化，输出最终的2D人体姿态坐标点。2.根据权利要求1所述的一种基于2D
‑
3D坐标匹配策略的行人检测与姿态估计方法，其特征在于，所述2D预测分支从所述信息恢复分支输出的所有第二特征图中选取与检测器输出的单人检测框尺度匹配的第二特征图，并对该第二特征图进行裁剪，得到预测热图，进行单人2D姿态的预测；所述2D预测分支预测单人2D姿态的过程具体为：1a)对于预测热图，分别按UV两个方向累加求和，得到各关键点在UV方向上的坐标投票权重z；2a)根据坐标投票权重z，计算归一化权重分布z
′
＝Softmax(z)；3a)定义固定枚举序列E，计算归一化权重分布z
′
与固定枚举序列E的乘积，得到各关键点对应的投票值；4a)根据投票值计算均值和方差，得到各关键点的预测UV坐标值以及其不确定度。3.根据权利要求2所述的一种基于2D
‑
3D坐标匹配策略的行人检测与姿态估计方法，其特征在于，所述2D预测分支预测过程中的2D姿态损失函数为：式中，u
i
和v
i
分别代表第i个关键点的横、纵坐标的真值，c
i
代表第i个关键点预测值的不确定度，w代表正则项的权重，和分别代表第i个关键点的横、纵坐标预测值。4.根据权利要求2所述的一种基于2D
‑
3D坐标匹配策略的行人检测与姿态估计方法，其特征在于，所述2D预测分支基于K
‑
Block结构构建，输出包括人体SMPL关键点的2D坐标预测值和关键点的2D坐标预测值的不确定度。5.根据权利要求4所述的一种基于2D
‑
3D坐标匹配策略的行人检测与姿态估计方法，其特征在于，所述矫正优化模块基于SMPL模型和单人关键点坐标，描述3D人体表征参数，输出SMPL关键点的3D坐标预测值，根据SMPL关键点的3D坐标预测值对2D预测分支输出的人体SMPL关键点的2D坐标预测值进行优化，基于2D
‑
3D坐标匹配策略的优化方程为：
式中(R
*
，t
*
)为满足最小化损失函数Loss的2D
‑
3D坐标匹配的最优旋转矩阵和平移向量，p
i
和q
i
为SMPL向量形式的对应坐标点，考虑到不确定度c
i
和权重w
i
负相关，以不确定度c
i
...

【专利技术属性】
技术研发人员：田炜，高众，艾文瑾，
申请(专利权)人：同济大学，
类型：发明
国别省市：