基于二维关键点的三维姿态分类方法以及相关装置制造方法及图纸

本申请适用于图像处理技术领域，提供了一种基于二维关键点的三维姿态分类方法以及相关装置，实现只需要一张目标物体的二维图像，就可以得到该物体的三维姿态分类。本申请的方法主要包括：通过预训练的深度学习网络在目标二维图像中获取二维关键点信息；根据所述二维关键点信息确定所述目标物体的关键点结构特征；通过所述关键点结构特征推测所述目标物体的三维姿态分类。的三维姿态分类。的三维姿态分类。

【技术实现步骤摘要】
基于二维关键点的三维姿态分类方法以及相关装置


[0001]本申请实施例属于图像处理
，尤其涉及一种基于二维关键点的三维姿态分类方法以及相关装置。

技术介绍

[0002]照相机或摄像机拍摄的二维图像会丢失深度(depth)方向的信息，导致使用计算机对二维图像处理时无法直接感知目标物体的三维姿态。然而，在安防监控领域、自动驾驶领域、智慧养老领域、航空及机场领域等行业领域，存在大量需要计算机识别二维图像中人、车辆、航空器等的三维姿态，甚至存在对物理空间姿态的识别需求，例如为走廊、隧道和道路的空间朝向等。为了使得计算机能结合照相机或摄像机直接感知目标物体的三维姿态，即计算机视觉能够准确感知目标物体三维姿态，目前业界已经有两种比较成熟的三维姿态估计方法。
[0003]直接估计法：通过端到端网络直接从图像中估计三维关键点，要求输入要带三维注释，这种方法约束少，但要求输入和训练集要带三维注释，直接估计法的应用对输入相机要求很高，成本高，且这种数据集很少且都是在受控环境下捕获，导致训练的模型往往不能应用于实际场景。
[0004]两阶段估计法：先获取目标物体二维关键点信息，然后把二维关键点信息序列输入后续网络，再“提升”到三维关键点，即输出三维姿态；这种二维关键点信息序列中要包含额外信息，例如三维注释，不同时间二维关键点，不同视角二维关键点等；而在基于人体姿态的应用中，还可以根据二维人体关键点信息输入人体参数模型，然后再投影得到二维关键点进行拟合的人体模型优化方法；总结两阶段估计方法都是先得到二维关键点信息序列，再得到三维关键点估计，这种方法准确率还不错，效果还比较好，对数据集要求较宽，应用范围较广，但第二阶段即从二维关键点提升到三维关键点，需要的数据量大，因而计算量大且比较慢。

技术实现思路

[0005]本申请实施例的目的在于提供一种基于二维关键点的三维姿态分类方法以及相关装置，实现了只需要一张目标物体的二维图像，就可以得到该物体的三维姿态分类，本申请实施例的学习和推理过程都无需目标物体的关键点三维坐标信息，相对于对比直接估计法和两阶段估计法，都需要得到关键点的三维坐标信息才能完成分类，本申请实施例完全节省需要获取关键点三维数据的计算量和成本，具有很好的经济性和实用性。
[0006]本申请第一方面提供了一种基于二维关键点的三维姿态分类方法，包括：
[0007]通过预训练的深度学习网络在目标二维图像中获取二维关键点信息；
[0008]根据所述二维关键点信息确定所述目标物体的关键点结构特征；
[0009]通过所述关键点结构特征推测所述目标物体的三维姿态分类。
[0010]可选的，所述二维关键点信息包括所述目标物体的二维关键点坐标；
[0011]根据所述二维关键点信息确定所述目标物体的关键点结构特征包括：
[0012]使用所述目标物体的二维关键点坐标之间的相对结构特征作为所述目标物体的关键点结构特征。
[0013]可选的，所述相对结构特征通过相对距离l
i
以及夹角a
i
表达为(a
i
,l
i
)，所述使用所述目标物体的二维关键点坐标之间的相对结构特征作为所述目标物体的关键点结构特征包括：
[0014]在所有二维关键点坐标中选取三个二维关键点坐标为一组，形成若干组由三个二维关键点坐标形成的二维关键定组合序列，其中每一组二维关键定组合序列的三个二维关键点坐标转换为所述目标物体的关键点结构特征包括：
[0015]确定所述二维关键定组合序列的三个二维关键点坐标(X
c
,Y
c
)，(X
m
,Y
m
)，(X
t
,Y
t
)；
[0016]将所述(X
c
,Y
c
)，所述(X
m
,Y
m
)，所述(X
t
,Y
t
)转化为(a
i
,l
i
)；
[0017]其中，
[0018]c2m_x＝X
c
‑
X
m
[0019]c2m_y＝Y
c
‑
Y
m
[0020]t2m_x＝X
t
‑
X
m
[0021]t2m_y＝Y
t
‑
Y
m
[0022]c2m_deg＝arctan(c2m_y/c2m_x)
[0023]t2m_deg＝arctan(t2m_y/t2m_x)
[0024][0025][0026]a
i
＝(t2m_deg
‑
c2m_deg)/D
[0027]l
i
＝L*t2m_leg/(t2m_leg+c2m_leg)
[0028]所述arctan表示反正切函数，所述D为大于0的正整数，所述L为大于0的正整数；
[0029]将所述(a
i
,l
i
)作为第一关键点结构特征；
[0030]将所述第一关键点结构特征视为所述关键点结构特征。
[0031]可选的，所述二维关键点信息包括所述目标物体的本体坐标，根据所述二维关键点信息确定所述目标物体的关键点结构特征包括：
[0032]使用所述目标物体的本体坐标的归一化结构特征作为所述目标物体的关键点结构特征；
[0033]所述使用所述目标物体的本体坐标的归一化结构特征作为所述目标物体的第二关键点结构特征包括：
[0034]根据预设规则从所述二维关键点坐标中确定基准点(X
z
,Y
z
)；
[0035]计算所有所述二维关键点坐标到所述基准点的平均距离；
[0036]将所述平均距离作为基准长度l
a
；
[0037]将所有二维关键点坐标(X
i
,Y
i
)转化为归一化矩阵(a
i
,l
i
)；
[0038]其中，
[0039][0040][0041]a
i
＝arctan((Y
i
‑
Y
z
)/(X
i
‑
X
z
))/D
[0042][0043]l
i
＝L*l
z
/(l
z
+l
a
)
[0044]所述arctan表示反正切函数，所述D为大于0的正整数，所述L为大于0的正整数；
[0045]将所述归一化矩阵(a
i
,l
i
)作为所述第二关键点结构特征；
[0046]将所述第二关键本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于二维关键点的三维姿态分类方法，其特征在于，包括：通过预训练的深度学习网络在目标二维图像中获取二维关键点信息；根据所述二维关键点信息确定所述目标物体的关键点结构特征；通过所述关键点结构特征推测所述目标物体的三维姿态分类。2.根据权利要求1所述的基于二维关键点的三维关键点姿态方法，其特征在于，所述二维关键点信息包括所述目标物体的二维关键点坐标；根据所述二维关键点信息确定所述目标物体的关键点结构特征包括：使用所述目标物体的二维关键点坐标之间的相对结构特征作为所述目标物体的关键点结构特征。3.根据权利要求2所述的基于二维关键点的三维姿态分类方法，其特征在于，所述相对结构特征通过相对距离l
i
以及夹角a
i
表达为(a
i
，l
i
)，所述使用所述目标物体的二维关键点坐标之间的相对结构特征作为所述目标物体的关键点结构特征包括：在所有二维关键点坐标中选取三个二维关键点坐标为一组，形成若干组由三个二维关键点坐标形成的二维关键定组合序列，其中每一组二维关键定组合序列的三个二维关键点坐标转换为所述目标物体的关键点结构特征包括：确定所述二维关键定组合序列的三个二维关键点坐标(X
o
，Y
o
)，(X
m
，Y
m
)，(X
i
，Y
i
)；将所述(X
c
，Y
c
)，所述(X
m
，Y
m
)，所述(X
t
，Y
t
)转化为(a
i
，l
i
)；其中，c2m_x＝X
c
‑
X
m
c2m_y＝Y
c
‑
Y
m
t2m_x＝X
t
‑
X
m
t2m_y＝Y
t
‑
Y
m
c2m_deg＝arctan(c2m_y/c2m_x)t2m_deg＝arctan(t2m_y/t2m_x)t2m_deg＝arctan(t2m_y/t2m_x)a
i
＝(t2m_deg
‑
c2m_deg)/Dl
i
＝L*t2m_leg/(t2m_leg+c2m_leg)所述arctan表示反正切函数，所述D为大于0的正整数，所述L为大于0的正整数；将所述(a
i
，l
i
)作为第一关键点结构特征；将所述第一关键点结构特征视为所述关键点结构特征。4.根据权利要求1所述的基于二维关键点的三维姿态分类方法，其特征在于，所述二维关键点信息包括所述目标物体的本体坐标，所述根据所述二维关键点信息确定所述目标物体的关键点结构特征包括：使用所述目标物体的本体坐标的归一化结构特征作为所述目标物体的第二关键点结构特征；所述使用所述目标物体的本体坐标的归一化结构特征作为所述目标物体的第二关键点结构特征包括：
根据预设规则从所述二维关键点坐标中确定基准点(X
z
，Y
z
)；计算所有所述二维关键点坐标到所述基...

【专利技术属性】
技术研发人员：谭品超，
申请(专利权)人：深圳市心象智能科技有限公司，
类型：发明
国别省市：