二维图形中目标三维关键点提取模型构建及姿态识别方法技术

本发明专利技术公开了一种二维图形中目标三维关键点提取模型构建及姿态识别方法，通过设计了三维关键点提取模型的网络结构，能够准确、直接输出目标三维关键点的坐标；通过设计的关键点损失函数，使网络利用无监督的方式自主学习提取具有语义一致性和几何一致性的关键点，提高了三维关键点提取的准确率。

【技术实现步骤摘要】
二维图形中目标三维关键点提取模型构建及姿态识别方法
本专利技术涉及目标三维姿态识别方法，具体涉及一种二维图形中目标三维关键点提取模型构建及姿态识别方法。
技术介绍
目标三维姿态识别是指识别目标物体的三维位置和方向，是诸多计算机视觉应用如增强现实、机器人控制以及无人驾驶任务中的关键模块。但是目标三维姿态识别的基础是需要对目标物体的三维关键点进行提取，在图像上找到物体的二维位置并且在物体上提取一些关键点比如物体3D边框在图像上的投影，这些方法通过利用大量的监督信息所以十分有效，但是在图像上标注三维信息的工作量巨大，并且要求极高的专业知识及复杂的准备工作，而且这类方法无法处理带有遮挡和复杂背景图像。另外即使获得了目标的三维关键点后也无法准确地识别到目标的三维姿态，因此现有技术中对二维图像中目标物体的三维姿态的获取方法存在姿态获取准确率不高，工作量大，导致的实时性不高且鲁棒性不高的问题。
技术实现思路
本专利技术的目的在于提供一种二维图形中目标三维关键点提取模型构建及姿态识别方法，用以解决现有技术中对二维图像中目标物体的三维关键点识别方法准确率不高，导致姿态识别准确率不高等问题。为了实现上述任务，本专利技术采用以下技术方案：一种二维图形中目标三维关键点提取模型构建方法，按照以下步骤执行：步骤1、获取多个包含待识别目标的二维图像组，所述的二维图像组中包括的两幅二维图像的区别在于图像采集角度不同；获得训练图像集；步骤2、将所述的训练图像集输入至神经网络中训练；<br>所述的神经网络包括特征提取子网络，所述的特征提取子网络分别与关键点提取子网络以及目标检测子网络连接；所述的特征提取子网络包括依次设置的特征图提取模块以及感兴趣区域提取模块；所述的目标检测子网络包括相互并联的目标分类模块以及包围盒检测模块；所述的关键点提取子网络包括串联的关键点概率获得模块以及关键点输出模块；所述的关键点概率获得模块用于获得每一个像素点是三维关键点的概率；所述的关键点输出模块利用式I获得每一个三维关键点的坐标：其中[xi,yi]表示第i个三维关键点的坐标，i＝1,2,…,I，I为正整数，Pi(u,v)表示关键点概率计算子网络输出的二维图像中第(u,v)个像素点是第i个三维关键点的概率，(u,v)为二维图像的坐标，u与v均为正整数；获得三维关键点提取模型。进一步地，所述的特征图提取模块包括依次设置的特征金字塔网络以及残差网络；所述的感兴趣区域提取模块包括区域生成网络。进一步地，所述的关键点概率获得模块包括依次串联的多个卷积块、上采样层以及softmax层；所述的卷积块包括依次连接的卷积层和ReLU激活层。进一步地，所述的三维关键点提取模型的损失函数L为：其中，表示所有负样本的分类损失函数之和，表示所有正样本的目标分类损失函数Lclass、包围盒检测损失函数Lbox以及关键点检测损失函数Lkeypoints之和，β、γ均大于0；所述的负样本为感兴趣区域提取模块提取出的感兴趣区域不包含目标的二维图像；所述的正样本为感兴趣区域提取模块提取出的感兴趣区域包含目标的二维图像；其中关键点检测损失函数其中Ldis为显著性损失函数，Ldep为深度预测损失函数，Lcon为三维一致性损失函数，Lsep为分离损失函数，Lpose为相对姿态估计损失函数，τ、ε、μ、均大于0。进一步地，所述的β，γ，τ，ε，μ，均为1，δ为0.08。一种二维图形中目标三维关键点提取方法，按照以下步骤执行：步骤A、采集包含待识别目标的二维图像，获得待识别图像；步骤B、将所述的待识别图像输入至二维图形中目标三维关键点提取模型构建方法构建出的三维关键点提取模型中，获得待识别目标的三维关键点集，所述的三维关键点集中包括Q个三维关键点，Q为正整数。一种二维图形中目标三维姿态识别方法，用于获得二维图像中目标的三维姿态矩阵，按照以下步骤执行：步骤I、获取包含待识别目标的二维图像，获得待识别图像；步骤II、采用权利要求6所述的二维图形中目标三维关键点提取方法获得待识别图像中待识别目标的三维关键点集；步骤III、计算待识别图像中待识别目标的三维关键点集与参考图像库中每个图像的三维关键点集之间的距离；所述的参考图像库包括多幅参考图像以及每幅参考图像的信息，每幅参考图像的信息包括对每幅参考图像采用权利要求6所述的二维图形中目标三维关键点提取方法获得每幅参考图像的三维关键点集以及每幅参考图像中目标的三维姿态矩阵；将距离最小的三维关键点集对应的图像作为对比图像，获得对比图像的三维关键点集以及对比图像中目标的三维姿态矩阵；步骤IV、将待识别目标的三维关键点集中每个三维关键点坐标减去待识别目标的三维关键点集质心的坐标后，获得新的待识别目标的三维关键点集；将对比图像的三维关键点集中每个三维关键点坐标减去对比图像的三维关键点集质心的坐标后，获得新的对比图像的三维关键点集；步骤V、利用奇异值分解法对进行分解，获得旋转矩阵R；其中，X'n为新的待识别目标的三维关键点集中第n个点的坐标，P′n为新的对比图像的三维关键点集中第n个点的坐标，NP为新的待识别目标的三维关键点集或新的对比图像的三维关键点集中三维关键点的总数；步骤VI、获得姿态矩阵T＝[R|t]，其中t＝μX-RμP，μX为新的待识别目标的三维关键点集的平均坐标，μP新的对比图像的三维关键点集的平均坐标；步骤VII、采用式III获得待识别图像中待识别目标的三维姿态矩阵Tinput：Tinput＝T·Tref式III其中Tref为对比图像中目标的三维姿态矩阵。本专利技术与现有技术相比具有以下技术效果：1、本专利技术提供的一种二维图形中目标三维关键点提取模型构建及提取方法，通过设计了三维关键点提取模型的网络结构，能够准确、直接输出目标三维关键点的坐标；通过设计的关键点损失函数，使网络利用无监督的方式自主学习提取具有语义一致性和几何一致性的关键点，提高了三维关键点提取的准确率；2、本专利技术提供的一种二维图形中目标三维关键点提取模型构建及提取方法，在网络训练阶段，不需要任何物体的三维模型或者在图像上进行三维标注，与现有方法相比可以极大地减少标注的工作量，提高了提取方法的效率；3、本专利技术提供的一种二维图形中目标三维姿态识别方法，该方法通过设置对比图像来建立三维空间坐标系，提升了识别的精度。附图说明图1为本专利技术提供的三维关键点提取模型内部结构图；图2为本专利技术的一个实施例中提供的关键点概率获得模块内部结构图；图3为本专利技术的一个实施例中提供的待识别图像；图4为本专利技术的一个实施例中提供的对图3所示的待识别图像进行三维关键点提取获得的三维关键点集的图像表示。具体实施方式下面结合附图和实施例对本专利技术进行详细说明。以便本领域本文档来自技高网...

【技术保护点】
1.一种二维图形中目标三维关键点提取模型构建方法，其特征在于，按照以下步骤执行：/n步骤1、获取多个包含待识别目标的二维图像组，所述的二维图像组中包括的两幅二维图像的区别在于图像采集角度不同；/n获得训练图像集；/n步骤2、将所述的训练图像集输入至神经网络中训练；/n所述的神经网络包括特征提取子网络，所述的特征提取子网络分别与关键点提取子网络以及目标检测子网络连接；/n所述的特征提取子网络包括依次设置的特征图提取模块以及感兴趣区域提取模块；/n所述的目标检测子网络包括相互并联的目标分类模块以及包围盒检测模块；/n所述的关键点提取子网络包括串联的关键点概率获得模块以及关键点输出模块；/n所述的关键点概率获得模块用于获得每一个像素点是三维关键点的概率；/n所述的关键点输出模块利用式I获得每一个三维关键点的坐标：/n

【技术特征摘要】
1.一种二维图形中目标三维关键点提取模型构建方法，其特征在于，按照以下步骤执行：
步骤1、获取多个包含待识别目标的二维图像组，所述的二维图像组中包括的两幅二维图像的区别在于图像采集角度不同；
获得训练图像集；
步骤2、将所述的训练图像集输入至神经网络中训练；
所述的神经网络包括特征提取子网络，所述的特征提取子网络分别与关键点提取子网络以及目标检测子网络连接；
所述的特征提取子网络包括依次设置的特征图提取模块以及感兴趣区域提取模块；
所述的目标检测子网络包括相互并联的目标分类模块以及包围盒检测模块；
所述的关键点提取子网络包括串联的关键点概率获得模块以及关键点输出模块；
所述的关键点概率获得模块用于获得每一个像素点是三维关键点的概率；
所述的关键点输出模块利用式I获得每一个三维关键点的坐标：



其中[xi,yi]表示第i个三维关键点的坐标，i＝1,2,…,I，I为正整数，Pi(u,v)表示关键点概率计算子网络输出的二维图像中第(u,v)个像素点是第i个三维关键点的概率，(u,v)为二维图像的坐标，u与v均为正整数；
获得三维关键点提取模型。


2.如权利要求1所述的二维图形中目标三维关键点提取模型构建方法，其特征在于，所述的特征图提取模块包括依次设置的特征金字塔网络以及残差网络；所述的感兴趣区域提取模块包括区域生成网络。


3.如权利要求1所述的二维图形中目标三维关键点提取模型构建方法，其特征在于，所述的关键点概率获得模块包括依次串联的多个卷积块、上采样层以及softmax层；
所述的卷积块包括依次连接的卷积层和ReLU激活层。


4.如权利要求1所述的二维图形中目标三维关键点提取模型构建方法，其特征在于，所述的三维关键点提取模型的损失函数L为：



其中，表示所有负样本的分类损失函数之和，表示所有正样本的目标分类损失函数Lclass、包围盒检测损失函数Lbox以及关键点检测损失函数Lkeypoints之和，β、γ均大于0；
所述的负样本为感兴趣区域提取模块提取出的感兴趣区域不包含目标的二维图像；所述的正样本为感兴趣区域提取模块提取出的感兴趣区域包含目标的二维图像；
其中关键点检测损失函数其中Ldis为显著性损失函数，Ldep为深度预测损失函数，Lcon为三维一致性损失函数，Lsep为分离损失函数，Lpose为相对姿态估计损失函数，τ、...

【专利技术属性】
技术研发人员：彭进业，张少博，赵万青，祝轩，李斌，张薇，乐明楠，李展，罗迒哉，王珺，
申请(专利权)人：西北大学，
类型：发明
国别省市：陕西;61