一种基于多任务学习的人体点云骨架提取方法技术

本发明专利技术涉及一种基于多任务学习的人体点云骨架提取方法，属于计算机图形学领域。该方法包括：通过PointCNN和MLP得到歧义点云和非歧义点云，消除歧义点云，取非歧义点云作为感兴趣点云；将感兴趣点云输入到PointCNN，采用多任务学习预测点的偏移向量以及人体部位分割，结合预测的偏移向量以及部位得到预测的关节点集合；剔除关节点预测值集合中的低质量预测；对高质量预测点使用DBSCAN聚类方法，得到每个部位关节点坐标预测值；根据关节点的预测语义信息，将所有关节点连接为3D人体骨架；根据人体结构的先验知识，检查并修复3D人体骨架中的错误。本发明专利技术提高了三维人体骨架提取的准确率。确率。确率。

【技术实现步骤摘要】
一种基于多任务学习的人体点云骨架提取方法


[0001]本专利技术属于计算机图形学领域，涉及一种基于多任务学习的人体点云骨架提取方法。

技术介绍

[0002]随着信息技术的发展，三维几何模型已经成为了继音频、图像和视频之后的第四类数字媒体信息。相比前三种数字信息，三维模型能够真实的表达世界，且更加符合人类的认知，因此容易被接受，在工业界和学术界也越来越受到关注。很多基于二维设计的产品渐渐被基于三维模型设计的产品替代，尤其是在3D游戏产业方面，发展迅速，呈现爆炸式增长。随着三维数据扫描设备与计算机硬件软件的迅猛发展，现在越来越多的真实三维模型表达的数据形式多为点云数据，但原始点云中往往含有大量噪声，且占用大量存储空间，不适合直接使用。
[0003]近年来国内外已有许多专家学者针对点云骨架的提取进行了深入研究，目前已经有多种点云骨架提取算法，并且对点云缺失和噪声具有很好的鲁棒性，但是这些传统的骨架提取算法也存在着一些缺陷。例如，从点云数据中提取多模型的骨架这个问题一直难以突破。近年来，随着深度学习的飞速发展，基于深度学习的方法在图像识别、目标检测等领域取得惊人的进展，陆续出现了一些基于深度学习的姿态估计方法，能够从二维图像中提取多模型的骨架，但美中不足的是，这些方法的输入数据基本都是二维图像，很少有以三维点云数据作为输入数据的。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于多任务学习的人体点云骨架提取方法，解决现有点云骨架提取方法无法获取骨架点的语义信息，且提取的三维人体骨架中错误较多的问题。本专利技术能够从人体点云模型中提取较为精确且包含语义信息的三维人体骨架，提高了三维人体骨架提取的准确率。
[0005]为达到上述目的，本专利技术提供如下技术方案：
[0006]一种基于多任务学习的人体点云骨架提取方法，具体包括以下步骤：
[0007]S1：通过PointCNN网络提取3D人体点云每一个表面点云特征，然后通过多层感知机MLP对每个点进行二分类，得到歧义点云和非歧义点云，消除歧义点云，取非歧义点云作为感兴趣点云；
[0008]S2：将感兴趣点云输入到PointCNN网络提取每一点特征，采用多任务学习的方式，同时预测点的偏移向量以及人体部位分割，结合预测的偏移向量以及部位得到预测的关节点集合；
[0009]S3：计算点的密度作为一个点的质量度量，剔除关节点预测值集合中的低质量预测；
[0010]S4：对筛选后的高质量的预测点使用DBSCAN聚类方法，得到每个部位关节点坐标
预测值；
[0011]S5：根据关节点的预测语义信息，将所有关节点连接为3D人体骨架；
[0012]S6：根据人体结构的先验知识，检查并修复3D人体骨架中的错误。
[0013]进一步，步骤S1中，消除歧义点云，具体包括：首先将归一化后的人体点云模型输入到第一阶段子网络，该子网络使用PointCNN中的x
‑
conv和x
‑
deconv算子学习每个表面点的128维特征；然后将128维特征输入到MLP，并使用softmax激活函数，得到每个点为歧义点的概率p，将概率p大于0.5的点标记为歧义点并将其剔除，得到感兴趣点云。
[0014]进一步，步骤S2具体包括：多任务学习部位分割与偏移向量偏移，其中以感兴趣点云为第二阶段子网络的输入，该子网络使用PointCNN中的x
‑
conv和x
‑
deconv算子重新习得每个表面点的192维特征，将学习得到的192维特征用于两个方面：
[0015](1)用于人体部位分割，将192维特征输入MLP，并使用softmax激活函数，得到每个点属于每个关节部位的概率，将概率最大的对应的部位预测为该点所属的关节部位；
[0016](2)用于偏移向量预测，将192维特征输入多层感知机MLP，输出每个表面点到对应关节点的偏移向量预测值，该步骤将偏移向量分解为单位向量unit与模长length两个子任务进行学习，两者相乘得到偏移向量，然后将每个表面点沿着偏移向量预测值收缩，得到一个关节点位置预测值，最终将感兴趣点云转化为关节点预测值集合。
[0017]进一步，步骤S2中，在偏移向量预测时，将偏移向量分解为单位向量unit与模长length两个子任务同时进行学习，并采用自适应权重来对多任务损失进行优化，计算公式如下：
[0018]L
total
＝L
offset
+L
seg
ꢀꢀꢀ
(1)
[0019]其中，L
total
是总损失函数，L
offset
是偏移向量损失函数，L
seg
是部位分割损失函数；而L
offset
、L
seg
计算分别如下：
[0020][0021][0022]其中，σ1、σ2、σ3是权重参数，L
length
为模长损失函数，L
unit
为单位向量损失函数。公式(3)中，等式左边L
seg
为多任务优化后的部位分割损失函数，等式右边的L
seg
为原始未进行多任务优化的部位分割损失函数。
[0023]进一步，步骤S3中，剔除关节点预测值集合中的低质量预测，具体包括：对于步骤S2中的关节点预测值j
pre
，预测类别为A，即中每个点计算密度ρ
i
，ρ
i
是以点p
i
为球心r
i
为半径所包含的点数量与A类别的点数量的比例；计算出所有点的密度后进行降序，筛选出密度前60％作为A类别的高质量关节点云；对于人体部位的每一个部位类别都进行以上步骤，最终得到每个部位类别的高质量关节点云。
[0024]进一步，步骤S4中，对筛选后的每一个部位类别的高质量预测点使用DBSCAN聚类方法，得到每个部位关节点坐标预测值，具体方法为：如果某部位类别点云只聚成一簇，则直接取该簇的质心作为部位的关节点坐标预测值；如果聚簇数大于1时，取簇中点数量最多一簇的质心作为该部位类别的关节点坐标预测值，其余簇的质心作为候选关节点保存到该
部位类别的候选点列表中。
[0025]进一步，步骤S5具体包括：将关节点坐标预测值语义以及语义之间的连接关系进行连接，得到3D人体点云骨架。
[0026]进一步，步骤S6具体包括：根据人体结构的先验知识，通过增加三个约束条件来对骨架中的潜在错误进行检查和修正；其中，三个约束条件为：
[0027](1)对称肢体长度相同；
[0028](2)肢体长度应该在合适的范围内；
[0029](3)肢体与肢体角度是否在合适范围内。
[0030]由中轴关节向四肢延伸，依次检查四肢是否存在误差；对于上半身，从脖子关节开始检测；如果从脖子关节到左、右肩关节长度相同，长度在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务学习的人体点云骨架提取方法，其特征在于，该方法具体包括以下步骤：S1：通过PointCNN网络提取3D人体点云每一个表面点云特征，然后通过多层感知机MLP对每个点进行二分类，得到歧义点云和非歧义点云，消除歧义点云，取非歧义点云作为感兴趣点云；S2：将感兴趣点云输入到PointCNN网络提取每一点特征，采用多任务学习的方式，同时预测点的偏移向量以及人体部位分割，结合预测的偏移向量以及部位得到预测的关节点集合；S3：计算点的密度作为一个点的质量度量，剔除关节点预测值集合中的低质量预测；S4：对筛选后的高质量的预测点使用DBSCAN聚类方法，得到每个部位关节点坐标预测值；S5：根据关节点的预测语义信息，将所有关节点连接为3D人体骨架；S6：根据人体结构的先验知识，检查并修复3D人体骨架中的错误。2.根据权利要求1所述的人体点云骨架提取方法，其特征在于，步骤S1中，消除歧义点云，具体包括：首先将归一化后的人体点云模型输入到第一阶段子网络，该子网络使用PointCNN中的x
‑
conv和x
‑
deconv算子学习每个表面点的128维特征；然后将128维特征输入到MLP，并使用softmax激活函数，得到每个点为歧义点的概率p，将概率p大于0.5的点标记为歧义点并将其剔除，得到感兴趣点云。3.根据权利要求1所述的人体点云骨架提取方法，其特征在于，步骤S2具体包括：多任务学习部位分割与偏移向量偏移，其中以感兴趣点云为第二阶段子网络的输入，该子网络使用PointCNN中的x
‑
conv和x
‑
deconv算子重新习得每个表面点的192维特征，将学习得到的192维特征用于两个方面：(1)用于人体部位分割，将192维特征输入MLP，并使用softmax激活函数，得到每个点属于每个关节部位的概率，将概率最大的对应的部位预测为该点所属的关节部位；(2)用于偏移向量预测，将192维特征输入多层感知机MLP，输出每个表面点到对应关节点的偏移向量预测值，将偏移向量分解为单位向量unit与模长length两个子任务进行学习，两者相乘得到偏移向量，然后将每个表面点沿着偏移向量预测值收缩，得到一个关节点位置预测值，最终将感兴趣点云转化为关节点预测值集合。4.根据权利要求3所述的人体点云骨架提取方法，其特征在于，步骤S2中，在偏移向量预测时，将偏移向量分解为单位向量unit与模长length两个子任务同时进行学习，并...

【专利技术属性】
技术研发人员：秦红星，刘启煌，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：