一种基于多任务学习的人体点云骨架提取方法技术

本发明专利技术涉及一种基于多任务学习的人体点云骨架提取方法，属于计算机图形学领域。该方法包括：通过PointCNN和MLP得到歧义点云和非歧义点云，消除歧义点云，取非歧义点云作为感兴趣点云；将感兴趣点云输入到PointCNN，采用多任务学习预测点的偏移向量以及人体部位分割，结合预测的偏移向量以及部位得到预测的关节点集合；剔除关节点预测值集合中的低质量预测；对高质量预测点使用DBSCAN聚类方法，得到每个部位关节点坐标预测值；根据关节点的预测语义信息，将所有关节点连接为3D人体骨架；根据人体结构的先验知识，检查并修复3D人体骨架中的错误。本发明专利技术提高了三维人体骨架提取的准确率。确率。确率。

【技术实现步骤摘要】
一种基于多任务学习的人体点云骨架提取方法


[0001]本专利技术属于计算机图形学领域，涉及一种基于多任务学习的人体点云骨架提取方法。

技术介绍

[0002]随着信息技术的发展，三维几何模型已经成为了继音频、图像和视频之后的第四类数字媒体信息。相比前三种数字信息，三维模型能够真实的表达世界，且更加符合人类的认知，因此容易被接受，在工业界和学术界也越来越受到关注。很多基于二维设计的产品渐渐被基于三维模型设计的产品替代，尤其是在3D游戏产业方面，发展迅速，呈现爆炸式增长。随着三维数据扫描设备与计算机硬件软件的迅猛发展，现在越来越多的真实三维模型表达的数据形式多为点云数据，但原始点云中往往含有大量噪声，且占用大量存储空间，不适合直接使用。
[0003]近年来国内外已有许多专家学者针对点云骨架的提取进行了深入研究，目前已经有多种点云骨架提取算法，并且对点云缺失和噪声具有很好的鲁棒性，但是这些传统的骨架提取算法也存在着一些缺陷。例如，从点云数据中提取多模型的骨架这个问题一直难以突破。近年来，随着深度学习的飞速发展，基于深度学习的方法在图像识别、目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务学习的人体点云骨架提取方法，其特征在于，该方法具体包括以下步骤：S1：通过PointCNN网络提取3D人体点云每一个表面点云特征，然后通过多层感知机MLP对每个点进行二分类，得到歧义点云和非歧义点云，消除歧义点云，取非歧义点云作为感兴趣点云；S2：将感兴趣点云输入到PointCNN网络提取每一点特征，采用多任务学习的方式，同时预测点的偏移向量以及人体部位分割，结合预测的偏移向量以及部位得到预测的关节点集合；S3：计算点的密度作为一个点的质量度量，剔除关节点预测值集合中的低质量预测；S4：对筛选后的高质量的预测点使用DBSCAN聚类方法，得到每个部位关节点坐标预测值；S5：根据关节点的预测语义信息，将所有关节点连接为3D人体骨架；S6：根据人体结构的先验知识，检查并修复3D人体骨架中的错误。2.根据权利要求1所述的人体点云骨架提取方法，其特征在于，步骤S1中，消除歧义点云，具体包括：首先将归一化后的人体点云模型输入到第一阶段子网络，该子网络使用PointCNN中的x
‑
conv和x
‑
deconv算子学习每个表面点的128维特征；然后将128维特征输入到MLP，并使用softmax激活函数，得到每个点为歧义点的概率p，将概率p大于0.5的点标记为歧义点并将其剔除，得到感兴趣点云。3.根据权利要求1所述的人体点云骨架提取方法，其特征在于，步骤S2具体包括：多任务学习部位分割与偏移向量偏移，其中以感兴趣点云为第二阶段子网络的输入，该子网络使用PointCNN中的x
‑
conv和x
‑
deconv算子重新习得每个表面点的192维特征，将学习得到的192维特征用于两个方面：(1)用于人体部位分割，将192维特征输入MLP，并使用softmax激活函数，得到每个点属于每个关节部位的概率，将概率最大的对应的部位预测为该点所属的关节部位；(2)用于偏移向量预测，将192维特征输入多层感知机MLP，输出每个表面点到对应关节点的偏移向量预测值，将偏移向量分解为单位向量unit与模长length两个子任务进行学习，两者相乘得到偏移向量，然后将每个表面点沿着偏移向量预测值收缩，得到一个关节点位置预测值，最终将感兴趣点云转化为关节点预测值集合。4.根据权利要求3所述的人体点云骨架提取方法，其特征在于，步骤S2中，在偏移向量预测时，将偏移向量分解为单位向量unit与模长length两个子任务同时进行学习，并...

【专利技术属性】
技术研发人员：秦红星，刘启煌，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：