一种基于三维人体姿态估计方法及装置制造方法及图纸

本发明专利技术公开了一种基于三维人体姿态估计方法及装置，其中，该方法包括S1：运用单目相机采集人体不同角度的深度图像和RGB彩色图像；S2：基于RGB彩色图像构造出人体骨骼关键点检测神经网络，得到关键点标注图像；S3：构造手部关节节点2D‑3D映射网络；S4：标定人体相同角度的深度图像与关键点标注图像，进而对相应深度图像进行三维点云着色转换，得到着色深度图像；S5：基于关键点标注图像和着色深度图像，利用预设学习网络来预测标注的人体骨骼关键点在深度图像中对应的位置；S6：合并步骤S3和步骤S5的输出，实现对三维人体姿态估计的精细化估计。

【技术实现步骤摘要】
一种基于三维人体姿态估计方法及装置
本专利技术属于计算机视觉、图像处理、计算机图形学及深度学习应用领域，尤其涉及一种基于三维人体姿态估计方法及装置。
技术介绍
所谓人体姿态估计是指将抽象层次特征与人体模型进行匹配，从而得到不同时刻目标所处的姿态。人体姿态估计是人体运动捕捉的核心问题。人体的姿态表达包括两个方面，一是整个人体在世界坐标的位置和方向；二是身体各部分关节的角度及受关节角影响的皮肤变形。人体运动姿态估计的主要应用领域可以分为三大方向：监控、控制和分析：(1)在监控应用方面，一些传统的应用包括在机场或地铁中自动检测并定位行人、人数统计或人群流动、拥塞分析等。随着安全意识的提高，近年来出现了一些新型的应用——个人或人群的行为和动作的分析。比如在排队和购物中，检测不正常的行为或进行身份识别等。(2)在控制应用方面，人们利用运动估计结果或姿态参数来对目标进行控制。这在人机交互方面的应用最多。在娱乐产业如电影和游戏动画等，应用也越来越广。人们可以利用捕捉到的人的形状、外表和动作，来制作3D电影或重建游戏中的人的三维模型。(3)在分析应用方面，包括对外科病人的自动诊断、对运动员动作的分析本文档来自技高网...

【技术保护点】
1.一种基于三维人体姿态估计方法，其特征在于，包括：S1：运用单目相机采集人体不同角度的深度图像和RGB彩色图像；S2：基于RGB彩色图像构造出人体骨骼关键点检测神经网络，得到关键点标注图像；S3：基于对应的RGB彩色图像和关键点标注图像，构造手部关节节点2D‑3D映射网络；S4：标定人体相同角度的深度图像与关键点标注图像，进而对相应深度图像进行三维点云着色转换，得到着色深度图像；S5：基于关键点标注图像和着色深度图像，利用预设学习网络来预测标注的人体骨骼关键点在深度图像中对应的位置；S6：合并步骤S3和步骤S5的输出，实现对三维人体姿态估计的精细化估计。

【技术特征摘要】
1.一种基于三维人体姿态估计方法，其特征在于，包括：S1：运用单目相机采集人体不同角度的深度图像和RGB彩色图像；S2：基于RGB彩色图像构造出人体骨骼关键点检测神经网络，得到关键点标注图像；S3：基于对应的RGB彩色图像和关键点标注图像，构造手部关节节点2D-3D映射网络；S4：标定人体相同角度的深度图像与关键点标注图像，进而对相应深度图像进行三维点云着色转换，得到着色深度图像；S5：基于关键点标注图像和着色深度图像，利用预设学习网络来预测标注的人体骨骼关键点在深度图像中对应的位置；S6：合并步骤S3和步骤S5的输出，实现对三维人体姿态估计的精细化估计。2.如权利要求1所述的一种基于三维人体姿态估计方法，其特征在于，所述步骤S2中基于RGB彩色图像构造出人体骨骼关键点检测神经网络，具体包括：标注RGB彩色图像中的人体骨骼关键点，构建出数据集；将构建的数据集划分为训练集和测试集，并将训练集输入至预设人体骨骼关键点检测神经网络中进行训练；利用测试集来测试训练后的人体骨骼关键点检测神经网络，直至达到预设要求。3.如权利要求1所述的一种基于三维人体姿态估计方法，其特征在于，在所述步骤S3中，构造的手部关节节点2D-3D映射网络输出手部分割图像，手部关节节点2D-3D映射网络的结构为：(卷积层+ReLu激活层)+最大池化层+双线性上采样。4.如权利要求1所述的一种基于三维人体姿态估计方法，其特征在于，在所述步骤S4中，得到着色深度图像的步骤具体包括：利用棋盘法来标定人体相同角度的深度图像与关键点标注图像；匹配人体相同角度的关键点标注图像与深度图像；调整匹配后的深度图像大小并进行三维着色点云。5.如权利要求1所述的一种基于三维人体姿态估计方法，其特征在于，在所述步骤S5中，预设学习网络为U型强化学习网络。6.一种基于三维人体姿态估计装置，其特征在于，包括：图像采集单元，其运用单目相机采集人体不同角度的深度图...

【专利技术属性】
技术研发人员：吕蕾，张凯，张桂娟，刘弘，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东,37