【技术实现步骤摘要】
基于深度学习的单图像的人手动作与形状重建方法及装置
本专利技术涉及计算机视觉
，特别涉及一种基于深度学习的单图像的人手动作与形状重建方法及装置。
技术介绍
人与外界进行物理交互主要依赖于人手，人手的姿态检测在计算机视觉、AR/VR人机交互、动作识别领域具有较大的应用。而人手又是人体最为灵活的器官，其具有动作速度快、姿态分布范围大、自遮挡严重等特征，导致人手的姿态检测十分困难，在计算机视觉领域是一个十分具有挑战性的课题。近些年来，随着摄像技术的发展，一些商用深度相机被开发出来，人们提出了一些基于深度的人手检测与重建技术，但是，深度相机造价高昂，适用范围小，难以扩展到室外的应用中。同时，也有一些学者提出了基于多视点的人手识别技术，但是，多视角技术需要搭建多相机系统，还需要进行复杂的同步和标定工作，难以应用到日常的生活中去。近些年来，人们对于人手的研究日益增多，一些学者们提出了更高级的人手模板，其中一些模型具有同时可以调节人手姿态和形状的特点，同时通过对大量人手数据的统计分析，对参数提取了PCA特征，使得该模板在使用较少参数的情况下能够得到较大的姿态和形状表示范围...
【技术保护点】
1.一种基于深度学习的单图像的人手动作与形状重建方法，其特征在于，包括以下步骤：S1，通过相机采集包含人手的单视角RGB图片；S2，利用区域检测深度学习算法对所述单视角RGB图片中的人手区域进行标记，并对所述单视角RGB图片进行切割提取所述人手区域作为子图片，对所述子图片进行归一化和翻转处理；S3，将处理后的子图片输入预先训练好的人手检测神经网络，得到人手的姿态和形状参数；S4，利用参数化人手模型和所述人手的姿态和形状参数重建出所述单视角RGB图片中的人手。
【技术特征摘要】
1.一种基于深度学习的单图像的人手动作与形状重建方法，其特征在于，包括以下步骤：S1，通过相机采集包含人手的单视角RGB图片；S2，利用区域检测深度学习算法对所述单视角RGB图片中的人手区域进行标记，并对所述单视角RGB图片进行切割提取所述人手区域作为子图片，对所述子图片进行归一化和翻转处理；S3，将处理后的子图片输入预先训练好的人手检测神经网络，得到人手的姿态和形状参数；S4，利用参数化人手模型和所述人手的姿态和形状参数重建出所述单视角RGB图片中的人手。2.根据权利要求1所述的方法，其特征在于，在步骤S3之前还包括：获取人手数据集、所述参数化人手模型和对应的人手纹理贴图，其中，所述人手数据集为通过真实采集或渲染合成；利用所述参数化人手模型和对应的人手纹理贴图，渲染出人手的合成数据集，并利用风景图片贴上背景，得到预训练数据集；利用所述预训练数据集对所述人手检测神经网络进行预训练，以使所述人手检测神经网络输出的模型姿态和形状参数收敛到设定范围；根据所述人手数据集对预训练后的人手检测神经网络进行深度训练，以提高所述人手检测神经网络对数据的泛化能力。3.根据权利要求1所述的方法，其特征在于，所述S2还包括：对所述子图片进行图像处理，以消除对比度和亮度的差异。4.根据权利要求1所述的方法，其特征在于，所述对所述单视角RGB图片中的人手区域进行标记，包括：利用所述区域检测深度学习算法检测人手所在所述单视角RGB图片中的位置区域，并判断左右手。5.根据权利要求1所述的方法，其特征在于，所述子图片包括左手子图片和右手子图片；所述翻转处理为：对所述子图片中的所述左手子图片进行镜像翻转得到右手子图片。6.一种单图像的人手动作与形状重建...
【专利技术属性】
技术研发人员：刘烨斌，李梦成，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。