基于深度学习的单图像的人手动作与形状重建方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的单图像的人手动作与形状重建方法及装置，其中，该方法包括：通过相机采集包含人手的单视角RGB图片；利用区域检测深度学习算法对单视角RGB图片中的人手区域进行标记，并对单视角RGB图片进行切割提取人手区域作为子图片，对子图片进行归一化和翻转处理；将处理后的子图片输入预先训练好的人手检测神经网络，得到人手的姿态和形状参数；利用参数化人手模型和人手的姿态和形状参数重建出单视角RGB图片中的人手。该方法基于单视角的人手RGB图片，利用深度学习算法检测出人手的姿态参数和形状参数，并使用预先定义的人手三维模板来重建出人手。

A Method and Device for Manual Action and Shape Reconstruction Based on Deep Learning from Single Image

【技术实现步骤摘要】
基于深度学习的单图像的人手动作与形状重建方法及装置
本专利技术涉及计算机视觉
，特别涉及一种基于深度学习的单图像的人手动作与形状重建方法及装置。
技术介绍
人与外界进行物理交互主要依赖于人手，人手的姿态检测在计算机视觉、AR/VR人机交互、动作识别领域具有较大的应用。而人手又是人体最为灵活的器官，其具有动作速度快、姿态分布范围大、自遮挡严重等特征，导致人手的姿态检测十分困难，在计算机视觉领域是一个十分具有挑战性的课题。近些年来，随着摄像技术的发展，一些商用深度相机被开发出来，人们提出了一些基于深度的人手检测与重建技术，但是，深度相机造价高昂，适用范围小，难以扩展到室外的应用中。同时，也有一些学者提出了基于多视点的人手识别技术，但是，多视角技术需要搭建多相机系统，还需要进行复杂的同步和标定工作，难以应用到日常的生活中去。近些年来，人们对于人手的研究日益增多，一些学者们提出了更高级的人手模板，其中一些模型具有同时可以调节人手姿态和形状的特点，同时通过对大量人手数据的统计分析，对参数提取了PCA特征，使得该模板在使用较少参数的情况下能够得到较大的姿态和形状表示范围。同时近些年来对于深度学习算法研究的深入，使得从单张RGB图片得到三维人手姿态和形状成为可能。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于深度学习的单图像的人手动作与形状重建方法，该方法基于单视角的人手RGB图片，利用深度学习算法检测出人手的姿态参数和形状参数，并使用预先定义的人手三维模板来重建出人手。本专利技术的另一个目的在于提出一种基于深度学习的单图像的人手动作与形状重建装置。为达到上述目的，本专利技术一方面实施例提出了一种基于深度学习的单图像的人手动作与形状重建方法，包括：S1，通过相机采集包含人手的单视角RGB图片；S2，利用区域检测深度学习算法对所述单视角RGB图片中的人手区域进行标记，并对所述单视角RGB图片进行切割提取所述人手区域作为子图片，对所述子图片进行归一化和翻转处理；S3，将处理后的子图片输入预先训练好的人手检测神经网络，得到人手的姿态和形状参数；S4，利用参数化人手模型和所述人手的姿态和形状参数重建出所述单视角RGB图片中的人手。本专利技术实施例的基于深度学习的单图像的人手动作与形状重建方法，通过相机采集包含人手动作的RGB图像；使用区域检测深度学习算法识别人手在图片中的位置，并标记左右手，将手部区域(ROI)进行提取切割，并将左手区域做镜像翻转，统一转换为右手图片，得到一组主要内容是右手的子图片；利用采集的人手数据集训练深度神经网络，使其输出人手图片的姿态和形状；将提取的人手子图片输入训练好的神经网络，得到人手的姿态与形状参数；利用人手模型和驱动模板的相关参数，快速的重建出当前的人手。另外，根据本专利技术上述实施例的基于深度学习的单图像的人手动作与形状重建方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，在步骤S3之前还包括：获取人手数据集、所述参数化人手模型和对应的人手纹理贴图，其中，所述人手数据集为通过真实采集或渲染合成；利用所述参数化人手模型和对应的人手纹理贴图，渲染出人手的合成数据集，并利用风景图片贴上背景，得到预训练数据集；利用所述预训练数据集对所述人手检测神经网络进行预训练，以使所述人手检测神经网络输出的模型姿态和形状参数收敛到设定范围；根据所述人手数据集对预训练后的人手检测神经网络进行深度训练，以提高所述人手检测神经网络对数据的泛化能力。进一步地，在本专利技术的一个实施例中，所述S2还包括：对所述子图片进行图像处理，以消除对比度和亮度的差异。进一步地，在本专利技术的一个实施例中，所述对所述单视角RGB图片中的人手区域进行标记，包括：利用所述区域检测深度学习算法检测人手所在所述单视角RGB图片中的的位置区域，并判断左右手。进一步地，在本专利技术的一个实施例中，所述子图片包括左手子图片和右手子图片；所述翻转处理为：对所述子图片中的所述左手子图片进行镜像翻转得到右手子图片。为达到上述目的，本专利技术另一方面实施例提出了一种基于深度学习的单图像的人手动作与形状重建装置，包括：采集模块，用于通过相机采集包含人手的单视角RGB图片；处理模块，用于利用区域检测深度学习算法对所述单视角RGB图片中的人手区域进行标记，并对所述单视角RGB图片进行切割提取所述人手区域作为子图片，对所述子图片进行归一化和翻转处理；第一生成模块，用于将处理后的子图片输入预先训练好的人手检测神经网络，得到人手的姿态和形状参数；重建模块，用于利用参数化人手模型和所述人手的姿态和形状参数重建出所述单视角RGB图片中的人手。本专利技术实施例的基于深度学习的单图像的人手动作与形状重建装置，通过相机采集包含人手动作的RGB图像；使用区域检测深度学习算法识别人手在图片中的位置，并标记左右手，将手部区域(ROI)进行提取切割，并将左手区域做镜像翻转，统一转换为右手图片，得到一组主要内容是右手的子图片；利用采集的人手数据集训练深度神经网络，使其输出人手图片的姿态和形状；将提取的人手子图片输入训练好的神经网络，得到人手的姿态与形状参数；利用人手模型和驱动模板的相关参数，快速的重建出当前的人手。另外，根据本专利技术上述实施例的基于深度学习的单图像的人手动作与形状重建装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，还包括：获取模块，用于获取人手数据集、所述参数化人手模型和对应的人手纹理贴图，其中，所述人手数据集为通过真实采集或渲染合成；第二生成模块，用于利用所述参数化人手模型和对应的人手纹理贴图，渲染出人手的合成数据集，并利用风景图片贴上背景，得到预训练数据集；预训练模块，用于利用所述预训练数据集对所述人手检测神经网络进行预训练，以使所述人手检测神经网络输出的模型姿态和形状参数收敛到设定范围；训练模块，用于根据所述人手数据集对预训练后的人手检测神经网络进行深度训练，以提高所述人手检测神经网络对数据的泛化能力。进一步地，在本专利技术的一个实施例中，所述处理模块，还用于对所述子图片进行图像处理，以消除对比度和亮度的差异。进一步地，在本专利技术的一个实施例中，所述对所述单视角RGB图片中的人手区域进行标记，包括：利用所述区域检测深度学习算法检测人手所在所述单视角RGB图片中的位置区域，并判断左右手。进一步地，在本专利技术的一个实施例中，所述子图片包括左手子图片和右手子图片；所述翻转处理为：对所述子图片中的所述左手子图片进行镜像翻转得到右手子图片。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术一个实施例的基于深度学习的单图像的人手动作与形状重建方法流程图；图2为根据本专利技术一个实施例的基于深度学习的单图像的人手动作与形状重建装置结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能本文档来自技高网...

【技术保护点】
1.一种基于深度学习的单图像的人手动作与形状重建方法，其特征在于，包括以下步骤：S1，通过相机采集包含人手的单视角RGB图片；S2，利用区域检测深度学习算法对所述单视角RGB图片中的人手区域进行标记，并对所述单视角RGB图片进行切割提取所述人手区域作为子图片，对所述子图片进行归一化和翻转处理；S3，将处理后的子图片输入预先训练好的人手检测神经网络，得到人手的姿态和形状参数；S4，利用参数化人手模型和所述人手的姿态和形状参数重建出所述单视角RGB图片中的人手。

【技术特征摘要】
1.一种基于深度学习的单图像的人手动作与形状重建方法，其特征在于，包括以下步骤：S1，通过相机采集包含人手的单视角RGB图片；S2，利用区域检测深度学习算法对所述单视角RGB图片中的人手区域进行标记，并对所述单视角RGB图片进行切割提取所述人手区域作为子图片，对所述子图片进行归一化和翻转处理；S3，将处理后的子图片输入预先训练好的人手检测神经网络，得到人手的姿态和形状参数；S4，利用参数化人手模型和所述人手的姿态和形状参数重建出所述单视角RGB图片中的人手。2.根据权利要求1所述的方法，其特征在于，在步骤S3之前还包括：获取人手数据集、所述参数化人手模型和对应的人手纹理贴图，其中，所述人手数据集为通过真实采集或渲染合成；利用所述参数化人手模型和对应的人手纹理贴图，渲染出人手的合成数据集，并利用风景图片贴上背景，得到预训练数据集；利用所述预训练数据集对所述人手检测神经网络进行预训练，以使所述人手检测神经网络输出的模型姿态和形状参数收敛到设定范围；根据所述人手数据集对预训练后的人手检测神经网络进行深度训练，以提高所述人手检测神经网络对数据的泛化能力。3.根据权利要求1所述的方法，其特征在于，所述S2还包括：对所述子图片进行图像处理，以消除对比度和亮度的差异。4.根据权利要求1所述的方法，其特征在于，所述对所述单视角RGB图片中的人手区域进行标记，包括：利用所述区域检测深度学习算法检测人手所在所述单视角RGB图片中的位置区域，并判断左右手。5.根据权利要求1所述的方法，其特征在于，所述子图片包括左手子图片和右手子图片；所述翻转处理为：对所述子图片中的所述左手子图片进行镜像翻转得到右手子图片。6.一种单图像的人手动作与形状重建...

【专利技术属性】
技术研发人员：刘烨斌，李梦成，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11