本申请提出一种基于单目视觉的虚拟人生成方法：获取单目彩色图像；提取单目彩色图像的图像特征，并估计出人体躯干与四肢的姿态，完成对虚拟人物模型的躯干和肢体的重建；定位单目彩色图像中的手部位置信息，并截取单目彩色图像中的手部图像区域，提取手部图像区域的图像特征估计出手部旋转参数；定位单目彩色图像中的面部位置信息，并截取单目彩色图像中的面部图像区域，提取面部图像区域的图像特征估计出面部的形状参数与表情系数，生成人脸模型；利用手部旋转参数完成对手部的重建，并利用人脸模型替换三维人体模型的面部区域，完成对面部的重建，得到虚拟人物模型。由此，本申请提出了一种通过单目彩色图像实时生成虚拟人体模型的方法。体模型的方法。体模型的方法。
【技术实现步骤摘要】
一种基于单目视觉的虚拟人生成方法、装置
[0001]本申请涉及计算机视觉及计算机图形学
，尤其涉及一种基于单目视觉的虚拟人生成方法、装置及存储介质。
技术介绍
[0002]虚拟人的生成在虚拟现实及混合现实的领域有着非常广泛的应用。虚拟人的生成要求重建的结果与真实人类保持一致，并且需要包含很多的细节，因此需要对目标对象进行完整的动作捕捉，即同时重建身体躯干与肢体的大幅度活动、双手的手势运动、面部的表情变化。
[0003]但是，相关技术中，仅通过单目彩色图像进行三维虚拟人的生成时，由于缺少大量输入信息，因此具有较高的难度。
技术实现思路
[0004]本公开提出的基于单目视觉的虚拟人生成方法、装置及存储介质，以提供一种通过单目彩色图像生成虚拟人的方法。
[0005]本申请第一方面实施例提出一种基于单目视觉的虚拟人生成方法，包括：
[0006]获取单目彩色图像；
[0007]提取所述单目彩色图像的图像特征，并基于所述单目彩色图像的图像特征估计出人体躯干与四肢的姿态，以完成对虚拟人物模型的躯干和肢体的重建；
[0008]利用所述人体躯干与四肢的姿态的估计结果，分别定位所述单目彩色图像中的手部位置信息，并根据所述手部位置信息截取所述单目彩色图像中的手部图像区域，提取所述手部图像区域的图像特征，基于所述手部图像区域的图像特征，估计出手部旋转参数；
[0009]利用所述人体躯干与四肢的姿态的估计结果，定位所述单目彩色图像中面部位置信息，并根据所述面部位置信息截取所述单目彩色图像中的面部图像区域，提取所述面部图像区域的图像特征，基于所述面部图像区域的图像特征，估计出面部的形状参数与表情系数，以根据所述人脸的形状参数与表情系数生成人脸模型；
[0010]将所述手部旋转参数分别应用到对虚拟人物模型的躯干和肢体的重建后得到的三维人体模型，完成对手部的重建，并利用所述人脸模型替换所述三维人体模型的面部区域，完成对面部的重建，以得到虚拟人物模型。
[0011]本申请第二方面实施例提出一种基于单目视觉的虚拟人生成装置，包括：
[0012]获取模块，用于获取单目彩色图像；
[0013]第一估计模块，用于提取所述单目彩色图像的图像特征，并基于所述单目彩色图像的图像特征估计出人体躯干与四肢的姿态，以完成对虚拟人物模型的躯干和肢体的重建；
[0014]第二估计模块，用于利用所述人体躯干与四肢的姿态的估计结果，分别定位所述单目彩色图像中的手部位置信息，并根据所述手部位置信息截取所述单目彩色图像中的手
部图像区域，提取所述手部图像区域的图像特征，基于所述手部图像区域的图像特征，估计出手部旋转参数；
[0015]第三估计模块，用于利用所述人体躯干与四肢的姿态的估计结果，定位所述单目彩色图像中面部位置信息，并根据所述面部位置信息截取所述单目彩色图像中的面部图像区域，提取所述面部图像区域的图像特征，基于所述面部图像区域的图像特征，估计出面部的形状参数与表情系数，以根据所述人脸的形状参数与表情系数生成人脸模型；
[0016]重建模块，用于将所述手部旋转参数分别应用到对虚拟人物模型的躯干和肢体的重建后得到的三维人体模型，完成对手部的重建，并利用所述人脸模型替换所述三维人体模型的面部区域，完成对面部的重建，以得到虚拟人物模型
[0017]本申请第三方面实施例提出的非临时性计算机可读存储介质，其中，所述非临时性计算机可读存储介质存储有计算机程序；所述计算机程序被处理器执行时实现如上第一方面所示的方法。
[0018]本申请的实施例提供的技术方案至少带来以下有益效果：
[0019]本申请提出的基于单目视觉的虚拟人生成方法、装置及存储介质中，通过提取单目彩色图像的图像特征，估计出人体躯干与四肢的姿态，并完成对虚拟人物模型的躯干和四肢的重建，然后利用人体躯干与四肢的姿态的估计结果，定位双手和面部在单目彩色图像中的手部位置信息和面部位置信息，并截取单目彩色图像中手部图像区域和面部图像特征，同时提取手部图像区域和面部图像区域的图像特征，估计出手部旋转参数和面部的形状参数与表情系数，从而完成对手部和面部的重建，得到虚拟人物模型。由此，本申请提出了一种通过单目彩色图像实时生成虚拟人体模型的方法，同时可以将虚拟人体模型渲染到显示设备中供使用者观看，达到了更好的交互效果。
[0020]本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0021]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0022]图1为根据本申请一个实施例提供的基于单目视觉的虚拟人生成方法的流程示意图；
[0023]图2为根据本申请一个实施例提供的基于单目视觉的虚拟人生成装置的结构示意图。
具体实施方式
[0024]下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
[0025]下面参考附图描述本申请实施例的虚拟人生成方法及装置。
[0026]实施例一
[0027]图1为根据本申请一个实施例提供的基于单目视觉的虚拟人生成方法的流程示意
图，如图1所示，可以包括：
[0028]步骤101、获取单目彩色图像。
[0029]步骤102、提取单目彩色图像的图像特征，并基于单目彩色图像的图像特征估计出人体躯干与四肢的姿态，以完成对虚拟人物模型的躯干和肢体的重建。
[0030]其中，本申请利用深度残差网络处理获取到的单目彩色图像得到该单目彩色图像在高维空间内的图像特征，然后基于该图像特征使用卷积神经网络估计人体关键点的三维坐标，并使用全连接神经网络根据得到的人体关键点的三维坐标回归人体关节的旋转参数与人体的体型参数，再将该人体关节的旋转参数与人体的体型参数应用到预定义的参数化三维人体模型中，从而得到人体躯干与四肢的姿态，以完成对虚拟人物模型的躯干和肢体的重建。
[0031]以及，本申请中的深度残差网路、卷积神经网络、以及全连接网络均是使用已经公开的人体动作捕捉数据训练得到的。其中，该已经公开的人体动作捕捉数据是根据真实人类的运动采集得到的，隐含了人体运动的先验知识，由此，深度残差网路、卷积神经网络、以及全连接网络可以在训练的过程中学习到隐含的人体运动的先验知识，从而可以预判出人体的运动，使得到的虚拟人物更加真实。
[0032]步骤103、利用人体躯干与四肢的姿态的估计结果，分别定位单目彩色图像中的手部位置信息，并根据手部位置信息截取单目彩色图像中的手部图像区域，提取手部图像区域的图像特征，基于手部图像区域的图像特征，估计出手部旋转参数。
[0033]其中，本申请利用步骤102中人体躯干与四肢的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于单目视觉的虚拟人生成方法，其特征在于，包括以下步骤：获取单目彩色图像；提取所述单目彩色图像的图像特征，并基于所述单目彩色图像的图像特征估计出人体躯干与四肢的姿态，以完成对虚拟人物模型的躯干和肢体的重建；利用所述人体躯干与四肢的姿态的估计结果，分别定位所述单目彩色图像中的手部位置信息，并根据所述手部位置信息截取所述单目彩色图像中的手部图像区域，提取所述手部图像区域的图像特征，基于所述手部图像区域的图像特征，估计出手部旋转参数；利用所述人体躯干与四肢的姿态的估计结果，定位所述单目彩色图像中面部位置信息，并根据所述面部位置信息截取所述单目彩色图像中的面部图像区域，提取所述面部图像区域的图像特征，基于所述面部图像区域的图像特征，估计出面部的形状参数与表情系数，以根据所述人脸的形状参数与表情系数生成人脸模型；将所述手部旋转参数分别应用到对虚拟人物模型的躯干和肢体的重建后得到的三维人体模型，完成对手部的重建，并利用所述人脸模型替换所述三维人体模型的面部区域，完成对面部的重建，以得到虚拟人物模型。2.根据权利要求1所述的虚拟人生成方法，其特征在于，所述提取所述单目彩色图像的图像特征，并基于所述单目彩色图像的图像特征估计出人体躯干与四肢的姿态，以完成对虚拟人物模型的躯干和肢体的重建，包括：利用深度残差网络处理所述单目彩色图像，得到所述单目彩色图像在高维空间内的图像特征；基于所述图像特征使用卷积神经网络估计人体关键点的三维坐标，并使用全连接神经网络根据所述人体关键点的三维坐标回归人体关节的旋转参数与人体的体型参数；根据所述人体关节的旋转参数与所述人体的体型参数应用到预定义的参数化三维人体模型中，得到人体躯干与四肢的姿态，以完成对虚拟人物模型的躯干和肢体姿态的重建。3.根据权利要求2所述的虚拟人生成方法，其特征在于，所述深度残差网络、卷积神经网络、以及全连接网络均使用已经公开的人体动作捕捉数据训练得到。4.根据权利要求3所述的虚拟人生成方法，其特征在于，所述已经公开的人体动作捕捉数据中隐含了人体运动的先验知识，在训练网络的过程中被隐式地学习。5.一种基于单目视觉的虚拟人生成装置，其特征在于，包括：获取模块，用于获取单目彩色图像；第一估计模块，用于提取...
【专利技术属性】
技术研发人员：徐枫，周玉枭，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。