基于单帧RGBD图像的实时三维人体重建方法及系统技术方案

本发明专利技术公开了一种基于单帧RGBD图像的实时三维人体重建方法及系统，其中，方法包括：将渲染后的数据集作为训练训练数据，并训练得到负责正面深度图优化的G

【技术实现步骤摘要】
基于单帧RGBD图像的实时三维人体重建方法及系统
本专利技术涉及计算机视觉中的三维重建
，特别涉及一种基于单帧RGBD图像的实时三维人体重建方法及系统。
技术介绍
基于图像的三维物体重建是计算机视觉领域中一个具有悠久历史的热门研究课题。在基于图像的三维重建任务中，三维人体重建因其在图像和视频编辑、电影和游戏产业、VR和AR内容传作等方面的应用而受到研究界的广泛关注。最近的进展表明，基于深度学习的技术对于这项具有挑战性的任务有较强的处理能力。同时，与需要多视点或多帧输入的方法相比，单图像方法由于信息量不足(只能看到单面信息)和单图像固有的歧义性，往往无法产生真实、准确的结果。此外，在现实世界中，用户总是使用近景相机进行自拍，而大多数以前的方法为了简化方法都假设用户使用了弱透视相机，这是很不合理的。因此，在应用于真实图像时，利用以前的方法产生的三维人体模型容易在图像边界区域发生失真。另一方面，最近许多应用都利用了能够得到物体距离像平面距离的深度相机，特别是在三维动态场景和物体重建的相关任务中。利用深度图像，可以直接计算出每个像素点的三维坐标，从而解决单目彩色图像输入的深度歧义问题。然而，为了得到一个完整的模型，传统的基于单深度相机的重建方法往往需要多帧信息和繁琐的采集过程。此外，在基于融合的方法中，被采集物体往往要在整个序列中保持固定的几何拓扑结构，这限制了它们在实时场景中的应用。此外，在基于跟踪的框架中，快速运动通常会导致系统的崩溃。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于单帧RGBD图像的实时三维人体重建方法，该方法利用深度相机采集的RGBD图片，从而可以精细且快速地进行人体的三维重建。本专利技术的另一个目的在于提出一种基于单帧RGBD图像的实时三维人体重建系统。为达到上述目的，本专利技术一方面实施例提出了一种基于单帧RGBD图像的实时三维人体重建方法，包括以下步骤：利用采集到的三维人体模型渲染包含RGBD图像的数据集；将所述数据集为训练训练数据，利用U-Net深度卷积神经网络结构和生成对抗网络结构得到负责正面深度图优化的Gdf网络、正面彩色图像去光照的Gcf网络、预测背面深度图的Gdb网络和预测背面彩色图像的Gcd网络；采集当前RGBD图像，并将所述当前RGBD图像转换到正交视角下以输入到所述Gdf网络和所述Gcf网络中，得到优化和去光照后的正面RGBD图像，将所述正面RGBD图像输入到所述Gdb网络和所述Gcb网络中，得到预测后的背面RGBD图像，并利用所述正面RGBD图像和所述背面RGBD图像将像素点投影到三维空间中得到带颜色的三维点集，并且将所述带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型。本专利技术实施例的基于单帧RGBD图像的实时三维人体重建方法，利用深度相机，可以更加便捷地对现实场景中的人体进行的三维重建，且正交投影下的图像有效保证了最终三维重建结果的完整性，单帧处理也使得可以简化采集过程，并维护不同的拓扑结构。另外，根据本专利技术上述实施例的基于单帧RGBD图像的实时三维人体重建方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述利用采集到的三维人体模型渲染包含RGBD图像的数据集，包括：加入随机光照的同时，模拟深度相机噪声，并同时渲染出透视投影下的RGBD输入图像和正交投影下的RGBD真值图像。进一步地，在本专利技术的一个实施例中，所述将所述数据集为训练训练数据，利用U-Net深度卷积神经网络结构和生成对抗网络结构得到负责正面深度图优化的Gdf网络、正面彩色图像去光照的Gcf网络、预测背面深度图的Gdb网络和预测背面彩色图像的Gcd网络，包括：所述Gcf网络、所述Gdf网络、所述Gdb网络和所述Gcb网络采用预设适合进行图像到图像变换的卷积神经网络结构U-Net；所述Gdf网络、所述Gdb网络和所述Gcb网络利用GAN结构增强神经网络的优化和预测能力，其中，所述Gdf网络、所述Gdb网络对应的判别器Fdf、判别器Fdb均以由深度图得到的法向图作为输入，而与所述Gcb网络对应的判别器Fcb则以输出的背面彩色图像作为输入；所述Gcf网络中引入从正面深度图中的光照球谐函数分量，以去除光照。进一步地，在本专利技术的一个实施例中，所述采集当前RGBD图像，并将所述当前RGBD图像转换到正交视角下以输入到所述Gdf网络和所述Gcf网络中，得到优化和去光照后的正面RGBD图像，将所述正面RGBD图像输入到所述Gdb网络和所述Gcb网络中，得到预测后的背面RGBD图像，并利用所述正面RGBD图像和所述背面RGBD图像将像素点投影到三维空间中得到带颜色的三维点集，并且将所述带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型，包括：将所述正交投影下的当前RGBD图像为输入，利用预先训练过的所述Gdf网络得到补全和去噪后的正面深度图，同时利用预先训练过的所述Gcf网络得到去光照后的正面彩色图；将述优化后的正面RGBD图像为输入，利用预先训练过的所述Gdb网络和Gcb网络分别得到预测出的背面深度图和背面彩色图；利用所述正面RGBD图像和所述背面RGBD图像，将像素点投影到三维空间中，得到带颜色的三维点云；利用所述三维点云在原始二维图像中的邻接关系，将相邻三维点连接成三角面片，得到所述三维人体模型。为达到上述目的，本专利技术另一方面实施例提出了一种基于单帧RGBD图像的实时三维人体重建系统，包括：渲染模块，用于利用采集到的三维人体模型渲染包含RGBD图像的数据集；训练模块，用于将所述数据集为训练训练数据，利用U-Net深度卷积神经网络结构和生成对抗网络结构得到负责正面深度图优化的Gdf网络、正面彩色图像去光照的Gcf网络、预测背面深度图的Gdb网络和预测背面彩色图像的Gcd网络；测试模块，用于采集当前RGBD图像，并将所述当前RGBD图像转换到正交视角下以输入到所述Gdf网络和所述Gcf网络中，得到优化和去光照后的正面RGBD图像，将所述正面RGBD图像输入到所述Gdb网络和所述Gcb网络中，得到预测后的背面RGBD图像，并利用所述正面RGBD图像和所述背面RGBD图像将像素点投影到三维空间中得到带颜色的三维点集，并且将所述带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型。本专利技术实施例的基于单帧RGBD图像的实时三维人体重建系统，利用深度相机，可以更加便捷地对现实场景中的人体进行的三维重建，且正交投影下的图像有效保证了最终三维重建结果的完整性，单帧处理也使得可以简化采集过程，并维护不同的拓扑结构。另外，根据本专利技术上述实施例的基于单帧RGBD图像的实时三维人体重建系统还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述渲染模块进一步用于加入随机光照的同时，模拟深度相机噪声，并同时渲染出透视投影下的RGBD输入图像和正交投影下的RGBD真值图像。进一步地，在本专利技术的一个实施例中，所述训练模块具体包括：所述Gcf网本文档来自技高网...

【技术保护点】
1.一种基于单帧RGBD图像的实时三维人体重建方法，其特征在于，包括以下步骤：/n利用采集到的三维人体模型渲染包含RGBD图像的数据集；/n将所述数据集为训练训练数据，利用U-Net深度卷积神经网络结构和生成对抗网络结构得到负责正面深度图优化的G

【技术特征摘要】
1.一种基于单帧RGBD图像的实时三维人体重建方法，其特征在于，包括以下步骤：
利用采集到的三维人体模型渲染包含RGBD图像的数据集；
将所述数据集为训练训练数据，利用U-Net深度卷积神经网络结构和生成对抗网络结构得到负责正面深度图优化的Gdf网络、正面彩色图像去光照的Gcf网络、预测背面深度图的Gdb网络和预测背面彩色图像的Gcd网络；
采集当前RGBD图像，并将所述当前RGBD图像转换到正交视角下以输入到所述Gdf网络和所述Gcf网络中，得到优化和去光照后的正面RGBD图像，将所述正面RGBD图像输入到所述Gdb网络和所述Gcb网络中，得到预测后的背面RGBD图像，并利用所述正面RGBD图像和所述背面RGBD图像将像素点投影到三维空间中得到带颜色的三维点集，并且将所述带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型。


2.根据权利要求1所述的方法，其特征在于，所述利用采集到的三维人体模型渲染包含RGBD图像的数据集，包括：
加入随机光照的同时，模拟深度相机噪声，并同时渲染出透视投影下的RGBD输入图像和正交投影下的RGBD真值图像。


3.根据权利要求1所述的方法，其特征在于，所述将所述数据集为训练训练数据，利用U-Net深度卷积神经网络结构和生成对抗网络结构得到负责正面深度图优化的Gdf网络、正面彩色图像去光照的Gcf网络、预测背面深度图的Gdb网络和预测背面彩色图像的Gcd网络，包括：
所述Gcf网络、所述Gdf网络、所述Gdb网络和所述Gcb网络采用预设适合进行图像到图像变换的卷积神经网络结构U-Net；
所述Gdf网络、所述Gdb网络和所述Gcb网络利用GAN结构增强神经网络的优化和预测能力，其中，所述Gdf网络、所述Gdb网络对应的判别器Fdf、判别器Fdb均以由深度图得到的法向图作为输入，而与所述Gcb网络对应的判别器Fcb则以输出的背面彩色图像作为输入；
所述Gcf网络中引入从正面深度图中的光照球谐函数分量，以去除光照。


4.根据权利要求1所述的方法，其特征在于，所述采集当前RGBD图像，并将所述当前RGBD图像转换到正交视角下以输入到所述Gdf网络和所述Gcf网络中，得到优化和去光照后的正面RGBD图像，将所述正面RGBD图像输入到所述Gdb网络和所述Gcb网络中，得到预测后的背面RGBD图像，并利用所述正面RGBD图像和所述背面RGBD图像将像素点投影到三维空间中得到带颜色的三维点集，并且将所述带颜色的三维点集按照邻接拓扑关系连接成带纹理的三维人体模型，包括：
将所述正交投影下的当前RGBD图像为输入，利用预先训练过的所述Gdf网络得到补全和去噪后的正面深度图，同时利用预先训练过的所述Gcf网络得到去光照后的正面彩色图；
将述优化后的正面RGB...

【专利技术属性】
技术研发人员：刘烨斌，王立祯，赵笑晨，于涛，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11