一种三维重建方法、装置及系统制造方法及图纸

本申请提供一种三维重建方法、装置及系统，采集终端确定目标对象的装饰相对于预先构建的初始三维人体模型是否发生变化，若发生变化，则采集目标对象以预设姿态旋转的多帧RGBD图像和相应的RGB图像，根据采集的图像提取用于重建初始三维人体模型的三维重建数据并发送给渲染终端；若未发生变化，则采集目标对象的RGBD交互图像，从RGBD交互图像中提取人体模型网格的各个顶点坐标并发送给渲染终端，由于人体模型网格的拓扑结构与渲染终端存储的初始三维人体模型网格的拓扑结构相同，因此，渲染终端根据接收的各个顶点坐标更新初始三维人体模型，得到目标三维人体模型，从而减少了数据传输量，节省了网络带宽，提高了三维重建的实时性。

【技术实现步骤摘要】
一种三维重建方法、装置及系统
本申请涉及计算机视觉和计算机图形学
，尤其涉及一种三维重建方法、装置及系统。
技术介绍
实时高精度非刚性三维重建是计算机视觉、计算机图形学等领域的重点研究技术，广泛应用于增强现实、远程沉浸式通讯、三维视频直播等场景。基于人体的实时远程三维重建社交系统，相对于基于视频的二维重建社交系统，更能提高交互过程中的沉浸感和情感表达，以形象逼真的虚拟化身在虚拟空间中与其它虚拟化身进行交互，重现了第一代社交方式中面对面的沉浸感。虚拟现实(VirtualReality，VR)、增强现实(AugmentedReality，AR)的社交方式可能成为继第四代移动互联网时代之后的第五代社交媒体。精度较高的静态三维重建方法需要使用光学扫描仪(可见结构光或激光扫描仪)采集人体数据，这类方法要求人体在整个扫描过程中保持静止不动数秒甚至数分钟，通过将多个角度的高精度三维扫描信息进行拼接，最终重建出高精度的人体静态三维模型。但由于扫描时间长且需要采集对象静止不动，难以实时重建人体的动态三维模型，无法满足实时交互的需求，并且扫描仪价格较高，需要具有专业知识的人员进行扫描操作，而且根据采集场景的不同，三维重建所需的时间也不同，例如重建电影或动画中的模型时间会长达几个小时。为了满足远程三维重建社交系统实时性的要求，需提供一种动态的三维重建方法。
技术实现思路
本申请提供了一种三维重建的方法、装置及系统，用以提高三维重建模型的真实性，减少数据传输的带宽，进而提高三维重建的实时性。第一方面，本申请实施例提供一种三维重建方法，应用于采集终端，包括：确定目标对象的装饰相对于预先构建的初始三维人体模型是否发生变化；若发生变化，则采集所述目标对象以预设人体姿态旋转的多帧RGBD图像和相应的RGB图像，从所述多帧RGBD图像和相应的RGB图像中提取三维重建数据并发送给渲染终端，所述三维重建数据用于重建初始三维人体模型，以使所述渲染终端根据所述三维重建数据保存初始三维人体模型；若未发生，则采集所述目标对象的RGBD交互图像，从所述RGBD交互图像中提取人体模型网格的各个顶点坐标，所述人体模型网格的拓扑结构与初始三维人体模型网格的拓扑结构相同；将所述各个顶点坐标发送给渲染终端，使得所述渲染终端根据所述各个顶点坐标更新预先存储的初始三维人体模型，得到目标三维人体模型并显示。第二方面，本申请实施例提供一种三维重建方法，应用于渲染终端，包括：若目标对象的装饰相对于预先构建的初始三维人体模型发生变化，则接收采集终端发送的三维重建数据并保存；其中，所述三维重建数据用于重建初始三维人体模型，所述三维重建数据是所述采集终端从多帧RGBD图像和相应的RGB图像中提取的，所述多帧RGBD图像和相应的RGB图像是所述采集终端在所述目标对象以预设人体姿态旋转时采集的；若目标对象的装饰相对于预先构建的初始三维人体模型未发生变化，则接收采集终端发送的各个顶点坐标，根据所述各个顶点坐标更新预先存储的初始三维人体模型，得到目标三维人体模型并显示；其中，所述各个顶点坐标是所述采集终端根据人体模型网格从所述目标对象的RGBD交互图像中提取的，所述人体模型网格的拓扑结构与初始三维人体模型网格的拓扑结构相同。第三方面，本申请实施例提供一种采集终端，包括RGBD相机、存储器、主机或工作站：所述RGBD相机，与所述处理器连接，被配置为采集目标对象以预设人体姿态旋转的多帧RGBD图像和相应的RGB图像，以及所述目标对象的RGBD交互图像；所述存储器，与所述处理器连接，被配置为存储计算机程序指令；所述主机或工作站，被配置为根据所述计算机程序指令，执行以下操作：确定目标对象的装饰相对于预先构建的初始三维人体模型是否发生变化；若发生变化，则采集所述目标对象以预设人体姿态旋转的多帧RGBD图像和相应的RGB图像，从所述多帧RGBD图像和相应的RGB图像中提取三维重建数据并发送给渲染终端，所述三维重建数据用于重建初始三维人体模型，以使所述渲染终端根据所述三维重建数据保存初始三维人体模型；若未发生，则采集所述目标对象的RGBD交互图像，从所述RGBD交互图像中提取人体模型网格的各个顶点坐标，所述人体模型网格的拓扑结构与初始三维人体模型网格的拓扑结构相同；将所述各个顶点坐标发送给渲染终端，使得所述渲染终端根据所述各个顶点坐标更新预先存储的初始三维人体模型，得到目标三维人体模型并显示。第四方面，本申请实施例提供一种渲染终端，包括显示器、存储器、处理器：所述显示器，与所述处理器连接，用于显示目标三维人体模型；所述存储器，与所述处理器连接，用于存储计算机程序指令；所述处理器，用于根据所述存储器存储的计算机程序指令，执行以下操作：若目标对象的装饰相对于预先构建的初始三维人体模型发生变化，则接收采集终端发送的三维重建数据并保存；其中，所述三维重建数据用于重建初始三维人体模型，所述三维重建数据是所述采集终端从多帧RGBD图像和相应的RGB图像中提取的，所述多帧RGBD图像和相应的RGB图像是所述采集终端在所述目标对象以预设人体姿态旋转时采集的；若目标对象的装饰相对于预先构建的初始三维人体模型未发生变化，则接收采集终端发送的各个顶点坐标，根据所述各个顶点坐标更新预先存储的初始三维人体模型，得到目标三维人体模型并显示；其中，所述各个顶点坐标是所述采集终端根据人体模型网格从所述目标对象的RGBD交互图像中提取的，所述人体模型网格的拓扑结构与初始三维人体模型网格的拓扑结构相同。第五方面，本申请实施例提供一种三维重建系统，包括采集终端、传输终端、渲染终端：所述采集终端，用于确定目标对象的装饰相对于预先构建的初始三维人体模型是否发生变化；若发生变化，则采集所述目标对象以预设人体姿态旋转的多帧RGBD图像和相应的RGB图像，从所述多帧RGBD图像和相应的RGB图像中提取三维重建数据并发送给渲染终端，所述三维重建数据用于重建初始三维人体模型；若未发生，则采集所述目标对象的RGBD交互图像，从所述RGBD交互图像中提取人体模型网格的各个顶点坐标，并将所述各个顶点坐标通过所述传输终端发送给所述渲染终端，所述人体模型网格的拓扑结构与初始三维人体模型网格的拓扑结构相同；所述渲染终端，用于若目标对象的装饰相对于预先构建的初始三维人体模型发生变化，则通过所述传输终端接收所述采集终端发送的三维重建数据并保存；若目标对象的装饰相对于预先构建的初始三维人体模型未发生变化，则通过所述传输终端接收所述采集终端发送的各个顶点坐标，根据所述各个顶点坐标更新预先存储的初始三维人体模型，得到目标三维人体模型并显示。第六方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行本申请实施例提供的三维重建方法。本申请的上述实施例中，考虑到目标对象的装饰变化会影响三维重建模型的精度，因此，在确定目标对象本文档来自技高网...

【技术保护点】
1.一种三维重建方法，其特征在于，应用于采集终端，包括：/n确定目标对象的装饰相对于预先构建的初始三维人体模型是否发生变化；/n若发生变化，则采集所述目标对象以预设人体姿态旋转的多帧RGBD图像和相应的RGB图像，从所述多帧RGBD图像和相应的RGB图像中提取三维重建数据并发送给渲染终端，所述三维重建数据用于重建初始三维人体模型，以使所述渲染终端根据所述三维重建数据保存初始三维人体模型；/n若未发生，则采集所述目标对象的RGBD交互图像，从所述RGBD交互图像中提取人体模型网格的各个顶点坐标，所述人体模型网格的拓扑结构与初始三维人体模型网格的拓扑结构相同；将所述各个顶点坐标发送给渲染终端，使得所述渲染终端根据所述各个顶点坐标更新预先存储的初始三维人体模型，得到目标三维人体模型并显示。/n

【技术特征摘要】
1.一种三维重建方法，其特征在于，应用于采集终端，包括：
确定目标对象的装饰相对于预先构建的初始三维人体模型是否发生变化；
若发生变化，则采集所述目标对象以预设人体姿态旋转的多帧RGBD图像和相应的RGB图像，从所述多帧RGBD图像和相应的RGB图像中提取三维重建数据并发送给渲染终端，所述三维重建数据用于重建初始三维人体模型，以使所述渲染终端根据所述三维重建数据保存初始三维人体模型；
若未发生，则采集所述目标对象的RGBD交互图像，从所述RGBD交互图像中提取人体模型网格的各个顶点坐标，所述人体模型网格的拓扑结构与初始三维人体模型网格的拓扑结构相同；将所述各个顶点坐标发送给渲染终端，使得所述渲染终端根据所述各个顶点坐标更新预先存储的初始三维人体模型，得到目标三维人体模型并显示。


2.如权利要求1所述的方法，其特征在于，所述从所述多帧RGBD图像和相应的RGB图像中提取三维重建数据，包括：
根据所述多帧RGBD图像，重建目标人体外层模型，并从所述目标人体外层模型的三维点云数据中，提取三维重建的几何数据；
根据RGBD图像与RGB图像自有的标定关系，从每一帧RGBD图像对应的RGB图像中，提取三维重建的纹理数据，所述纹理数据用于渲染所述目标人体外层模型，得到重建的初始三维人体模型。


3.如权利要求2所述的方法，其特征在于，所述根据所述多帧RGBD图像，重建目标人体外层模型，并从所述目标人体外层模型的三维点云数据中，提取三维重建的几何数据，包括：
根据所述多帧RGBD图像中的初始RGBD图像，确定初始人体外层模型；
根据所述多帧RGBD图像中除所述初始RGBD图像外的当前RGBD图像，与所述初始RGBD图像之间的运动关系，将从所述当前RGBD图像中提取的三维点云数据融合到所述初始人体外层模型中，得到目标人体外层模型；
根据所述目标人体外层模型对应的截断符号函数TSDF值，从所述目标人体外层模型对应的三维点云数据中，提取三维重建的几何数据。


4.如权利要求3所述的方法，其特征在于，所述根据所述多帧RGBD图像中的初始RGBD图像，确定初始人体外层模型，包括：
从所述初始RGBD图像中提取三维点云数据，并确定提取的三维点云数据与预设的人体参数化模型的三维点云数据之间对应点的匹配程度；
根据所述匹配程度和所述人体参数化模型对应的人体姿态先验参数，确定对应点的能量损失值；
根据所述能量损失值调整所述人体参数化模型，直到确定出的能量损失值在预设范围内，得到初始人体外层模型。


5.如权利要求2所述的方法，其特征在于，所述根据RGBD图像与RGB图像自有的标定关系，从每一帧RGBD图像对应的RGB图像中，提取三维重建的纹理数据，包括：
根据RGBD图像与RGB图像自有的标定关系，从每一帧RGBD图像对应的采集视角下采集的RGB图像中，提取所述目标人体内层模型包含的各个几何顶点的颜色值，得到三维重建的纹理数据。


6.一种三维重建方法，其特征在于，应用于渲染终端，包括：
若目标对象的装饰相对于预先构建的初始三维人体模型发生变化，则接收采集终端发送的三维重建数据并保存；其中，所述三维重建数据用于重建初始三维人体模型，所述三维重建数据是所述采集终端从多帧RGBD图像和相应的RGB图像中提取的，所述多帧RGBD图像和相应的RGB图像是所述采集终端在所述目标对象以预设人体姿态旋转时采集的；
若目标对象的装饰相对于预先构建的初始三维人体模型未发生变化，则接收采集终端发送的各个顶点坐标，根据所述各个顶点坐标更新预先存储的初始三维人体模型，得到目标三维人体模型并显示；其中，所述各个顶点坐标是所述采集终端根据人体模型网格从所述目标对象的RGBD交互图像中提取的，所述人体模型网格的拓扑结构与初始三维人体模型网格的拓扑结构相同。


7.一种采...

【专利技术属性】
技术研发人员：许瀚誉，刘帅，陈春朋，吴连朋，
申请(专利权)人：聚好看科技股份有限公司，
类型：发明
国别省市：山东;37