本发明专利技术公开了一种重建三维模型的方法及装置和三维模型采集及重建系统，所述重建三维模型的方法，包括：获取目标物体的三维彩色点云数据；根据所述三维彩色点云数据生成第一分辨率下的三维体素数据；将所述第一分辨率下的三维体素数据输入超分辨率神经网络模型以生成第二分辨率下的三维体素数据，其中，所述第一分辨率小于所述第二分辨率；根据所述第二分辨率下的三维体素数据获得所述目标物体的三维模型。该方法可以在不提高GPU计算力的情况下，提高三维模型的分辨率。提高三维模型的分辨率。提高三维模型的分辨率。
【技术实现步骤摘要】
重建三维模型的方法及装置和三维模型采集及重建系统
[0001]本专利技术涉及三维
，尤其是涉及一种重建三维模型的方法、一种重建三维模型的装置以及计算机存储介质和一种三维模型采集及重建系统。
技术介绍
[0002]数字物体例如人体三维采集重建是虚拟现实领域重要的研究问题，随着技术的发展，通过低成本采集设备实现人体的动态采集成为非常有前景的应用。但是，由于动态物体本身动态速率比较快，运动情况复杂，表面情况多变等因素，目前没有很好的方法对其进行跟踪建模。同时，对动态物体建模的精度取决于采样精度和计算机实时处理能力，现有的硬件条件下也十分受限。
[0003]相关技术中，通过采用Dynamic Fusion(动态融合)对动态物体进行建模，但是该方法由于速度的限制，最终获得的模型的分辨率不高。这个速度限制主要来源于在方法计算过程中所使用的体素建模方法，体素建模是计算机图形学中常用的一种方法，模型最终的精度、分辨率取决于体素模型采用的立方体数量多少，而计算机能够实时处理立方体的数量取决于GPU(Graphics Processing Unit，图形处理器)的计算能力。例如，对于Dynamic Fusion算法，在采用1080Ti GPU的情况下，只能实时处理2563数量的体素模型，而这个分辨率在高精度应用上是十分受限的。
技术实现思路
[0004]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术的一个目的在于提出一种重建三维模型的方法，该方法可以在不提高GPU计算力的情况下，提高三维模型的分辨率。
[0005]本专利技术的目的之二在于提出一种重建三维模型的装置。
[0006]本专利技术的目的之三在于提出一种计算机存储介质。
[0007]本专利技术的目的之四在于提出一种三维模型采集及重建系统。
[0008]为了解决上述问题，本专利技术第一方面实施例提供的重建三维模型的方法，包括：获取目标物体的三维彩色点云数据；根据所述三维彩色点云数据生成第一分辨率下的三维体素数据；将所述第一分辨率下的三维体素数据输入超分辨率神经网络模型以生成第二分辨率下的三维体素数据，其中，所述第一分辨率小于所述第二分辨率；根据所述第二分辨率下的三维体素数据获得所述目标物体的三维模型。
[0009]根据本专利技术实施例的重建三维模型的方法，在基本不提高GPU计算力的情况下，通过采用超分辨率神经网络模型，将第一分辨率下的三维体素数据输入超分辨率神经网络模型以生成第二分辨率下的三维体素数据，其中，第一分辨率小于第二分辨率，即将低分辨率体素数据生成为高分辨率体素数据，进而以高分辨率体素数据获得目标物体的三维模型，从而可以提高三维模型的分辨率。
[0010]在一些实施例中，所述超分辨率神经网络模型通过以下步骤训练获得：获取物体
的彩色三维点云序列；基于动态融合方法求解变形场以对所述彩色三维点云序列进行配准；将所述彩色三维点云序列在所述第一分辨率下获得第一组体素数据，以及，将所述彩色三维点云序列在所述第二分辨率下获得第二组体素数据；以所述第一组体素数据为输入，以所述第二组体素数据为基准，训练基础网络模型，以获得所述超分辨率神经网络模型。
[0011]在一些实施例中，获取目标物体的彩色三维点云数据，包括：获取目标物体时序上连续的深度图像序列和彩色图像序列；对每一帧深度图像进行处理以获得三维点云数据，以及，对每一帧彩色图像进行处理以获得颜色数据；将对应帧图像的三维点云数据与颜色数据进行配准，获得所述三维彩色点云数据。
[0012]在一些实施例中，根据所述三维彩色点云数据生成第一分辨率下的三维体素数据，包括：基于动态融合方法求解变形场，对所述三维彩色点云数据进行配准，以生成所述第一分辨率下的三维体素数据。
[0013]在一些实施例中，根据所述第二分辨率下的三维体素数据获得所述目标物体的三维模型，包括：通过网格提取方法从所述第二分辨率下的三维体素数据中获得所述目标物体的三维模型。
[0014]本专利技术第二方面实施例提供一种重建三维模型的装置，包括：点云数据获取模块，配置为获取目标物体的三维彩色点云数据；第一体素数据生成模块，配置为根据所述三维彩色点云数据获得第一分辨率下的三维体素数据；第二体素数据生成模块，配置为将所述第一分辨率下的三维体素数据输入超分辨率神经网络模型以生成第二分辨率下的三维体素数据，其中，所述第一分辨率小于所述第二分辨率；模型重建模块，配置为根据所述第二分辨率下的三维体素数据获得所述目标物体的三维模型。
[0015]根据本专利技术实施例的重建三维模型的装置，在基本不提高GPU计算力的情况下，通过采用超分辨率神经网络模型，由第二体素数据生成模块将第一分辨率下的三维体素数据输入超分辨率神经网络模型以生成第二分辨率下的三维体素数据，其中，第一分辨率小于第二分辨率，即将低分辨率体素数据生成为高分辨率体素数据，进而模型重建模块以高分辨率体素数据获得目标物体的三维模型，从而可以提高三维模型的分辨率。
[0016]本专利技术第三方面实施例提供一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述实施例所述的重建三维模型的方法。
[0017]本专利技术第四方面实施例提供一种三维模型采集及重建系统，包括：深度相机，用于采集目标物体的深度图像；彩色相机，用于采集所述目标物体的彩色图像；数据处理设备，与所述深度相机和所述彩色相机分别连接，用于执行上述实施例所述的重建三维模型的方法。
[0018]根据本专利技术实施例的三维模型采集及重建系统，通过数据处理设备采用上述实施例提供的重建三维模型的方法，可以在不提高GPU计算力的情况下，提高三维模型的分辨率。
[0019]在一些实施例中，所述深度相机包括ToF相机。
[0020]在一些实施例中，所述彩色相机包括RGB彩色相机。
[0021]本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0022]本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0023]图1是根据本专利技术一个实施例的重建三维模型的方法的流程图；
[0024]图2是根据本专利技术一个实施例的神经网络训练过程的示意图；
[0025]图3是根据本专利技术一个实施例的重建三维模型的装置的结构框图；
[0026]图4是根据本专利技术一个实施例的三维模型采集及重建系统的结构框图。
具体实施方式
[0027]下面详细描述本专利技术的实施例，参考附图描述的实施例是示例性的，下面详细描述本专利技术的实施例。
[0028]为了解决上述问题，本专利技术的一个目的在于提出一种重建三维模型的方法，该方法可以在不提高GPU计算力的情况下，提高三维模型的分辨率。
[0029]本专利技术第一方面实施例提供的重建三维模型的方法，在实施例中，在同一三维彩色点云数据输入的情况下，设定的体素数据的分辨率参数本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种重建三维模型的方法，其特征在于，包括：获取目标物体的三维彩色点云数据；根据所述三维彩色点云数据生成第一分辨率下的三维体素数据；将所述第一分辨率下的三维体素数据输入超分辨率神经网络模型以生成第二分辨率下的三维体素数据，其中，所述第一分辨率小于所述第二分辨率；根据所述第二分辨率下的三维体素数据获得所述目标物体的三维模型。2.根据权利要求1所述的重建三维模型的方法，其特征在于，所述超分辨率神经网络模型通过以下步骤训练获得：获取物体的彩色三维点云序列；基于动态融合方法求解变形场以对所述彩色三维点云序列进行配准；将所述彩色三维点云序列在所述第一分辨率下获得第一组体素数据，以及，将所述彩色三维点云序列在所述第二分辨率下获得第二组体素数据；以所述第一组体素数据为输入，以所述第二组体素数据为基准，训练基础网络模型，以获得所述超分辨率神经网络模型。3.根据权利要求1所述的重建三维模型的方法，其特征在于，获取目标物体的彩色三维点云数据，包括：获取目标物体时序上连续的深度图像序列和彩色图像序列；对每一帧深度图像进行处理以获得三维点云数据，以及，对每一帧彩色图像进行处理以获得颜色数据；将对应帧图像的三维点云数据与颜色数据进行配准，获得所述三维彩色点云数据。4.根据权利要求1所述的重建三维模型的方法，其特征在于，根据所述三维彩色点云数据生成第一分辨率下的三维体素数据，包括：基于动态融合方法求解变形场，对所述三维彩色点云数据进行配准，以生成所述第一分辨率下的三维体素数据...
【专利技术属性】
技术研发人员：章志华，张帆，
申请(专利权)人：北京华清易通科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。