变光照条件下运动目标的三维重建方法及三维重建装置制造方法及图纸

本发明专利技术公开了一种变光照条件下运动目标的三维重建方法，包括如下步骤：采集运动目标在光源提供的变光照条件下的多个视角的图像；根据多台摄像机在每一时刻采集得到的运动目标的多个视角的图像，建立运动目标的初始三维模型；通过运动估计和运动补偿得到每个时刻的运动目标的多光照图像；联合初始三维模型和多光照图像恢复得到初始三维模型的法向信息；对初始三维模型的几何信息和初始三维模型的法向信息进行联合优化，得到运动目标的优化三维模型。本发明专利技术还公开了一种变光照条件下运动目标的三维重建装置。本发明专利技术联合多视角立体和光度立体方法的优势，结合周期性变光照条件下的运动估计和运动补偿，实现对运动目标的高精度的三维模型的重建。

【技术实现步骤摘要】

本专利技术涉及计算机图形学和计算机视觉
，特别涉及一种变光照条件下运动目标的三维重建方法及三维重建装置。
技术介绍
从多视角视频序列中获取精确的动态场景的三维模型是当前计算机视觉、计算机图形学等学科领域的热点研究问题。传统的基于图像的多视角立体重建方法在缺少纹理的区域难以建立精确的三维模型，但是可以建立出全视角的三维模型。传统的光度立体方法是利用单一视角的多光照图像，通过估计模型表面的法向信息进而估计出深度图来建立单一视角的三维模型，光度立体方法虽然可以建立出较为精细的三维模型，但是这个模型是非全视角的三维模型。从而导致对于运动目标又不能直接采集到同一时刻的多光照的图像。
技术实现思路
本专利技术的目的旨在至少解决上述技术缺陷之一。为此，本专利技术的第一个目的在于提供一种变光照条件下运动目标的三维重建方法，该方法联合多视角立体和光度立体方法的优势，结合周期性变光照条件下的运动估计和运动补偿，实现对运动目标的高精度的三维模型的重建。本专利技术的第二个目的在于提供一种变光照条件下运动目标的三维重建装置。为达到上述目的，本专利技术第一方面的实施例提出一种变光照条件下运动目标的三维重建方法，包括如下步骤利用多台摄像机采集运动目标在光源提供的变光照条件下的多个视角的图像，其中，所述光源周期性地向所述运动目标提供变光照条件；根据所述多台摄像机在每一时刻采集得到的所述运动目标的多个视角的图像，提取所述运动目标的轮廓信息，根据所述运动目标的轮廓信息和对应于每个视角的摄像机的参数建立可视凸壳，利用所述可视凸壳建立所述运动目标的初始三维模型；计算所述运动目标在多个周期中的相同光照条件下的运动估计结果，联合所述多个周期中相同光照条件下的运动估计结果以对所述运动目标进行周期性变光照条件下的运动估计，利用运动估计得到的最终运动估计向量进行运动补偿得到每个时刻的所述运动目标的多光照图像；联合所述初始三维模型和所述每个时刻的所述运动目标的多光照图像恢复得到所述初始三维模型的法向信息，包括根据所述初始三维模型获取不同光照条件下的谐波系数，对所述不同光照条件下的谐波系数进行优化得到所述初始三维模型的法向信息；对所述初始三维模型的几何信息和所述初始三维模型的法向信息进行联合优化， 得到所述运动目标的优化三维模型。根据本专利技术实施例的变光照条件下运动目标的三维重建方法，通过运动估计和运动补偿得到多光照的图像对运动目标的初始三维模型的法向信息进行优化，联合多视角立体和光度立体方法的优势结合周期性变光照条件下的运动估计和运动补偿，实现对运动目标的高精度的三维重建。本专利技术第二方面的实施例提出了一种变光照条件下运动目标的三维重建装置，包括采集模块，所述采集模块用于采集运动目标在光源提供的变光照条件下的多个视角的图像，其中，所述采集模块包括多个采集单元，每个采集单元用于采集所述运动目标在光源提供的变光照条件下的每个视角的图像，所述光源周期性地向所述运动目标提供变光照条件；初始三维模型建立模块，所述初始三维模型建立模块与所述采集模块相连，所述初始三维模型建立模块用于根据所述采集模块在每一时刻采集得到的所述运动目标的多个视角的图像，提取所述运动目标的轮廓信息，根据所述运动目标的轮廓信息和对应于每个视角的采集单元的参数建立可视凸壳，利用所述可视凸壳建立所述运动目标的初始三维模型； 多光照图像获取模块，所述多光照图像获取模块与所述初始三维模型建立模块相连，所述多光照图像获取模块用于计算所述运动目标在多个周期中的相同光照条件下的运动估计结果，联合所述多个周期中相同光照条件下的运动估计结果以对所述运动目标进行周期性变光照条件下的运动估计，利用运动估计得到的最终运动估计向量进行运动补偿得到每个时刻的所述运动目标的多光照图像；法向信息恢复模块，所述法向信息恢复模块分别与所述初始三维模型建立模块和所述多光照图像获取模块相连，所述法向信息恢复模块用于联合所述初始三维模型和所述每个时刻的所述运动目标的多光照图像，根据所述初始三维模型获取不同光照条件下的谐波系数，对所述不同光照条件下的谐波系数进行优化得到所述初始三维模型的法向信息；联合优化模块，所述联合优化模块与所述初始三维模型建立模块和所述法向信息恢复模块相连，所述联合优化模块用于对所述初始三维模型的几何信息和所述初始三维模型的法向信息进行联合优化，得到所述运动目标的优化三维模型。根据本专利技术实施例的变光照条件下运动目标的三维重建装置，通过运动估计和运动补偿得到多光照的图像对运动目标的初始三维模型的法向信息进行优化，联合多视角立体和光度立体方法的优势结合周期性变光照条件下的运动估计和运动补偿，实现对运动目标的高精度的三维重建。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中图1为根据本专利技术实施例的变光照条件下运动目标的三维重建方法的流程图；图2为运动目标变光照条件下的多个视角的图像；图3为光源提供的光照条件的变化示意图；图4为两个周期内采集到的运动目标的图像；和图5为根据本专利技术实施例的变光照条件下运动目标的三维重建装置的示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。下面参考图1至图4描述根据本专利技术实施例的变光照条件下运动目标的三维重建方法。如图1所示，本专利技术实施例提供的变光照条件下运动目标的三维重建方法包括如下步骤SlOl 采集变光照条件下的运动目标的多视角图像。利用多台摄像机和光源组成可以实现多视角且变光照的图像采集设备。具体而言，多台摄像机可以采集运动目标的多个视角的图像，光源可以周期性地向运动目标提供变光照条件。其中，所述变光照条件是指施加到运动目标上的光照强度是变化的。利用多台摄像机采集运动目标在变光照条件下的多个视角的图像。在本专利技术的一个实施例中，利用硬件同步设备对多个摄像机和光源进行同步，以保证多视角变光照的采集环境。如图2所示，多台摄像机采集运动目标的20个视角的图像，包括视角1、视角2、视角3、视角4...视角20。同一行的图像为同一台摄像机拍摄的不同时刻的变光照条件下同一视角的图像，同一列的图像为同一时刻同一光照条件下的不同视角的图像。如图3所示， 随着时间的推移，光照强度逐渐减弱。结合图3所示的光照条件，图2中同一行的同一视角的图像的随着时间的推移，图像的光照强度逐渐减弱。但是需要说明的是，上述的20个视角的具体数目只是出于示例的目的，而不是为了限制本专利技术的保护范围。S102 建立运动目标的初始三维模型。根据步骤101中由多台摄像机在每一个时刻采集得到的运动目标的多个视角的图像，提取运动目标的轮廓信息。根据运动目标的轮廓信息和标定得到的摄像机的参数建立可视凸壳。可视凸壳描述了运动目标的外轮廓形状。其中，所述标定得到的摄像机为对应于每个视角的摄像机的参数。利用建立的可视凸壳建立运动目标的初始三维模型。其中，现有的多视角立体的方法均可以实现建立初始三维模型的方法的目的本文档来自技高网...

【技术保护点】
１．一种变光照条件下运动目标的三维重建方法，其特征在于，包括如下步骤：利用多台摄像机采集运动目标在光源提供的变光照条件下的多个视角的图像，其中，所述光源周期性地向所述运动目标提供变光照条件；根据所述多台摄像机在每一时刻采集得到的所述运动目标的多个视角的图像，提取所述运动目标的轮廓信息，根据所述运动目标的轮廓信息和对应于每个视角的摄像机的参数建立可视凸壳，利用所述可视凸壳建立所述运动目标的初始三维模型；计算所述运动目标在多个周期中的相同光照条件下的运动估计结果，联合所述多个周期中相同光照条件下的运动估计结果以对所述运动目标进行周期性变光照条件下的运动估计，利用运动估计得到的最终运动估计向量进行运动补偿得到每个时刻的所述运动目标的多光照图像；联合所述初始三维模型和所述每个时刻的所述运动目标的多光照图像恢复得到所述初始三维模型的法向信息，包括：根据所述初始三维模型获取不同光照条件下的谐波系数，对所述不同光照条件下的谐波系数进行优化得到所述初始三维模型的法向信息；对所述初始三维模型的几何信息和所述初始三维模型的法向信息进行联合优化，得到所述运动目标的优化三维模型。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘烨斌，付莹，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：11