一种利用可重构混合成像系统的动态场景的三维3D重建方法技术方案

一种计算机实现的动态场景三维3D重建方法，包括：从多个彩色图像传感器接收多个彩色图像序列，以及从至少一个深度图像传感器接收至少一个深度图像序列，其中，所述彩色图像传感器的数量大于所述深度图像传感器的数量；基于所述多个彩色图像序列和所述至少一个深度图像序列生成多个校准的彩色图像序列和至少一个校准的深度图像序列；利用所述多个校准的彩色图像序列和所述至少一个校准的深度图像序列构造多个初始3D点云块；通过扩展所述多个初始3D点云块生成3D点云。

A 3D reconstruction method of dynamic scene based on reconfigurable hybrid imaging system

【技术实现步骤摘要】
【国外来华专利技术】一种利用可重构混合成像系统的动态场景的三维3D重建方法相关申请的交叉引用本申请要求于2017年11月22提交的序列号为15/820,935、申请名称为“Three-Dimensional(3d)ReconstructionsOfDynamicScenesUsingAReconfigurableHybridImagingSystem”的美国非临时专利申请的优先权，其全部内容通过引用结合在本申请中。
本专利技术涉及场景的三维3D重建。
技术介绍
三维(three-dimensional，3D)重建可以通过使用从不同角度拍摄的图像序列或视频来恢复场景中物体的3D模型。动态场景中运动物体的实时3D重建对于许多应用非常有用，例如3D远程呈现或远程会议、增强现实技术、远程手术或教育、电子商务、电影制作和计算机视频游戏。
技术实现思路
本申请描述了使用可重构混合成像系统的动态场景的三维(3D)重建。在第一种实施方式中，提供一种计算机实现的动态场景三维(3D)重建方法，包括：从彩色图像传感器接收彩色图像序列，以及从至本文档来自技高网...

【技术保护点】
1.一种计算机实现的用于动态场景的三维3D重建方法，其特征在于，包括：/n一个或多个硬件处理器从多个彩色图像传感器接收多个彩色图像序列，以及从至少一个深度图像传感器接收至少一个深度图像序列，其中，所述彩色图像传感器的数量大于所述深度图像传感器的数量；/n所述一个或多个硬件处理器基于所述多个彩色图像序列和所述至少一个深度图像序列生成多个校准的彩色图像序列和至少一个校准的深度图像序列；/n所述一个或多个硬件处理器利用所述多个校准的彩色图像序列和所述至少一个校准的深度图像序列构造多个初始3D点云块；/n所述一个或多个硬件处理器通过扩展所述多个初始3D点云块生成3D点云。/n

【技术特征摘要】
【国外来华专利技术】20171122 US 15/820,9351.一种计算机实现的用于动态场景的三维3D重建方法，其特征在于，包括：
一个或多个硬件处理器从多个彩色图像传感器接收多个彩色图像序列，以及从至少一个深度图像传感器接收至少一个深度图像序列，其中，所述彩色图像传感器的数量大于所述深度图像传感器的数量；
所述一个或多个硬件处理器基于所述多个彩色图像序列和所述至少一个深度图像序列生成多个校准的彩色图像序列和至少一个校准的深度图像序列；
所述一个或多个硬件处理器利用所述多个校准的彩色图像序列和所述至少一个校准的深度图像序列构造多个初始3D点云块；
所述一个或多个硬件处理器通过扩展所述多个初始3D点云块生成3D点云。


2.根据权利要求1所述的方法，其特征在于，所述多个彩色图像序列和所述至少一个深度图像序列均包括在一段时间内采集所述动态场景的图像。


3.根据权利要求1或2所述的方法，其特征在于，所述生成多个校准的彩色图像序列和至少一个校准的深度图像序列包括：
为所述多个彩色图像传感器和所述至少一个深度图像传感器中的每个传感器确定内部参数和外部参数；
根据所述内部参数和所述外部参数，对所述多个彩色图像序列和所述至少一个深度图像序列进行校正，以生成所述多个校准的彩色图像序列和所述至少一个校准的深度图像序列。


4.根据权利要求1-3中任一项所述的方法，其特征在于，所述为所述多个彩色图像传感器和所述至少一个深度图像传感器中的每个传感器确定外部参数包括：利用参考图像传感器对所述多个彩色图像传感器和所述至少一个深度图像传感器进行几何校准，其中，所述参考图像传感器为所述多个彩色图像传感器和所述至少一个深度图像传感器中的一个。


5.根据权利要求1-4中任一项所述的方法，其特征在于，所述构造多个初始3D点云块包括：
从所述多个校准的彩色图像序列和所述至少一个校准的深度图像序列中确定显著点集合；
针对每个显著点：
确定所述多个校准的彩色图像序列和所述至少一个校准的深度图像序列中的所述显著点对应的成像点集合；
根据所述成像点集合通过约束三角剖分计算对应所述显著点的初始3D点云块。


6.根据权利要求1-5中任一项所述的方法，其特征在于，所述约束三角剖分包括将成本函数最小化，所述成本函数包括所述多个校准的彩色图像序列的图像一致性度量或者所述至少一个校准的深度图像序列的深度一致性度量中的至少一个。


7.根据权利要求1-6中任一项所述的方法，其特征在于，所述通过扩展所述多个初始3D点云块生成3D点云包括：
在空间上将所述多个校准的彩色图像序列和所述至少一个校准的深度图像序列的图像划分为单元；
通过正则化优化的方式扩展所述多个初始3D点云块以生成覆盖所述单元的所述3D点云。


8.根据权利要求1-7中任一项所述的方法，其特征在于，所述方法还包括：使用所述3D点云计算3D网格曲面，其中，所述3D网格包括所述动态场景的3D重建。


9.一种计算机实现的系统，其特征在于，包括：
存储器，包含用于动态场景的三维3D重建的指令；以及
与所述存储器通信的一个或多个硬件处理器，其中，所述一个或多个硬件处理器执行所述指令，从而：
从多个彩色图像传感器接收多个彩色图像序列，以及从至少一个深度图像传感器接收至少一个深度图像序列，其中，所述彩色图像传感器的数量大于所述深度图像传感器的数量；
基于所述多个彩色图像序列和所述至少一个深度图像序列生成多个校准的彩色图像序列和至少一个校准的深度图像序列；
利用所述多个校准的彩色图像序列和所述至少一个校准的深度图像序列构造多个初始3D点云块；
通过扩展所述多个初始3D点云块生成3D点云。


10.根据权利要求9所述的计算机实现的系统，其特征在于，所述多个彩色图像序列和所述至少一个深度图像序列均包括在一段时间内采集所述动态场景的图像。


11.根据权利要求9或10所述的计算机实现的系统，其特征在于，所述生成多个校准的彩色图像序列和至少一个校准的...

【专利技术属性】
技术研发人员：蒋伟，王炜，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44