三维模型重建方法和系统技术方案

公开了一种生成物体三维模型的方法。该方法可利用光场相机在多个视角下拍摄多幅光场图像。该方法可包括：在第一视角下拍摄第一光场图像；在第二视角下拍摄第二光场图像；估算从所述第一视角至第二视角的光场旋转量和平移量；获得所述多幅光场图像中每一幅的视差图；以及通过优化所述光场旋转量和平移量，并优化所述视差图，计算三维点云。所述第一光场图像可包括多幅第一子孔径图像，所述第二光场图像可包括多幅第二子孔径图像。

3D model reconstruction method and system

A method for generating a three-dimensional model of an object is disclosed. In this method, a field camera can be used to take multiple field images from multiple perspectives. The method can include: photographing the first light field image under the first viewing angle; photographing the second light field image under the second viewing angle; estimating the amount of light field rotation and displacement from the first viewing angle to the second viewing angle; obtaining the parallax map of each of the plurality of light field images; and calculating the three-dimensional point cloud by optimizing the amount of light field rotation and displacement and optimizing the parallax map. The first optical field image may include a plurality of first sub aperture images, and the second optical field image may include a plurality of second sub aperture images.

【技术实现步骤摘要】
【国外来华专利技术】三维模型重建方法和系统
本专利技术总体涉及用于拍摄和处理光场图像的系统，尤其涉及一种利用光场图像生成物体三维模型的方法和系统。
技术介绍
光场(LF)相机也称全光相机，其可在四个维度上捕获场景内所有方向上的光。也就是说，与仅记录光强的传统相机相比，光场相机同时捕获光线的强度和方向，从而即使在图像数据捕获之后，也允许进行复杂的数据处理。举例而言，可以通过虚拟方式改变焦点或视角，或者从单次曝光中估算出景深图。利用光场图像的丰富信息以及光场特征(如惯常采样模式、子像素视差等)，光场相机可用于生成物体的三维模型。对于高精度三维模型重建而言，运动断构(StructurefromMotion，从运动中推断结构，一种求解光场姿态的方法)是一个必不可少的步骤。传统运动断构法一般不使用光场中内含的几何约束条件，因此往往无法获得良好的结果。本专利技术提供一种采用新运动断构法的三维模型重建方法。该新运动断构法利用了光线几何形状在光场姿态变化下的转换方式，从而使得本专利技术三维模型重建方法更加稳健，更加精确，而且甚至能够应用于花朵等在拓扑结构上较为复杂的物体。此外，由本专利技术方法生成的三维模型可用于虚拟现实(VR)设备和增强现实(AR)设备，并且能够在任何视角供人观视。
技术实现思路
本专利技术的一个方面涉及一种生成物体三维模型的方法。该方法可利用光场相机在多个视角下拍摄多幅光场图像。该方法可包括：在第一视角下拍摄第一光场图像；在第二视角下拍摄第二光场图像；估算从所述第一视角至第二视角的光场旋转量和平移量；获得所述多幅光场图像当中每一幅的视差图；以及通过优化所述光场旋转量和平移量，并优化所述视差图，计算三维点云。所述第一光场图像可包括多幅第一子孔径图像，而所述第二光场图像可包括多幅第二子孔径图像。本专利技术的另一方面涉及一种生成物体三维模型的系统。该系统可包括光场相机和数据处理单元。该相机可用于在多个视角下拍摄多幅光场图像。其中，可在第一视角下拍摄第一光场图像，并可在第二视角下拍摄第二光场图像。所述第一光场图像可包括多幅第一子孔径图像，而所述第二光场图像可包括多幅第二子孔径图像。所述数据处理单元可用于：估算从所述第一视角至第二视角的光场旋转量和平移量；获得所述多幅光场图像当中每一幅的视差图；以及通过优化所述光场旋转量和平移量，并优化所述视差图，计算三维点云。应该理解的是，以上概括描述和以下详细描述均仅在于例示和说明，并不对所要求保护的本专利技术构成限制。附图说明作为本专利技术的一部分，所附各图示出了若干非限制性实施方式，并与说明书一道阐明本专利技术中的原理。图1为根据本专利技术例示实施方式的三维模型重建系统示意图。图2为根据本专利技术实施方式估算从第一视角至第二视角的光场姿态的方法的例示流程图。图3为根据本专利技术实施方式通过优化光场姿态和优化视差图而计算三维点云的方法流程图。图4为根据本专利技术实施方式利用光场相机生成物体三维模型的方法流程图。具体实施方式以下将对例示实施方式进行详细描述，各实施方式的实施例示于附图中。以下描述通过参考附图做出，其中，除非另有说明，否则不同附图中的相同数字表示相同或类似的元件。在以下对本专利技术例示实施方式的描述中，所给出的具体实施方式并非本专利技术的所有实施方式。相反，这些具体实施方式仅为本专利技术所涉及的各个方面当中的系统和方法的具体示例。在本说明书中，需要理解的是，文中的“第一”和“第二”等词用于描述目的，并不旨在表示或暗示所描述技术特征的相对重要性或显著性，也不旨在暗示所描述技术特征的数量。因此，以“第一”和“第二”描述的技术特征的数量皆可以为一个或多个。在本专利技术的描述中，除非另有说明，否则“多个”表示至少两个，如两个、三个等。根据本专利技术的实施方式，提供一种三维模型重建系统，该系统包括数据捕获单元和数据处理单元。该数据捕获单元用于拍摄光场图像并将其发送给所述数据处理单元。该数据处理单元用于实施相机校准、运动断构、立体匹配及深度融合。其中，相机校准用于校正光场图像的视角失真；运动断构用于估算光场姿态；立体匹配用于获得光场图像的视差图；深度融合用于优化光场姿态。视差图用于获得三维点云，该三维点云为三维坐标系统内的一组数据点，用于表示物体的外表面，即物体的三维模型。1、系统概述图1所示为根据本专利技术实施方式的例示三维模型重建系统100。系统100可包括若干部件，而其中的某些部件可以为可选部件。在一些实施方式中，系统100可包括图1所示之外的部件。然而，由于所公开的实施方式出于说明目的，因此并无必要将这些组件全部示出。如图1所示，系统100可包括数据捕获单元200和数据处理单元300。数据捕获单元200可包括光场相机210。数据处理单元300可包括相机校准单元310、运动断构单元320、立体匹配单元330以及深度融合单元340。2、数据捕获单元2.1光场相机在一些实施方式中，数据捕获单元200包括光场相机210，该光场相机包括置于传统图像传感器前的微透镜阵列，因此其可感测光强、颜色和方向信息。光场相机拍摄的图像可称为光场图像，此类光场图像包括光强、颜色和方向信息，并且可用于三维模型重建。在一些实施方式中，可将LytroIllum光场相机用作光场相机210。LytroIllum光场相机可在一次曝光中拍摄一幅15×15的光场图像，即每幅光场图像包括15×15幅子孔径图像。光场相机210的各参数列于下表1。表12.2数据捕获方法光场相机210可用作虚拟扫描仪，用于在目标物体周围移动，并同时在多个视角当中的每一视角下以单次曝光拍摄光场图像。其中，任意两个相邻视角下相继拍摄的两幅光场图像之间的视场重叠率可不超过50％。而且，为了最终实现完整三维模型的重建，所述多个视角涵盖目标物体的所有视角。光场相机210获得的光场图像数据可例如通过USB3.0发送给数据处理单元300。3、数据处理单元如图1所示，数据处理单元300包括相机校准单元310、运动断构单元320、立体匹配单元330以及深度融合单元340。2.1相机校准相机校准单元310用于对所拍摄的光场图像进行校准。在利用光场相机构建三维模型时，需要同时获得该光场相机的内部和外部参数。其中，内部参数是指将图像中各点的像素坐标与相机参考系中的相应坐标相关联的参数，而外部参数可以为限定相机参考系相对于已知世界参考系的位置和朝向的参数。在一些实施方式中，可利用YunsuBok(YunsuBok,etal,《基于线特征的微透镜光场相机的几何校准》(“GeometricCalibrationofMicro-Lens-BasedLightFieldCamerasUsingLineFeatures,”)IEEETrans.PatternAnal.Mach.Intell.,vol.39,no.2,pp.287–300,2017)对基于微透镜的光场相机的几何校准方法，校准光场图像内每一子孔径图像的内部和外部参数。校准后，本文档来自技高网...

【技术保护点】
1.一种利用光场相机生成物体的三维模型的方法，所述光场相机用于在多个视角下拍摄多幅光场图像，其特征在于，所述方法包括：/n在第一视角下拍摄第一光场图像，其中，所述第一光场图像包括多幅第一子孔径图像；/n在第二视角下拍摄第二光场图像，其中，所述第二光场图像包括多幅第二子孔径图像；/n估算光场从所述第一视角至所述第二视角的旋转量和平移量；/n获得所述多幅光场图像中每一幅的视差图；以及/n通过优化所述光场的所述旋转量和所述平移量，并优化所述视差图，计算三维点云。/n

【技术特征摘要】
【国外来华专利技术】1.一种利用光场相机生成物体的三维模型的方法，所述光场相机用于在多个视角下拍摄多幅光场图像，其特征在于，所述方法包括：
在第一视角下拍摄第一光场图像，其中，所述第一光场图像包括多幅第一子孔径图像；
在第二视角下拍摄第二光场图像，其中，所述第二光场图像包括多幅第二子孔径图像；
估算光场从所述第一视角至所述第二视角的旋转量和平移量；
获得所述多幅光场图像中每一幅的视差图；以及
通过优化所述光场的所述旋转量和所述平移量，并优化所述视差图，计算三维点云。


2.如权利要求1所述的方法，其特征在于，还包括：
识别所述第一光场图像的多个第一特征以及所述第二光场图像的多个第二特征；
通过将所述第一特征在所述多幅第一子孔径图像之间进行匹配而获得第一匹配特征，以及通过将所述第二特征在所述多幅第二子孔径图像之间进行匹配而获得第二匹配特征；
在所述第一光场图像的所述第一匹配特征和所述第二光场图像的所述第二匹配特征之间进行匹配，以获得所述光场在所述第一视角和所述第二视角之间的匹配特征；以及
根据所述光场在所述第一视角和所述第二视角之间的所述匹配特征，估算所述光场的旋转量和平移量。


3.如权利要求2所述的方法，其特征在于，所述第一特征和所述第二特征包括特征线。


4.如权利要求2所述的方法，其特征在于，所述第一特征和所述第二特征包括特征点和特征线。


5.如权利要求1所述的方法，其特征在于，所述视差图通过将视差表示为三个颜色通道的线性组合而获得。


6.如权利要求1所述的方法，其特征在于，还包括对所述多幅光场图像中每一幅的多个子孔径图像进行校准。


7.如权利要求1所述的方法，其特征在于，所述第一视角和所述第二视角之间的视场重叠率不低于50％。


8.如权利要求1所述的方法，其特征在于，所述多个视角涵盖所述物体的所有视角。


9....

【专利技术属性】
技术研发人员：虞晶怡，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：上海;31