应用全光照相机的表面属性的推定制造技术

一种实装在计算机系统上的用于推定对象的表面属性的方法，包括：对由点光源所照明的对象的全光图像进行访问的步骤，所述全光图像包括多个超像素，各超像素对从所述对象的预定区域所反射的光进行捕捉，各超像素包括多个子像素，各子像素对传播方向的预定范围内所反射的光进行捕捉；及对所述子像素进行处理以对所述对象的表面属性进行推定的步骤。

【技术实现步骤摘要】

本专利技术一般地涉及一种基于对象(object)的全光图像(plenopticimage)对该对象的表面属性进行推定的技术。
技术介绍
光度立体(photometricstereo)技术是一种在各种照明角度下通过观察对象的反射光而对该对象的表面法线及三维结构进行推定的计算机视觉技法。在通常的光度立体技术中，采用各种照明条件在时间上逐个地捕捉对象的多个画像。对象的表面一般被假定为朗伯体(Lambertian)表面(即，完美的扩散反射体)。然而在现实中，许多对象的表面并不是朗伯体表面，而是具有一些镜面反射。就对可进行镜面反射的表面或没有任何纹理的表面的表面属性的推定而言，在光度立体技术中仍是一个困难的课题。近年来尽管一些技法已被应用至镜面反射的问题，但仍需获取大量的画像。这不仅需要花费大量的时间，还需要非常复杂的硬件，很难应用于视频(例如，对于运动的对象而言)。所以，为了推定(estimate)对象的表面属性，需要一种更好的方法。
技术实现思路
在本专利技术的各种实施方式中，通过使用全光照相机对由点光源所照明(优选为准直照明(collimatedillumination))的对象的全光图像进行捕捉，从而突破了现有技术的极限。全光图像是一种从对象反射的四维光场的抽样(sampling)。全光图像由超像素(superpixel)构成，每个超像素由子像素构成。每个超像素对来自对象的预定区域(即，具有x，y空间座标的范围)的光进行捕捉，超像素内的子像素对预定方向的范围(即，u，v空间方向的范围)内所传播的光进行捕捉。所以，通过仅对一个全光图像进行处理，就可提供光学属性的推定、表面法线的再建、深度/高度的推定、及三维描绘(3Drendering)。在一种方法中，全光图像用于对对象表面的双向反射率分布函数(BRDF:bidirectionalreflectancedistributionfunction)进行推定。另外，为了对所述推定进行改善，可通过使用不同的照明来对多个全光图像进行捕捉。再有，因为表面属性可根据一个全光图像进行推定，所以这些技法也可应用于具有全光图像帧的视频。另一方面，还包括与上述相关的零部件、装置、系统、改良、方法、工艺、应用、及其他技术。附图概述通过与附图一起参考下面的详细说明及添附的权利要求书，所公开的技术的优点和特征将会变得更加容易理解。图1是全光成像系统(现有技术)的示意图。图2A～2C是基于准直光源的轴上或轴外照明的示意图。图3A是由室内灯所照明的对象的未加工的全光图像。图3B是由准直光源所照明的相同对象的未加工的全光图像。图4A～4C是关于不同表面方向的模拟超像素的示意图。图5A～5B是关于不同材料的超像素的示意图。图6是沃德BRDF模型的示意图。图7是关于规尺卡(rulercard)的未加工的全光图像的示意图。图8A～8E是规尺卡的各种属性的伪彩色画像。图9A是规尺卡的伪彩色的高度图。图9B是规尺卡的三维描绘。图10A是25美分硬币的画像。图10B是对应的伪彩色的高度图。图11是凹面镜的伪彩色的高度图。本专利技术的实施方式下面参考附图对本专利技术的实施方式进行说明。图1是全光成像系统(现有技术)的一个例子的示意图。全光成像系统110包括：主成像光学系统112(图1中仅由一个透镜表示)、副成像阵列114(图像形成要素的阵列115)、及传感器阵列180。副成像阵列114也被称为微成像阵列。副成像阵列114和传感器阵列180这两个陈列也被称为全光传感器模块。这些零部件如图1中的子系统1和子系统2所示可形成两个重叠的成像子系统。为了方便，成像光学系统112在图1中仅被描绘为一个物镜，但应可理解，其也可包括多个要素。物镜112可在图像平面IP上形成对象150的光学图像155。微成像阵列114位于图像平面IP上，各微透镜将成像子系统1的孔径(aperture)在传感器阵列180上进行成像。即，孔径和传感器阵列位于共轭面SP及SP'上。微成像阵列114的例子包括：微透镜阵列、小孔(pinhole)阵列、微镜阵列、棋盘网格(checkerboardgrid)、及波导/通道阵列。微成像阵列114可为长方形阵列、六边形阵列、或其他类型的阵列。传感器阵列180也示于图1。图1的下部提供了更详细的图示。在该例子中，微成像阵列115为3×3的正方形微透镜阵列。对象150被分割为与标注了1～9的区域相对应的3×3的阵列。区域1～9的每个都由物镜112在一个微透镜114上进行了成像。图1中由虚线所示的光线示出了区域5向其对应的中央微透镜所进行的成像。每个微透镜对这些光线在传感器阵列180的相对应的部分上进行成像。传感器阵列180被示为12×12的长方形阵列。传感器阵列180可被再细分为标注了A～I的超像素，每个超像素与一个微透镜相对应，所以也与对象150的某个区域相对应。图1中，超像素E与中央微透镜相对应，中央微透镜与对象的区域5相对应。即，超像素E内的诸传感器对来自对象的区域5的光进行捕捉。每个超像素可再被细分为子像素。该例子中，每个超像素具有4×4的子像素阵列。超像素内的每个子像素对来自对象的相同区域但传播角度不同的光进行捕捉。例如，超像素E内的左上的子像素E1对来自区域5的光进行捕捉，超像素E内的右下的子像素E16也同样。但是，这两个子像素却是对来自对象的沿不同方向传播的光进行捕捉。这可通过图1中实线所示的光线看出。三个实线所示的光线尽管都是由相同对象点发出的，但却被不同的子像素所捕捉。其原因在于，各实线所示的光线从对象开始沿不同的方向进行了传播。换言之，对象150生成了四维光场L(x,y,u,v)。这里，L为从空间位置(x,y)发出的沿方向(u,v)传播的光线的振幅、强度、或其他测量值。传感器阵列内的每个子像素对来自四维光场的某体积的光进行捕捉。子像素对该四维光场进行抽样(sampling)。在某种全光成像系统的设计中，样本(sample)体积为超立方体。即，超像素内的所有传感器都对来自相同长方形(x,y)区域的光进行捕捉，而超像素内的每个子像素则对来自长方形(u,v)区域的光进行捕捉。但是，也并不总是这样。为了方便，超像素被记述为对来自对象的预定区域的光进行捕捉(尽管该超像素内的子像素也可能对来自稍微不同的区域的光进行本文档来自技高网...

【技术保护点】
一种实装在计算机系统上的、用于推定对象的表面属性的方法，包括：对由点光源所照明的对象的全光图像进行访问的步骤，所述全光图像包括多个超像素，各超像素对从所述对象的预定区域所反射的光进行捕捉，各超像素包括多个子像素，各子像素对传播方向的预定范围内所反射的光进行捕捉；及对所述子像素进行处理以对所述对象的表面属性进行推定的步骤。

【技术特征摘要】
2015.01.09 US 14/594,0171.一种实装在计算机系统上的、用于推定对象的表面属性的方
法，包括：
对由点光源所照明的对象的全光图像进行访问的步骤，所述全光
图像包括多个超像素，各超像素对从所述对象的预定区域所反射的光
进行捕捉，各超像素包括多个子像素，各子像素对传播方向的预定范
围内所反射的光进行捕捉；及
对所述子像素进行处理以对所述对象的表面属性进行推定的步
骤。
2.根据权利要求1所述的方法，其中：
所述表面属性包括
所述对象的不同区域的表面法线、所述对象的不同区域的镜
面反射、及所述对象的不同区域的表面粗糙度中的至少一个。
3.根据权利要求1所述的方法，其中：
对所述子像素进行处理包括
对所述子像素进行处理以对所述对象的双向反射率分布函数
进行推定。
4.根据权利要求1所述的方法，其中：
对所述子像素进行处理包括
通过使用从所述对象至对应的子像素的、诸区域和传播方向
的映射来对所述子像素进行处理。
5.根据权利要求4所述的方法，其中：
从所述对象至对应的子像素的、诸领域和传播方向的所述映射依
存于所述点光源的照明几何构成，
所述照明几何构成和从所述对象至所述子像素的所述映射的这两
者在对所述子像素进行处理前都为已知。
6.根据权利要求4所述的方法，还包括：
通过对用于捕捉所述全光图像的全光成像系统进行校准以确定从
所述对象至所述子像素的所述映射的步骤。
7.根据权利要求1所述的方法，其中：
所述点光源为准直光源。
8.根据权利要求1所述的方法，还包括：
对所述对象的至参考面的深度进行推定的步骤，其中，
对所述对象的所述表面属性进行推定包括
对相对于所述参考面的所述对象的所述表面属性进行推定。
9.根据权利要求8所述的方法，其中：
基于用于捕捉所述全光图像的所述全光成像系统的光学设计，对
所述对象的至参考面的深度进行推定。
10.根据权利要求8所述的方法，其中：
基于对所捕捉的所述全光图像进行处理，对所述对象的至参考面...

【专利技术属性】
技术研发人员：L孟，L陆，K伯克纳，I托西克，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本;JP