成像装置、信息处理装置、成像方法和信息处理方法制造方法及图纸

根据本公开内容的成像装置(1)包括成像单元(2)、信号分离单元(5)、法线计算单元(6)和距离估计单元(7)。成像单元(2)设置有：偏振传感器(11)以及照射到被摄体上的光的偏振方向不同的多个偏振照明源(21至24)。成像单元捕获被来自照射到被摄体上的光的偏振方向不同的多个偏振照明源(21至24)的光同时照射的被摄体的图像。信号分离单元(5)通过从由成像单元(2)捕获的图像中分离与各自偏振方向对应的像素信号来生成针对每个偏振方向的图像。法线计算单元(6)通过光度立体法基于针对每个偏振方向的图像来计算被摄体表面上的法线。距离估计单元(7)基于由法线计算单元(6)计算的法线来估计被摄体的形状。计被摄体的形状。计被摄体的形状。

【技术实现步骤摘要】
【国外来华专利技术】成像装置、信息处理装置、成像方法和信息处理方法


[0001]本公开内容涉及成像装置、信息处理装置、成像方法和信息处理方法。

技术介绍

[0002]作为测量被摄体的三维形状的方法之一，存在光度立体法。在光度立体法中，光从多个方向依次地分别地照射到被摄体，并且根据阴影的差异来测量到被摄体的距离或者被摄体的三维形状(例如，参见专利文献1)。
[0003]引用列表
[0004]专利文献
[0005]专利文献1：JP 2017
‑
72499 A

技术实现思路

[0006]技术问题
[0007]然而，在上述常规技术中，被摄体在切换照明源的同时由摄像装置依次地成像，因此在被摄体是运动对象的情况下，在照明源的切换期间由于被摄体的运动而发生位置的偏移，无法进行准确的测量。
[0008]因此，本公开内容提出能够准确地测量运动对象的三维形状的成像装置、信息处理装置、成像方法和信息处理方法。
[0009]问题的解决方案
[0010]根据本公开内容，提供一种成像装置。该成像装置包括成像单元、分离单元、计算单元和估计单元。成像单元包括偏振传感器以及具有照射到被摄体的不同偏振方向的光的多个偏振照明源，并且捕获被来自多个偏振照明源的光同时照射的被摄体的图像。分离单元从由成像单元捕获的图像中分离出与每个偏振方向对应的像素信号，并且生成针对每个偏振方向的图像。计算单元通过光度立体法根据图像中针对每个偏振方向计算被摄体表面上的法线。估计单元基于由计算单元计算的法线来估计被摄体的形状。
附图说明
[0011]图1是示出根据本公开内容的成像方法和信息处理方法的概述的说明图。
[0012]图2是示出根据本公开内容的成像装置的示例性配置的框图。
[0013]图3是示出根据本公开内容的摄像装置的曝光量与输出亮度之间的关系的说明图。
[0014]图4是根据本公开内容的阴影数据的获取方法的说明图。
[0015]图5是根据本公开内容的阴影数据的获取方法的说明图。
[0016]图6是根据本公开内容的光源方向的检测方法的说明图。
[0017]图7是根据本公开内容的光源方向的检测方法的说明图。
[0018]图8是根据本公开内容的光源方向的检测方法的说明图。
[0019]图9是示出根据本公开内容的光源方向与偏振方向对应表的示例的说明表。
[0020]图10是根据本公开内容的成像单元的说明图。
[0021]图11是根据本公开内容的成像单元的说明图。
[0022]图12是根据本公开内容的成像单元的说明图。
[0023]图13是示出根据本公开内容的信号分离单元的示例性配置的框图。
[0024]图14是根据本公开内容的偏振去马赛克处理的说明图。
[0025]图15是示出根据本公开内容的偏振模型的示例的说明曲线图。
[0026]图16是根据本公开内容的法线计算方法的说明图。
[0027]图17是示出由根据本公开内容的成像装置执行的处理的流程图。
[0028]图18是示出由根据本公开内容的成像装置执行的处理的流程图。
[0029]图19是示出由根据本公开内容的成像装置执行的处理的流程图。
[0030]图20是示出根据本公开内容的摄像装置的修改例的说明图。
具体实施方式
[0031]在下文中，将基于附图详细描述本公开内容的实施方式。注意，在以下各实施方式中，相同的部分用相同的附图标记表示，并且重复的描述将被省略。
[0032][1.本公开内容背后的问题][0033]在基本光度立体法中，光照射到被摄体，同时依次地切换相对于被摄体具有不同光照方向的多个照明源，捕获被各个照明源照亮的被摄体的图像，被摄体的三维形状是基于图像中被摄体的阴影差异来测量的。
[0034]然而，在该方法中，在照明源的切换期间由于被摄体的运动而发生位置偏移，无法进行准确的测量，因此难以将该方法应用于是被摄体是运动对象的情况，而仅可以测量作为静止对象的被摄体的准确三维形状。
[0035]因此，存在波长复用系统的测量方法，在该方法中,使用照射到被摄体的光的颜色差异来复用照明源，并通过不切换照明源的一次成像来测量被摄体的三维形状。在波长复用系统中，通过同时从多个照明源向被摄体照射具有不同波长(颜色)的光对被摄体进行成像来测量被摄体的三维形状，从捕获图像中提取每个颜色分量，并且在仅使用其中一个照明源进行光照的情况下获取要获取的阴影。
[0036]如上所述，在波长复用系统中，不需要切换照明源，并且可以通过一次成像来测量被摄体的三维形状。因此，即使在被摄体是运动对象的情况下，也可以测量被摄体的三维形状。
[0037]然而，在波长复用系统中，例如，通过对照明源应用不同的窄带带通滤波器来改变照射到被摄体的光的颜色。因此，穿过窄带带通滤波器透射的光量减少，信噪比劣化，这可能会使测量准确度劣化。
[0038]此外，在难以区分光的颜色与被摄体的颜色的情况下，可能会发生测量误差。此外，在增加要照射到被摄体的光的颜色的数目的情况下，需要使用更窄的带通滤波器或者增加要发出不同颜色的发光二极管(LED)的数目，这将增加成本。同时，根据本公开内容的成像装置、信息处理装置、成像方法和信息处理方法在不增加成本的情况下准确地测量运动对象的三维形状。
[0039][2.成像方法和信息处理方法的概述][0040]首先，将参照图1描述根据本公开内容的成像方法和信息处理方法的概述。图1是示出根据本公开内容的成像方法和信息处理方法的概述的说明图。
[0041]根据本公开内容的成像方法和信息处理方法能够通过复用使用偏振光的照明源并且在一次成像中同时从多个方向向被摄体照射具有不同偏振方向的光来测量运动对象的三维形状，从而对被摄体进行成像。
[0042]例如，如图1所示，准备一个摄像装置10和多个(这里是四个)光源L1、L2、L3和L4。光源L1、L2、L3和L4相对于被摄体100被布置在不同的方向(以下称为光源方向)S1、S2、S3和S4上。注意，光源的数目不限于四个。
[0043]此外，光源L1、L2、L3和L4在发光单元处包括分别具有不同偏振方向的偏振滤光器F1、F2、F3和F4，并且将每个具有不同偏振方向的光射向被摄体100。在光源L1、L2、L3和L4中，要射出的光的偏振方向和光源方向(相对于被摄体的位置)预先相互关联。
[0044]摄像装置10包括偏振传感器11。在根据本公开内容的成像方法和信息处理方法中，每个偏振方向分量通过信号分离处理从由偏振传感器11获取的图像数据中分离。然后，基于预先关联的光的偏振方向与光源方向之间的对应关系，计算图像I1、I2、I3和I4，其中每个图像都在从光源L1、L2、L3和L4中的一个在各自方向上射出光的情况下获得。
[0045]然后，对图像I1、I2、I3和I4中的每一个执行法线计算处理，从而计算法线本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种成像装置，包括：成像单元，包括偏振传感器以及具有照射到被摄体的不同偏振方向的光的多个照明源，并且所述成像单元捕获被来自所述多个照明源的光同时照射的所述被摄体的图像；分离单元，其从由所述成像单元捕获的图像中分离与所述偏振方向中的每一个对应的像素信号，并且生成针对所述偏振方向中的每一个的图像；计算单元，其通过光度立体法根据针对所述偏振方向中的每一个的图像计算所述被摄体的表面上的法线；以及估计单元，其基于由所述计算单元计算的法线来估计所述被摄体的形状。2.根据权利要求1所述的成像装置，还包括：存储单元，其存储对应信息，在所述对应信息中，所述照明源中的每一个照明源、由所述每一个照明源射出的光的偏振方向以及所述每一个照明源相对于所述被摄体的方向相互关联，其中，所述分离单元基于针对所述偏振方向中的每一个的图像中的每个像素的亮度来估计偏振模型，并且基于所述偏振模型和所述对应信息计算针对所述照明源中的每一个的图像中的每个像素的亮度，所述偏振模型指示被具有所述偏振方向的光照射的所述被摄体的图像中的每个像素的偏振方向与亮度之间的对应关系。3.根据权利要求2所述的成像装置，其中，所述计算单元基于针对所述照明源中的每一个的图像中的每个像素的亮度和所述对应信息来计算所述被摄体的表面上的法线。4.根据权利要求1所述的成像装置，其中，所述多个照明源包括在光源的光照射表面上具有互不相同的偏振方向的偏振滤光器。5.根据权利要求1所述的成像装置，其中，所述偏振传感器包括：像素阵列，其中多个成像元件以矩阵形状排列；以及偏振滤光器，其选择性地使与所述成像元件相关联的具有不同偏振方向的光进入所述成像元件。6.根据权利要求1所述的成像装置，其中，所述偏振传感器包括：分束器，其将入射光分成多个光束；图像传感器，其接收所述光束中的每一个；以及偏振滤光器，其被设...

【专利技术属性】
技术研发人员：五味信一郎，栗田哲平，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：