处理装置、处理系统、图像拾取装置和处理方法制造方法及图纸

公开了处理装置、处理系统、图像拾取装置和处理方法。该处理装置包括：亮度信息获得部，该亮度信息获得部获得多个图像中的每个图像中的每种颜色的亮度信息，该多个图像中的每个图像是在布置在各不相同的位置处的光源用光顺序地照射被摄体时被分别成像的；以及颜色设置部，该颜色设置部基于亮度信息来设置在获得图像的每个区域的表面法线信息中使用的颜色。

【技术实现步骤摘要】
处理装置、处理系统、图像拾取装置和处理方法
本专利技术涉及处理装置、处理系统、图像拾取装置和处理方法。
技术介绍
获得关于被摄体的更多物理信息可以在成像之后的图像处理中基于物理模型来生成图像。例如，可以生成其中被摄体的可见性被改变的图像。被摄体的可见性是基于诸如被摄体的形状信息、被摄体的反射率信息和光源信息之类的信息来确定的。从光源发射并由被摄体反射的反射光的物理行为取决于局部表面法线，不使用被摄体的三维形状而是使用被摄体的表面法线作为形状信息是特别有效的。作为获得被摄体的表面法线的方法，例如，已知将根据如下的距离信息计算出的三维形状转换为表面法线信息的方法，该距离信息是使用诸如利用激光的三角测量和双透镜立体之类的方法获得的。然而，这种方法使装置的结构复杂化，并且获得的表面法线的精度不够。在日本专利特开No.2010-122158和YasuyukiMatsushita的“光度立体(Photometricstereo)”(日本信息处理学会的研究报告，第2011-CVIM-177卷，第29号，第1-12页，2011)中，光度立体方法作为直接获得被摄体的表面法线的方法被公开。在光度立体方法中，被摄体的基于被摄体的表面法线以及从被摄体到光源的方向的反射特性被假定，并且表面法线根据在多个光源位置处的被摄体的亮度信息和假定的反射特性被计算。被摄体的反射特性可以例如是使用依赖朗伯特氏余弦定律(Lambert’scosinelaw)的朗伯特反射模型来近似的。在诸如数字照相机之类的图像拾取装置中，当使用光度立体方法获得被摄体的表面法线信息时，诸如红色信息(在下文中称作“Rch.”)、绿色信息(在下文中称作“Gch.”)和蓝色信息(在下文中称作“Bch.”)之类的多个波长(颜色)处的多条亮度信息被获得。所获得的亮度信息依赖于被摄体和光源的颜色信息，并因此具有对于每个波长(每种颜色)不同的信噪比。因此，噪声对亮度信息的影响对于每个波长(每种颜色)不同，结果，所获得的表面法线信息的变化性对于每个波长(每种颜色)不同。例如，当对于Rch.、Gch.和Bch.中的每个波长对红色被摄体成像时，在Rch.中，信噪比(S/Nratio)高并且表面法线信息的变化性小，但是在Gch.和Bch.中，信噪比低并且表面法线信息的变化性大。就是说，需要基于所获得的亮度信息使用适当的波长(适当颜色)来计算表面法线信息。然而，日本专利特开No.2010-122158号和YasuyukiMatsushita的“光度立体”(日本信息处理学会的研究报告，第2011-CVIM-177卷，第29号，第1-12页，2011)未能公开基于所获得的亮度信息使用适当的波长(颜色)的表面法线信息的获得方法。
技术实现思路
鉴于该问题，本专利技术可以提供能够基于所获得的亮度信息使用恰当的波长(恰当的颜色)来计算表面法线信息的处理装置、处理系统、图像拾取装置和处理方法。根据本专利技术的一个方面的处理装置包括：亮度信息获得部，该亮度信息获得部获得多个图像中的每个图像中的每种颜色的亮度信息，该多个图像中的每个图像是在布置在各不相同的位置处的光源用光顺序地照射被摄体时被分别成像的；以及颜色设置部，该颜色设置部基于亮度信息来设置要在获得图像的每个区域的表面法线信息中使用的颜色。根据本专利技术的另一个方面的处理系统包括：亮度信息获得部，该亮度信息获得部获得多个图像中的每个图像中的每种颜色的亮度信息，该多个图像中的每个图像是在布置在各不相同的位置处的光源用光顺序地照射被摄体时被分别成像的；颜色设置部，该颜色设置部基于亮度信息来设置要在获得图像的每个区域的表面法线信息中使用的颜色；以及表面法线获得部，该表面法线获得部基于要在获得表面法线信息中使用的颜色的亮度信息来获得表面法线信息。根据本专利技术的另一个方面的图像拾取装置包括：图像拾取单元，该图像拾取单元对被摄体成像；亮度信息获得部，该亮度信息获得部获得多个图像中的每个图像中的每种颜色的亮度信息，该多个图像中的每个图像是在布置在各不相同的位置处的光源用光顺序地照射被摄体时分别由图像拾取单元成像的；颜色设置部，该颜色设置部基于亮度信息来设置要在获得图像的每个区域的表面法线信息中使用的颜色；以及表面法线获得部，该表面法线获得部基于要在获得表面法线信息中使用的颜色的亮度信息来获得表面法线信息。根据本专利技术的另一个方面的处理方法包括：获得多个图像中的每个图像中的每种颜色的亮度信息的步骤，该多个图像中的每个图像是在布置在各不相同的位置处的光源用光顺序地照射被摄体时被分别成像的；以及基于亮度信息来设置要在获得图像的每个区域的表面法线信息中使用的颜色的步骤。本专利技术的另外特征根据参考附图对示例性实施例的以下描述将变得清楚。附图说明图1是图像拾取装置的外观视图(第一示例和第二示例)。图2A是图像拾取装置的框图(第一示例和第二示例)。图2B是处理系统的框图(第一示例和第二示例)。图3是例示出表面法线计算处理的流程图(第一示例和第二示例)。图4是例示出所获得的亮度信息的示意图(第一示例)。图5是例示出所获得的亮度信息的示意图(第二示例)。图6是例示出表面法线计算处理的流程图(第三示例)。图7是例示出表面法线信息获得系统的外观视图(第四示例)。图8是Torrance-Sparrow模型的说明图。具体实施方式下面将参考附图描述本专利技术的示例性实施例。在每个附图中，相同元件将由相同的附图标记表示并且其重复描述将被省略。在光度立体方法中，被摄体的基于被摄体的表面法线以及从被摄体到光源的方向的反射特性被假定，并且表面法线根据在多个光源位置处的被摄体的亮度信息和假定的反射特性被计算。当通过接收预定的表面法线和光源位置未唯一地确定反射率时，应当使用依赖朗伯特氏余弦定律的朗伯特反射模型来近似反射特性。此外，如在图8中示出的镜面反射分量取决于由光源向量s和视线方向向量v之间的角度的等分线与表面法线n形成的角度α。因此，反射特性可以基于视线方向。此外，通过采用在光源发光的情况下成像的被摄体的亮度与在光源被关闭的情况下成像的被摄体的亮度之间的差异，可以从亮度信息中排除诸如环境光之类的除来自光源的光之外的光的影响。在下文中，将说明由朗伯特反射模型假定的反射特性。当反射光的亮度值是i时，被摄体的朗伯特扩散反射率是ρd，入射光的强度是E，代表从被摄体到光源的方向(光源方向)的单位向量(光源向量)是s，并且被摄体的单位表面法线向量是n，基于朗伯特余弦定律，亮度值i由以下表达式(1)来表达。i＝Eρds·n(1)当不同的M(M≥3)个光源向量的分量被分别定义为s1、s2、…、sM并且光源向量的每个分量的亮度值被分别定义为i1、i2、…、iM时，表达式(1)由以下表达式(2)来表达。在表达式(2)中，左侧是由M行和1列的矩阵表达的亮度向量，并且右侧的矩阵[s1T,…sMT]和符号n分别是表示光源方向的M行和3列的入射光矩阵S以及由3行和1列的矩阵表达的单位表面法线向量。当数字M等于3时，乘积Eρdn由使用入射光矩阵S的逆矩阵S-1的以下表达式(3)表达。表达式(3)的左侧的向量的模是入射光的强度E和朗伯特扩散反射率ρd的乘积，并且归一化向量被计算为被摄体的表面法线向量。换言之，入射光的强度E和朗伯特扩散反射本文档来自技高网...

【技术保护点】
一种处理装置(104，500)，其特征在于，包括：亮度信息获得部(104a，500a)，所述亮度信息获得部(104a，500a)获得多个图像中的每个图像中的每种颜色的亮度信息，所述多个图像中的每个图像是在布置在各不相同的位置处的光源用光顺序地照射被摄体时被分别成像的；以及颜色设置部(104b，500b)，所述颜色设置部(104b，500b)基于所述亮度信息来设置要在获得图像的每个区域的表面法线信息中使用的颜色。

【技术特征摘要】
2015.11.30 JP 2015-2328491.一种处理装置(104，500)，其特征在于，包括：亮度信息获得部(104a，500a)，所述亮度信息获得部(104a，500a)获得多个图像中的每个图像中的每种颜色的亮度信息，所述多个图像中的每个图像是在布置在各不相同的位置处的光源用光顺序地照射被摄体时被分别成像的；以及颜色设置部(104b，500b)，所述颜色设置部(104b，500b)基于所述亮度信息来设置要在获得图像的每个区域的表面法线信息中使用的颜色。2.根据权利要求1所述的处理装置，还包括表面法线获得部(104c，501)，所述表面法线获得部(104c，501)基于要在获得表面法线信息中使用的颜色的亮度信息来获得表面法线信息。3.根据权利要求2所述的处理装置，其特征在于所述颜色设置部基于亮度信息的值来设置颜色的权重，以及所述表面法线获得部基于使用所述权重计算出的颜色的亮度信息的线性和来获得表面法线信息。4.根据权利要求1或2所述的处理装置，其特征在于，所述颜色设置部基于亮度信息的值来设置要在获得表面法线信息中使用的颜色。5.根据权利要求4所述的处理装置，其特征在于，所述颜色设置部将与在区域中的多条亮度信息当中具有最大值的亮度信息相对应的颜色设置为要在获得表面法线信息中使用的颜色。6.根据权利要求4所述的处理装置，其特征在于，所述颜色设置部将与具有比区域中的预定值大的值的亮度信息相对应的颜色设置为要在获得表面法线信息中使用的颜色。7.根据权利要求6所述的处理装置，其特征在于，所述预定值是基于噪声特性和光源的数目来确定的。8.一种处理系统(2)，其特征在于，包括：亮度信息获得部(500a)，所述亮度信息获得部(500a)获得多个图像中的每个图像中的每种颜色的亮度信息，所述多个图像中的每个图像是在布置在各不相同的位置处的光源用光顺序地照射被摄体时被分别成像的；颜色设置部(500b)，所述颜色设置部(500b)基于所述亮度信息来设置要在获得图像的每个区域的表面法线信息中使用的颜色；以及表面法线获得...

【专利技术属性】
技术研发人员：楠美祐一，井上智晓，井田義明，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本,JP