被照明的对象的借助于光度学立体分析的表面重建制造技术

一种方法用于表面重建，其中由多个彼此间隔开的发光体(a‑d)同时照明至少一个对象(O)，拍摄所述至少一个对象(O)的具有多个单幅图像(EB_r‑EB_r+n)的照相序列，以及借助于光度学立体分析重建所述对象(O)的至少一个可见的对象表面(OS1，OS2)，其中借助于不同的调制频率(fa‑fc；fa‑fd)调制由所述发光体(a‑c；a‑d)放射的光(La‑Ld)，各自的发光体(a‑d)的被所述对象(O)反射的光份额根据所述发光体的调制频率(fa‑fc；fa‑fd)来识别并且与各自的子图像(TBa‑TBc；TBa‑TBc)相关联，并且所述子图像(TBa‑TBc)用作为用于光度学立体分析的输入图像。设备(S1，S2)设立用于执行根据上述权利要求中任一项所述的方法。本发明专利技术尤其可应用于内部空间和/或外部空间的空间监控和/或用于对象是被，尤其用于与一般照明相结合。

Surface reconstruction of illuminated objects by means of photometric stereo analysis

【技术实现步骤摘要】
【国外来华专利技术】被照明的对象的借助于光度学立体分析的表面重建
本专利技术涉及一种用于表面重建的方法，其中对象由多个彼此间隔开的发光体照明，拍摄对象的多个单幅图像并且借助于光度学立体分析来重建对象的可见的对象表面。本专利技术还涉及一种构成用于执行所述方法的设备。本专利技术尤其可应用于内部空间和/或外部空间的空间监控和/或用于对象识别，尤其与一般照明相结合。
技术介绍
基于图像的光度学的立体分析是用于通过如下方式重建场景或对象(在下文中仅称为对象)的三维表面或表面结构的方法：在照明条件受控地改变的条件下借助于唯一的数码相机例如RGB相机拍摄对象的一序列单幅图像。在此，对象依次由不同的发光体照明。具有已知的相对强度的发光体位于已知的位置处并且从不同的方向照明对象。图像序列中的单幅图像与各自的发光体相关联并且用作为光度学立体分析的输入图像。因为无法重建通过相机不可见的表面，所以该方法也称为“21/2D”重建。在此，在假定对象的反射特性为朗伯型的情况下，对象的表面区域或表面点的由相机检测到的亮度仅与照明角或者光的入射角相关而与相机的视向无关。这意味着：表面区域或表面点与相机的视向无关地保持其外观。在考虑到表面区域的被观察的或者被测量的亮度与相机的对应的图像点的值(也可称为图像点亮度或辉度值)相对应的情况下，若在不同的照明条件下拍摄对象的多个单幅图像，那么能够确定在对应的表面区域或表面点上的表面向量以及在该处漫射的回射能力(反射率)。关于经典的光度学21/2D重建例如能够执行下述步骤：1.确定或者固定发光体的强度或亮度以及定向。发光体的位置有利地覆盖高的角度变化，更确切地说，在对象表面上不进行阴影投射并且没有自遮暗。于是发光体关于其强度和照明方向执行相互校准。这例如能够通过如下方式来实现：光强度借助于照度计来测量或者通过评估具有已知的几何形状和已知的反射率值的经校准的对象(例如蓝宝石球体)的图像来确定。校准的结果能够以一组照明向量Li的形式来表达，其中照明向量Li的量值与所属的发光体i的相关的强度相对应并且照明向量Li的方向确定入射角。2.在发光体中的每个发光体的预设的照明下借助于传统的2D相机拍摄对象。相机的视向基本上是任意的，但是有利的是，到对象表面上的好的视角借助于尽可能小的遮暗来实现。3.所拍摄的单幅图像的图像点BP(x，y)的图像点值(像素测量值)PMw(x，y)(也称为“CaputurePixelValues”)与对象表面的表面区域或表面点中的每一个表面区域或表面点的被观察的亮度或辉度相关。这针对与在部位(x，y)处表面区域或表面点对应的每个图像点BP(x，y)也能够被表达为，适用：PMw(x，y)；i＝ρd(x，y)*(Li·n(x，y))，其中PMw(x，y)；i是在仅发光体i照明的条件下该图像点BP(x，y)的图像点值，ρd(x，y)是所属的表面区域或所属的部位(x，y)的反射率，Li是(归一化的)照明向量Li，而n(x，y)是所属的表面区域/表面点或部位(x，y)的法向量。也就是说，每个表面元素或每个部位(x，y)通过其反射率ρd(x，y)和其法线n(x，y)恰好为像素测量值PMw(x，y)，更确切地说，与照明强度Li相关。(Li·n)因此是向量积，所述向量积包括照明向量Li的量值和入射角Θi的余弦值，即根据(Li·n)＝|Li|·cos(Θi)。4.也就是说，对于三个发光体i＝1，2，3而言对于一个图像点和从而也对于一个所属的表面区域存在如下方程组：PMw(x，y)；1＝ρd*(L1·n(x，y))PMw(x，y)；2＝ρd*(L2·n(x，y))PMw(x，y)；3＝ρd*(L3·n(x，y))在考虑归一化条件|n|＝1的情况下可以从该方程组中确定反射率ρd(x，y)和法向量n(x，y)。这能够针对图像点BP(x，y)中的每一个单独执行。也就是说，具有未知的(表面)反射率ρd的对象能够借助于三个不同的照明场景来重建。对于对象表面的反射率已知的情况(例如对象借助于限定的颜色预处理和/或粉刷)，经典的光度学立体分析也能够借助于仅两个发光体来执行。5.表面重建能够借助于图像点或表面区域的法向量n执行，以便获得关于对象表面的形状或者三维结构的完整信息，例如关于梯度考虑和紧接着的积分的完整信息。借助于将所求取的法向量n(x，y)＝(nx(x，y)，ny(x，y)，nz(x，y))改比例为Nx(x，y)＝-nx(x，y)/nz(x，y)和Ny(x，y)＝-ny(x，y)/nz(x，y)，可通过如下积分来重建表面常规的光度学立体分析的缺点是，对对象的照明连带图像拍摄需要很多时间，使得其对于在一般照明的领域中的实时应用而言几乎不予考虑。此外，在常规的光度学立体分析中，必须消除背景照明(所述背景照明并不来自于发光体)。这种背景照明必须每次都从单幅图像中减去。
技术实现思路
本专利技术的目的是，至少部分地克服现有技术的缺点并且尤其基于光度学立体分析提供表面重建的改进的可行性。该目的根据独立权利要求的特征的来实现。优选的实施方式尤其可从从属权利要求中提取。所述目的通过一种用于表面重建的方法来实现，其中(i)由多个彼此间隔开的发光体同时照明至少一个对象，(ii)拍摄至少一个对象的具有多个单幅图像的光度学序列，并且(iii)借助于光度学立体分析重建至少一个可见的对象表面。在此，通过不同的调制频率来调制由发光体放射的光。于是，各自的发光体的被对象反射的光份额根据其调制来识别并且将其与各自的子图像相关联。紧接着，子图像用作为用于光度学立体分析的输入图像。所述方法的优点是，光份额根据调制能够同时或同步地从所拍摄的照相序列中提取。三个或者更多仅属于各自的发光体的(子)图像不再需要按顺序或依次被拍摄，因为所有三个或更多发光体被编码并从而并行运行并且尤其能够持久保持接通。此外，背景照明此时不再需要耗费地从单幅图像中减去，而是——因为其未被调制——简单地不被考虑。重建可通过如下方式有利地实时执行，更确切地说，也可在一般照明的领域上执行，例如用于空间监控和对象识别，尤其用于识别人员的存在和其活动。可见的对象表面的重建能够在创建子图像之后借助于传统的方法来执行。借助于重建的表面又能够执行对象识别等。表面重建也常常称为“SurfaceReconstruction”。用于表面重建的方法也能够视为或称为用于确定或计算被拍摄照片的表面在空间中的形状或定向的方法。彼此间隔开的发光体的射到对象表面的点上的光束在该处尤其具有不同的射入角(也称为照明入射角)并且可能的话具有不同的照明强度。发光体尤其能够具有不同的定向或照明方向。借助于所述方法能够重建一个表面对象或者也可以重建多个对象表面。为此，尤其有利的是，(例如事前或者在所述方法期间)求取多个对象或对象表面在空间中的位置或坐标，例如通过图像数据处理的方法。这由于如下原因是有利的：本文档来自技高网...

【技术保护点】
1.一种用于表面重建的方法，其中/n-由多个彼此间隔开的发光体(a-c；a-d)同时照明至少一个对象(O)，/n-拍摄所述至少一个对象(O)的具有多个单幅图像(EB_r-EB_r+n)的照相序列，以及/n-借助于光度学立体分析重建所述对象(O)的至少一个可见的对象表面(OS1，OS2)，其中/n-借助于不同的调制频率(fa-fc；fa-fd)调制由所述发光体(a-c；a-d)放射的光(La-Lc；La-Ld)，/n-根据各自的发光体的调制频率(fa-fc；fa-fd)识别所述发光体(a-c；a-d)的被所述对象(O)反射的光份额并且将其与各自的子图像(TBa-TBc；TBa-TBc)相关联，并且/n-所述子图像(TBa-TBc；TBa-TBc)用作为用于光度学立体分析的输入图像。/n

【技术特征摘要】
【国外来华专利技术】20170808 DE 102017213761.41.一种用于表面重建的方法，其中
-由多个彼此间隔开的发光体(a-c；a-d)同时照明至少一个对象(O)，
-拍摄所述至少一个对象(O)的具有多个单幅图像(EB_r-EB_r+n)的照相序列，以及
-借助于光度学立体分析重建所述对象(O)的至少一个可见的对象表面(OS1，OS2)，其中
-借助于不同的调制频率(fa-fc；fa-fd)调制由所述发光体(a-c；a-d)放射的光(La-Lc；La-Ld)，
-根据各自的发光体的调制频率(fa-fc；fa-fd)识别所述发光体(a-c；a-d)的被所述对象(O)反射的光份额并且将其与各自的子图像(TBa-TBc；TBa-TBc)相关联，并且
-所述子图像(TBa-TBc；TBa-TBc)用作为用于光度学立体分析的输入图像。


2.根据权利要求1中所述的方法，其中
-所述序列的单幅图像(EB_r-EB_r+n)的每个图像点(BP(x,y))经受各自的傅里叶分析，并且
-从所述傅里叶分析中所获得的傅里叶分量(FT_a-FT_c；FT_a-FT_d)作为对应的所述图像点的值与各自的子图像(TBa_TBc；TBa-TBc)相关联。


3.根据上述权利要求中任一项所述的方法，其中使用具有各自的调制频率(fa-fd)的多于三个的发光体(a-d)。


4.根据权利要求3所述的方法，其中
-由多于三个的不同地调制的发光体(a-d)同时照明所述对象(O)，
-产生属于多于三个的所述发光体(a-d)的各自的子图像(TBa-TBd)，
-针对不同的发光体组合分别借助三个子图像执行光度学立体分析，以及
-将分别产生的对象表面(OS1，OS2)中的至少两个组合为唯一的最终的对象表面。


5.根据权利要求2至4中任一项所述的方法，其中
-所述发光体(a-c；a-d)的调制频率(fa-fc；fa-fd)在时间上保持恒定，
-以所述相机(K)的扫描率(f_s)拍摄多个单幅图像(EBr-EBr+n)，所述扫描率高于所述调制频率(fa-fc；fa...

【专利技术属性】
技术研发人员：伯恩哈德·西塞格，法比奥·加拉索，尼古劳·韦尔内克，赫伯特·克斯特尔，
申请(专利权)人：欧司朗股份有限公司，
类型：发明
国别省市：德国;DE