根据具有阴影的光度立体技术的3D重构制造技术

公开一种处理场景的图像集合的方法。所述集合由限定图像平面的多个图像元素表示，并且所述图像由不同光强度空间分布但是相对于所述场景相同视点来表征。所述方法包括：对于至少一些图像元素中的每个，独立地选择平行于所述图像平面的方向，基于所述选择的方向构建加权矢量场，并基于所述构建的加权矢量场计算在所述场景中的表面垂直于所述图像平面的高度。所述方法进一步包括基于所述高度重构所述表面的三维空间表示；以及将所述空间表示传输至计算机可读介质。

【技术实现步骤摘要】
【国外来华专利技术】相关申请2013年9月16日提交的美国临时专利申请No.61/878,401的内容，其整体以引用方式并入本文中。
与
技术介绍
在其中的一些实施例中，本专利技术涉及图像处理，并且更具体地，但非排他性地，涉及基于光度立体技术的图像处理。光度立体技术(PS)已经成为用于三维(3D)对象获取技术的强有力工具。常规PS方法通过分析表面如何反射从多个方向入射的光来估计表面取向。已知的PS方法已经公开在S.Barsky和M.Petrou，模式分析和机器智能(patternanalysisandmachineintelligence)，IEEETransactionson，2003，25(10)：1239-1252；R.Mecca和J.D.Durou，2011，图像分析和处理(ImageAnalysisandProcessing)-ICIAP2011-16thInternationalConference，Ravenna，Italy，第286-295页；以及R.OnnandA.M.Bruckstein，1990，InternationalJournalofComputerVision，5(1)：105-113。常规地，PS采用两步处理，其中在第一步中，为整个表面计算表面的法向矢量方向，以及在第二步中，所计算的方向用于计算表面的高度。
技术实现思路
根据本专利技术一些实施例的方面，提供了一种处理场景的图像的集合的方法。该集合由限定图像平面的多个图像元素(picture-element)表示，并且该图像由不同空间强度分布但是相对于场景的相同视点来表征。该方法包括：对于至少一些图像元素中的每个，独立地选择平行于图像平面的方向，基于所选择的方向构建加权矢量场，并基于所构建的加权矢量场计算在场景中的表面垂直于图像平面的高度。该方法进一步包括基于高度重构表面的三维空间表示。根据本专利技术的一些实施例，表面在该集合的至少一个图像中被部分阻挡，并且其中方向的选择包括识别相邻于障碍的图像元素并针对所识别的图像元素选择障碍的切线方向。根据本专利技术的一些实施例，方向的选择包括选择从图像元素指向还未由该方法访问(visit)的邻近图像元素的方向。根据本专利技术的一些实施例，加权矢量场的构建包括：计算用于集合的图像对的矢量，从而提供候选矢量的集合；从候选矢量的集合选择矢量对，所述矢量对与至少一个其它的候选矢量对相比更正交于彼此；以及基于所选择的方向和基于所选择的矢量对计算加权矢量场。根据本专利技术的一些实施例，该方法包括将三维空间表示与参考空间表示相比较，以及基于所述比较识别表面。根据本专利技术的一些实施例，表面为个体的面部的表面。根据本专利技术一些实施例的方面，提供了一种成像的方法。该方法包括：从多个位置依次照明场景；从相同视点获取表面的每个照明处的场景的至少一个图像，从而提供场景的图像的集合。该方法进一步包括通过执行如上所述的方法并且可任选地执行如下进一步详细说明的方法分析图像。根据本专利技术的一些实施例，图像的集合为场景图像的集合。根据本专利技术的一些实施例，图像的集合为内窥镜图像的集合。根据本专利技术一些实施例的方面，提供了一种检查对象的表面的方法。该方法包括通过执行以上描述的方法使对象表面成像，并且分析三维空间表示，从而检查对象的表面。根据本专利技术一些实施例的方面，提供了一种用于图像处理的计算机软件产品。该计算机软件产品包括由数据处理器可读取的非易失性存储器介质。该存储器介质存储程序指令，当存储器介质由数据处理器读取时，引起数据处理器接收图像的集合并且执行如上所述的方法和可任选地执行如下进一步详细说明的方法。根据本专利技术一些实施例的方面，提供了一种用于成像的系统。该系统包括：照明系统，用于从多个位置照明场景；图像传感器，用于从相同视点中获取在表面每个照明处的场景的至少一个图像，从而提供场景图像的集合；以及数据处理器，具有电子电路和由电路可读取的非易失性存储器介质。存储器介质存储程序指令，当存储器介质由电路读取时引起电路接收图集合并且执行如上所述的方法和任选地执行如下进一步详细说明的方法。根据本专利技术的一些实施例，照明系统和图像传感器被安装在内窥镜上。根据本专利技术一些实施例的方面，提供了一种便携式设备，其包括如上所述的成像系统和可任选地包括如下进一步详细说明的成像系统。根据本专利技术的一些实施例，便携式设备选自由以下项所组成的组：移动电话、智能电话、平板设备、移动数字照相机、穿戴式照相机、便携式媒体播放器、便携式游戏设备、便携式数字助理设备和便携式导航设备。根据本专利技术一些实施例的方面，提供了一种处理场景的内窥镜图像的集合的方法，该集合由限定图像平面的多个图像元素表示，该图像由不同光强度空间分布但是相对于场景的相同视点来表征。该方法包括：获得场景中的对应于种子图像元素的位置的深度；对于除了种子图像元素的至少一些图像元素的每个图像元素，将深度与图像元素相关联，独立地选择平行于图像平面的方向，基于所选择的方向和相关联的深度构建加权矢量场，以及基于所构建的加权矢量场计算在场景中表面垂直于图像平面的高度。该方法进一步包括基于高度重构表面的三维空间表示。根据本专利技术的一些实施例，加权矢量场是根据相对于深度的非线性的参数化而计算。根据本专利技术的一些实施例，加权矢量场是根据与深度成反比的参数化而计算。根据本专利技术的一些实施例，该方法包括针对光衰减校正图像元素的强度值。根据本专利技术的一些实施例，校正包括计算光衰减系数，并且将强度值乘以光衰减系数。根据本专利技术的一些实施例，校正包括计算由于通过光传播的距离引起的光衰减。根据本专利技术的一些实施例，校正包括计算光的径向衰减。根据本专利技术的一些实施例，表面在集合的至少一个图像中被部分阻挡，以及其中方向的选择包括识别相邻于障碍的图像元素并且针对所识别的图像元素选择障碍的切线方向。根据本专利技术的一些实施例，方向的选择包括选择从图像元素指向还未由该方法访问的邻近图像元素的方向。根据本专利技术的一些实施例，加权矢量场由以下方法构建：计算用于该集合的图像对的矢量，从而提供候选矢量集合；从候选矢量的集合中选择矢量对，所述矢量对与至少一个其它候选矢量对相比更正交于彼此；以及基于所选择的方向和基于所选择的矢量对计算加权矢量场。根据本专利技术的一些实施例，图像元素沿着扩展的波前而动态选择。根据本专利技术的一些实施例，高度的计算是根据前向数值方案。根据本专利技术的一些实施例，该前向数值方案为前向逆风(upwind)方案。根据本专利技术的一些实施例本文档来自技高网...

【技术保护点】
一种处理场景的内窥镜图像集合的方法，所述集合由限定图像平面的多个图像元素表示，所述图像由不同光强度空间分布但是相对于所述场景相同视点来表征，所述方法包括：获得所述场景中的对应于种子图像元素的位置的深度；对于除了所述种子图像元素之外的至少一些图像元素中的每个图像元素，将深度关联到所述图像元素，独立地选择平行于所述图像平面的方向，基于所述选择的方向和所述关联的深度构建加权矢量场，并基于所述构建的加权矢量场计算所述场景中的表面的垂直于所述图像平面的高度；以及基于所述高度重构所述表面的三维空间表示。

【技术特征摘要】
【国外来华专利技术】2013.09.16 US 61/878,4011.一种处理场景的内窥镜图像集合的方法，所述集合由限定图像平面的多个图像元素
表示，所述图像由不同光强度空间分布但是相对于所述场景相同视点来表征，所述方法包
括：
获得所述场景中的对应于种子图像元素的位置的深度；
对于除了所述种子图像元素之外的至少一些图像元素中的每个图像元素，将深度关联
到所述图像元素，独立地选择平行于所述图像平面的方向，基于所述选择的方向和所述关
联的深度构建加权矢量场，并基于所述构建的加权矢量场计算所述场景中的表面的垂直于
所述图像平面的高度；以及
基于所述高度重构所述表面的三维空间表示。
2.根据权利要求1所述的方法，其中根据相对于所述深度非线性的参数化计算所述加
权矢量场。
3.根据权利要求1和权利要求2中任一项所述的方法，其中根据与所述深度成反比的参
数化计算所述加权矢量场。
4.根据权利要求1至权利要求3中任一项所述的方法，进一步包括针对光衰减校正所述
图像元素的强度值。
5.根据权利要求4所述的方法，其中所述校正包括计算光衰减系数，并将所述强度值与
所述光衰减系数相乘。
6.根据权利要求4所述的方法，其中所述校正包括计算由于光传播的距离引起的光衰
减。
7.根据权利要求4所述的方法，其中所述校正包括计算光的径向衰减。
8.根据权利要求1至权利要求7中任一项所述的方法，其中所述表面在所述集合的至少
一个图像中被部分地阻挡，并且其中所述方向的所述选择包括识别相邻于障碍的图像元素
并针对所述识别的图像元素选择所述障碍的切线方向。
9.根据权利要求1至权利要求8中任一项所述的方法，其中所述方向的所述选择包括选
择从所述图像元素指向还未由所述方法访问的相邻图像元素的方向。
10.根据权利要求1至权利要求9中任一项所述的方法，其中所述构建所述加权矢量场，
包括：
计算用于所述集合的图像对的矢量，从而提供候选矢量的集合；
从候选矢量的所述集合中选择矢量对，所述矢量对与至少一个其它候选矢量对相比更
正交于彼此；以及
基于所述选择的方向以及基于所述选择的矢量对，计算所述加权矢量场。
11.根据权利要求1至权利要求10中任一项所述的方法，其中沿着扩展的波前动态选择
所述图像元素。
12.根据权利要求1至权利要求11中任一项所述的方法，其中所述高度的所述计算是根
据前向数值方案。
13.根据权利要求12所述的方法，其中所述前向数值方案为前向逆风方案。
14.根据权利要求12所述的方法，其中所述前向数值方案为前向半拉格朗日方案。
15.根据权利要求1至权利要求14中任一项所述的方法，进一步包括基于所述空间表示
构建所述场景的三维图。
16.一种成像的方法，所述方法包括：
使用内窥镜以从多个位置依次照明场景；
从相同视点中获取在所述表面每个照明处的所述场景的至少一个图像，从而提供场景
的图像集合；以及
执行根据权利要求1至权利要求15中任一项所述的方法。
17.一种用于图像处理的计算机软件产品，所述计算机软件产品包括：由数据处理器可
读取的非易失性存储器介质，所述存储器介质存储程序指令，当由所述数据处理器读取所
述存储器介质时，引起所述数据处理器接收图像的集合并且执行根据权利要求1至权利要
求14中任一项所述的方法。
18.一种用于成像的系统，所述系统包括：
内窥镜，所述内窥镜被安装有照明系统和图像传感器，所述照明系统经配置用于从多
个位置照明场景，所述图像传感器用于从所述相同视点中获取在所述表面的每个照明处的
所述场景的至少一个图像，从而提供场景的图像集合；以及
数据处理器，所述数据处理器具有电子电路和由所述电路可读取的非易失性存储器介
质，其中所述存储器介质存储程序指令，当所述程序指令由所述电路读取时引起所述电路
接收所述图像集合，并且执行根据权利要求1至权利要求14中任一项所述的方法。
19.一种处理场景的图像集合的方法，所述集合由限定图像平面的...

【专利技术属性】
技术研发人员：A·韦茨勒，R·麦加，R·基梅尔，A·M·布朗斯坦，
申请(专利权)人：泰克年研究发展基金会公司，
类型：发明
国别省市：以色列;IL