用于通过光学成像进行的对象检测和表征的增强对比度制造技术

利用引导在感兴趣的对象处的受控光照，图像中可看到的感兴趣的对象与背景表面之间的增强对比度被提供。利用光强度随距离的衰减，诸如红外光源之类的光源(或者多个光源)可以被放置在一个或多个照相机附近以在照相机捕获图像时将光照在对象上。被捕获的图像可以被分析以区分对象像素与背景像素。

【技术实现步骤摘要】
用于通过光学成像进行的对象检测和表征的增强对比度本申请是申请日为2013年1月16日、申请号为201380012276.5、专利技术名称为“用于通过光学成像进行的对象检测和表征的增强对比度”的申请的分案申请。与相关申请的交叉参考本申请要求2012年11月8日提交的美国专利No.61/724,068的优先权和权益，该美国专利的全部公开通过引用被合并于此。另外，本申请要求美国专利申请(2012年3月7日提交的)No.13/414,485和(2012年12月21日提交的)13/724,357的优先权，并且还要求美国临时专利申请(2012年11月8日提交的)No.61/724,091和(2012年1月17日提交的)61/587,554的优先权和权益。前述申请全部内容都通过引用被合并于此。
本公开总地涉及成像系统并且具体涉及利用光学成像的三维(3D)对象检测、跟踪和表征。
技术介绍
运动捕获系统被用在各种情境中以获得关于各种对象的构造和运动的信息，包括具有联结构件的对象，例如人手和人身体。这样的系统一般包括照相机以捕获运动中的对象的连续图像以及计算机以分析这些图像来创建对对象的体积、位置和运动的重建。对于3D运动捕获，通常使用至少两个照相机。基于图像的运动捕获系统依赖从背景中区分出感兴趣对象的能力。这通常利用图像分析算法来实现，所述算法通常通过比较像素而检测颜色和/或亮度的突然变化来检测边缘。但是，这样的传统系统在很多常见环境下会遭遇性能恶化，例如感兴趣对象与背景和/或可能错误地记录为对象边缘的背景中的图案之间是低对比度。在一些情况下，区分对象和背景可以通过“装备”感兴趣对象来实现，例如通过让人在进行运动时带上反射器网或活动光源等。特殊照明状况(例如低光照)可以被用于使反射器或光源在图像中凸显出来。但是，装备对象不总是一种方便或所想要的选择。
技术实现思路
本专利技术的特定实施例涉及通过增强图像中可看到的对象和背景表面之间的对比度来提高对象识别度的成像系统；这可以例如利用在对象处被引导的受控光照来实现。例如，在其中诸如人手之类的感兴趣对象与任何背景表面相比很大程度上更靠近照相机的运动捕获系统中，光强度随距离的衰减(对于点状光源为1/r2)可以通过将光源(或多个光源)放置在照相机或其它图像捕获设备附近并且将光照在对象上而被利用。被附近的感兴趣对象反射的光源光可以被预期为比从更远的背景表面反射的光亮得多，并且背景越远(相对于对象)，效果越明显。因此，在一些实施例中，被捕获图像中的像素亮度的截止阈值可以被用于区分“对象”像素与“背景”像素。虽然可以利用宽带环境光源，但是各种实施例利用具有受限的波长范围的光和匹配为检测这样的光的照相机；例如，红外光源光可以与对红外频率敏感的一个或多个照相机一起使用。因此，在第一方面，本专利技术涉及一种用于识别数字表示的图像场景中的感兴趣对象的图像捕获及分析系统。在各种实施例中，该系统包括面向视场的至少一个照相机；被置于与照相机在视场的相同侧上并且方向被放置为照亮视场的至少一个光源；以及被耦接到照相机和光源的图像分析器。该图像分析器可以被配置为操作照相机以捕获包括在光源照亮视场时被捕获的第一图像的一系列图像；识别出与对象相对应而不是与背景(例如附近的或者反射的图像成分)相对应的像素；并且基于被识别的像素，构建包括对象的位置和形状的对象的3D模型，以从几何上确定该对象与感兴趣的对象相对应。在特定实施例中，图像分析器在(i)与位于视场的近端区内的对象相对应的前景图像成分与(ii)与位于视场的远端区内的对象相对应的背景图像成分之间进行区分，其中近端区从照相机开始延伸并且具有相对于照相机的深度，该深度为与前景图像成分相对应的对象与照相机之间的预期最大距离的至少两倍，其中远端区相对于所述至少一个照相机被置于近端区以外。例如，近端区可以具有预期最大距离的至少四倍的深度。在其它实施例中，图像分析器操作照相机以在光源没有照亮所述视场时捕获第二和第三图像并且基于第一与第二图像之间的差异和第一与第三图像之间的差异识别出与对象相对应的像素，其中第二图像在第一图像之前被捕获并且第三图像在第二图像之后被捕获。光源可以例如是漫射发射器－例如红外发光二极管，在这种情况下，照相机为红外敏感照相机。两个或更多个光源可以被布置为在照相机的两侧并且与照相机基本在同一平面上。在各种实施例中，照相机和光源的方向被放置为垂直向上。为了增强对比度，照相机可以被操作为提供不超过100微秒的曝光时间并且光源可以在曝光时间期间以至少5瓦的功率水平被激活。在特定实施例中，全息衍射光栅被置于每个照相机的镜头与视场之间(即在照相机镜头前面)。图像分析器可以通过以下步骤从几何上确定对象是否对应于感兴趣的对象，所述步骤为识别出从体积上限定候选对象的椭圆，丢掉几何上与基于椭圆的限定不一致的对象片段，并且基于椭圆确定候选对象是否对应于感兴趣的对象。在另一方面，本专利技术涉及一种用于捕获和分析图像的方法。在各种实施例中，该方法包括以下步骤：激活至少一个光源以照亮包含感兴趣的对象的视场；在光源被激活时利用照相机(或多个照相机)捕获视场的一系列数字图像；识别出与对象相对应而非与背景相对应的像素；并且基于被识别出的像素，构建包括对象的位置和形状的对象的3D模型，以从几何上确定该对象与感兴趣的对象相对应。光源可以被放置以使得感兴趣的对象被置于视场的近端区内，其中近端区从照相机延伸到感兴趣的对象与照相机之间的预期最大距离的至少两倍的距离处。例如，近端区可以具有预期最大距离的至少四倍的深度。光源可以例如是漫射发射器－例如红外发光二极管，在这种情况下，照相机为红外敏感照相机。两个或更多个光源可以被布置为在照相机的两侧并且与照相机基本在同一平面上。在各种实施例中，照相机和光源的方向被放置为垂直向上。为了增强对比度，照相机可以被操作为提供不超过100微秒的曝光时间并且光源可以在曝光时间期间以至少5瓦的功率水平被激活。或者，对象像素可以通过捕获光源未被激活时的第一图像、光源被激活时的第二图像以及光源未被激活时的第三图像而被识别，其中与对象相对应的像素基于第二与第一图像之间的差异和第二与第三图像之间的差异而被识别。从几何上确定对象是否对应于感兴趣的对象可以包括或者由以下步骤组成：识别出从体积上限定候选对象的椭圆，丢掉几何上与基于椭圆的限定不一致的对象片段，并且基于椭圆确定候选对象是否对应于感兴趣的对象。在另一方面中，本专利技术涉及一种将圆形对象放置在数字图像内的方法。在各种实施例中，该方法包括以下步骤：激活至少一个光源以照亮包含感兴趣的对象的视场；操作照相机以捕获一系列图像，这些图像包括在所述至少一个光源照亮视场时所捕获的第一图像；以及分析图像以检测其中指示视场中的圆形对象的高斯亮度衰减模式。在一些实施例中，圆形对象在不识别其边缘的情况下被检测。该方法还可以包括通过多个被捕获图像跟踪被检测的圆形对象的运动。本专利技术的另一方面涉及一种用于将圆形对象放置在视场内的图像捕获及分析系统。在各种实施例中，该系统包括面向视场的至少一个照相机；被置于与照相机在视场的相同侧上并且方向被放置为照亮视场的至少一个光源；以及被耦接到照相机和光源的图像分析器。该图像分析器可以被配置为操作照相机以捕获包括在光源照本文档来自技高网...

【技术保护点】
一种用于分析捕获图像的方法，所述方法包括：使用照相机和至少一个光源捕获视场的第一多个数字图像；基于通过所述捕获而捕获的第一数字图像、第二数字图像和第三数字图像之间的差异，识别所述第一多个数字图像的不与背景对应而是与对象对应的像素，所述识别包括：基于通过所述捕获而捕获的所述第一数字图像和通过所述捕获而捕获的所述第二数字图像之间的差异形成第一差异图像；基于通过所述捕获而捕获的所述第二数字图像和通过所述捕获而捕获的所述第三数字图像之间的差异形成第二差异图像；以及确定第三差异图像，其中所述第三差异图像的一个或多个像素中的每个像素包括在所述第一差异图像中的对应像素和在所述第二差异图像中的对应像素之间的较小像素值的像素，其中所述第三差异图像识别与所述对象对应的像素；以及基于所识别的像素构建所述对象的模型，所述模型包括所述对象的位置和形状。

【技术特征摘要】
2012.01.17 US 61/587,554;2012.03.07 US 13/414,485;1.一种用于分析捕获图像的方法，所述方法包括：使用照相机和至少一个光源捕获视场的第一多个数字图像；基于通过所述捕获而捕获的第一数字图像、第二数字图像和第三数字图像之间的差异，识别所述第一多个数字图像的不与背景对应而是与对象对应的像素，所述识别包括：基于通过所述捕获而捕获的所述第一数字图像和通过所述捕获而捕获的所述第二数字图像之间的差异形成第一差异图像；基于通过所述捕获而捕获的所述第二数字图像和通过所述捕获而捕获的所述第三数字图像之间的差异形成第二差异图像；以及确定第三差异图像，其中所述第三差异图像的一个或多个像素中的每个像素包括在所述第一差异图像中的对应像素和在所述第二差异图像中的对应像素之间的较小像素值的像素，其中所述第三差异图像识别与所述对象对应的像素；以及基于所识别的像素构建所述对象的模型，所述模型包括所述对象的位置和形状。2.如权利要求1所述的方法，其中所述像素值对应于亮度水平，使得所述第三差异图像的一个或多个像素中的每个像素包括来自所述第一差异图像和所述第二差异图像的对应像素的具有较小亮度水平的一个像素。3.如权利要求2所述的方法，还包括使用阈值来区分前景像素和背景像素。4.如权利要求1所述的方法，其中所述第一多个数字图像的捕获包括：将所述至少一个光源从第一照明功率脉冲激励至第二照明功率。5.如权利要求4所述的方法，其中所述脉冲激励包括：在所述照相机捕获所述第一多个数字图像时，按规律间隔脉冲激励所述至少一个光源，使得光强对于对象像素比对于背景像素强。6.如权利要求1所述的方法，其中所述第一数字图像、所述第二数字图像和所述第三数字图像是连续数字图像。7.如权利要求1所述的方法，其中识别所述第一多个数字图像的像素包括：识别与手而不是与天花板对应的像素。8.如权利要求1所述的方法，其中识别所述第一多个数字图像的像素包括：发送所述第一多个数字图像中的每个数字图像的缩减表示，其中所识别的背景像素被归零。9.如权利要求1所述的方法，其中构建所述模型包括：构建3D模型。10.如权利要求1所述的方法，其中所述第一多个数字图像的捕获还包括：过滤掉在所述至少一个光源的峰值频率附近的频带以外的光。11.如权利要求1所述的方法，其中所述识别包括：在所述第一多个数字图像中的至少一个数字图像中检测指示圆形对象的高斯亮度衰减模式。12.如权利要求1所述的方法，其中构建所述模型还包括：从在特定有利位置观察的并且由所述第一多个数字图像的识别的像素所限定的所述对象的形状的轮廓来重构所述对象的位置，重构所述位置包括：在这里被称为“切片”的平面中，在给定切片中限定从所述特定有利位置到所述对象的、与来自所述特定有利位置的所述第一多个数字图像中的所述对象相切的多个切线；以及利用一个或多个简单闭合曲线，确定所述对象在所述切片中的所述位置和近似横截面。13.一种可佩戴护目镜，包括：朝向视场定向的至少一个照相机；至少一个光源，布置在所述视场的与所述至少一个照相机相同的一侧并且定向成照明所述视场；以及处理器，耦合至所述至少一个照相机和所述至少一个光源，并且被配置成：使用所述至少一个照相机和所述至少一个光源捕获所述视场的第一多个数字图像；基于通过所述捕获而捕获的第一数字图像、第二数字图像和第三数字图像之间的差异，识别所述第一多个数字图像的不与背景对应而是与对象对应的像素，所述识...

【专利技术属性】
技术研发人员：D·霍尔兹，杨骅，
申请(专利权)人：厉动公司，
类型：发明
国别省市：美国,US