深度感测计算机视觉系统技术方案

在各种实施例中，用于获取深度图像的系统和方法利用适于安全等级应用的架构，且可以包括沿不同光学路径运行的多个传感器(如飞行时间传感器)和用于确保正确的传感器运行的比较模块。误差度量可以与像素级深度值相关联，以允许基于不完全已知的深度的安全控制。

【技术实现步骤摘要】
【国外来华专利技术】深度感测计算机视觉系统相关申请的交叉引用本申请要求于2018年8月30日提交的美国临时专利申请No.62/724,941的优先权和权益，并将其全部内容通过引用并入本申请。
本专利技术的领域通常涉及对人和机械设备交互或接近的工业环境进行监控，且尤其涉及用于在监控的工作空间中检测不安全状况的系统和方法。
技术介绍
工业机械设备通常对人类来说是有危险的。某些机械设备除非完全关闭，否则是危险的，而其他机械设备可能具有多种运行状态，其中有一些是危险的，有一些则不是。在某些情况下，危险程度可能取决于人相对于机械设备的位置或距离。因此，已经开发出许多“防护”方法来将人与机器分开，并防止机械设备对人造成伤害。一种非常简单和常见类型的防护为围绕机械设备的笼罩，其构造成使得打开笼罩的门会使电路将机械设备置于安全状态。如果将门放置在距离机械设备足够远，以确保在机械设备关闭前人无法接近，这确保了在机械设备运行时，人永远不会接近机械设备。当然，这阻止了人与机器之间的所有交互，并严重限制了工作空间的使用。如果不仅人类而且机械设备(例如，机器人)也可以在工作空间内运动，则问题变得更加严重。两者都可能以快速且不整齐的方式改变位置和配置。典型的工业机器人是固定的，但仍具有强大的机械臂，这些机械臂可能会在可能的运动轨迹的较大“包络(envelope)”内造成伤害。另外，机器人通常安装在轨道或其他类型的外轴上，并且附加的机械设备通常包含于机器人的末端执行器中，这两方面都增大了机器人的有效总包络。诸如光幕等传感器可以代替笼罩或其他物理屏障，提供替代方法防止人与机械设备接触。诸如二维(2D)光探测和测距(LIDAR)传感器等传感器能够提供更复杂的功能，例如允许工业机械设备或机器人在外部区域检测到入侵时减速或发出警告，并且仅当在内部区域检测到入侵时停止。此外，使用2DLIDAR的系统可以限定各种形状的多个区域。由于危及人身安全，防护设备通常必须遵守有关功能安全的严格行业标准，例如ISO13849、IEC61508和IEC62061。这些标准规定了硬件组件的最大故障率，并定义了必须遵守的严格的硬件和软件组件开发实践，以便使系统在工业环境中安全使用。此类系统必须确保能够以非常高的可能性检测到危险情况和系统故障，并且系统通过将受控设备转换为安全状态来对此类事件做出响应。例如，检测区域入侵的系统可能偏向于显示入侵，即冒着错误肯定的风险，以避免错误否定的危险后果。一类新的传感器显示了在机器防护中的巨大前景，它提供了三维(3D)深度信息。这种传感器的示例包括3D飞行时间相机、3DLIDAR和立体视觉相机。这些传感器具有以3D探测和定位进入工业机械设备周围区域的能力，其相对于2D系统具有多个优点。特别是对于复杂的工作单元，很难确定有效覆盖整个空间以进行监控的2D平面的组合；适当配置的3D传感器能够缓解此问题。例如，当检测到侵入远远超过距离机器人的臂长距离(“保护间隔距离(ProtectiveSeparationDistance)”或PSD)时，防护工业机器人的所占面积的2DLIDAR系统将必须先发制人地停止机器人，因为如果侵入代表一个人的腿，该人的手臂可能会更接近且将无法被2DLIDAR系统检测到。对于无法检测到手臂或手的传感器，PSD有一个额外的术语称为侵入距离，通常设置为850mm。相较之下，3D系统能够允许机器人继续运行，直到该人实际上将他或她的手臂伸向机器人为止。这样在机器的动作与人的动作之间提供了更紧密的互锁，避免过早或不必要的停机，促进了许多新的安全应用和工作单元设计，并节省了工厂车间的空间(这总是非常有价值的)。3D感测的另一个应用涉及人类和机器共同协作才能最好地完成的任务。人和机器各有不同的优势和劣势。通常，机器可能更强力、更快、更精确，并且具有更高的可重复性。人具有机动性、灵巧性和远超甚至最先进的机器的能力的判断力。协作应用的一个示例是在汽车中安装仪表板——仪表板很重，人很难操纵，但是将其连接起来需要各种连接器和紧固件，这需要人的灵巧性。基于3D感测的防护系统可以让工业工程师设计出能够优化分配人和机器的子任务的流程，在保证安全的前提下，最好地利用他们的不同能力。2D和3D感测系统可能共享基础技术。例如，RGB相机和立体视觉相机利用镜头和传感器组合(即相机)来捕获场景的图像，然后对其进行算法上的分析。基于相机的感测系统通常包括几个关键组件。光源照亮待检查或测量的对象。该光源可以是相机的一部分，如在主动感测系统中那样，或者独立于相机，例如照亮相机视场的灯，或者甚至环境光。镜头聚焦来自对象的反射光，并提供宽视场。图像传感器(通常为CCD或CMOS阵列)将光转换为电信号。相机模块通常集成镜头、图像传感器和必要的电子器件，以提供电输入用于进一步分析。来自相机模块的信号被馈送到图像采集系统，例如帧捕获器，该图像采集系统存储并进一步处理2D或3D图像信号。处理器运行图像分析软件，用于捕获的场景内的对象的识别、测量和定位。取决于系统的特定设计，处理器可以使用中央处理单元(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)或任意数量的其他架构，可以部署在独立的计算机中或集成在相机模块中。基于2D相机的方法非常适合使用已知的图像处理技术(例如边缘检测或模板匹配)检测缺陷或进行测量。2D感测用于非结构性环境中，并且，借助先进的图像处理算法，可以补偿变化的照明和阴影条件。但是，用于从2D图像得到3D信息的算法可能缺乏针对安全性至关重要的应用的鲁棒性和适用性，因为它们的故障模式难以表征。尽管典型的图像提供对象或空间的2D信息，3D相机添加另一个维度并估计到场景中的对象和其他元素的距离。因此，3D感测可以提供对象或空间的3D轮廓，其本身可以用于创建周围环境的3D地图并相对于该地图定位对象。鲁棒的3D视觉克服了2D视觉的许多问题，因为深度测量可用于轻松地将前景与背景分离。这对于场景理解特别有用，其中第一步是将感兴趣的对象(前景)与图像的其他部分(背景)区分开。广泛使用的基于3D相机的感测方法是立体视觉(stereoscopicvision或stereovision)。立体视觉通常使用两个间隔开的相机，其物理布置类似于人眼。给定空间中的点状对象，相机分离将导致在两个相机图像中对象位置的可测量差异。使用简单的针孔相机几何形状，在3D中对象的位置可以从每个相机中的图像计算出来。这种方法是直观的，但其实际实现常常没那么简单。例如，首先需要识别目标的特征，以便可以比较两个图像用于三角测量，但是特征识别涉及相对复杂的计算，并且可能消耗相当的处理能力。此外，3D立体视觉高度依赖于背景照明环境，并且其有效性会由于阴影、遮挡、低对比度、照明变化或对象或传感器的意外移动而降低。因此，通常将使用两个以上的传感器来获取目标的周围视野，从而处理遮挡，或者提供冗余以补偿由衰减和不受控制的环境导致的错误。另一种常见的替代方法是使用结构化的光图案来增强系统检测特征的能力。3D成像的另一种方法是利用激光器或其他有本文档来自技高网...

【技术保护点】
1.一种图像处理系统，包括：/n第一和第二3D传感器，每个用于生成逐像素值的输出阵列，所述逐像素值指示到传感器的视场内的对象的距离，第一和第二3D传感器的视场沿分隔的光学路径重叠；/n至少一个处理器，用于将来自每个3D传感器的多个顺序获得的输出阵列组合为单个结果输出阵列；/n第一和第二深度计算引擎，能够由至少一个处理器执行，用于将分别来自第一和第二3D传感器的连续结果输出阵列处理为深度值的逐像素阵列，深度计算引擎以流水线方式运行以便在完成先前的结果输出阵列的处理之前开始处理新的结果输出阵列；以及/n比较单元，能够由至少一个处理器执行，用于(i)检测基本上同时来自第一和第二3D传感器的相应处理后的结果输出阵列之间的深度的逐像素差异，以及(ii)如果检测到的差异合计超过噪声度量则生成警报信号。/n

【技术特征摘要】
【国外来华专利技术】20180830 US 62/724,9411.一种图像处理系统，包括：
第一和第二3D传感器，每个用于生成逐像素值的输出阵列，所述逐像素值指示到传感器的视场内的对象的距离，第一和第二3D传感器的视场沿分隔的光学路径重叠；
至少一个处理器，用于将来自每个3D传感器的多个顺序获得的输出阵列组合为单个结果输出阵列；
第一和第二深度计算引擎，能够由至少一个处理器执行，用于将分别来自第一和第二3D传感器的连续结果输出阵列处理为深度值的逐像素阵列，深度计算引擎以流水线方式运行以便在完成先前的结果输出阵列的处理之前开始处理新的结果输出阵列；以及
比较单元，能够由至少一个处理器执行，用于(i)检测基本上同时来自第一和第二3D传感器的相应处理后的结果输出阵列之间的深度的逐像素差异，以及(ii)如果检测到的差异合计超过噪声度量则生成警报信号。


2.根据权利要求1所述的系统，其中，所述3D传感器为飞行时间(ToF)传感器。


3.根据权利要求1所述的系统，其中，所述第一和第二深度计算引擎以及所述比较单元由现场可编程门阵列执行。


4.根据权利要求1所述的系统，进一步包括至少一个温度传感器，所述3D传感器对所述至少一个温度传感器做出响应，并据此修改它们各自的输出阵列。


5.根据权利要求1所述的系统，进一步包括至少一个湿度传感器，所述3D传感器对所述至少一个湿度传感器做出响应，并据此修改它们各自的输出阵列。


6.根据权利要求1所述的系统，其中，使用由3D传感器在无照明下捕获的暗帧将多个顺序获得的输出阵列组合为单输出阵列。


7.根据权利要求1所述的系统，其中，所述逐像素值的输出阵列还包括针对每个值的光学强度值，所述光学强度值指示在所述传感器的视场内到对象的估计距离，所述深度计算引擎至少部分地基于相关联的光学强度值计算针对每个深度值的误差度量。


8.根据权利要求7所述的系统，其中，所述误差度量进一步基于传感器噪声、暗帧数据、环境光或温度中的至少一项。


9.根据权利要求1所述的系统，进一步包括用于存储所述系统的总累积运行时间的计时器，所述计时器配置为当超过预定的总累积运行时间时发出警报。


10.根据权利要求1所述的系统，其中，每个深度计算引擎以流水线方式运行，由此，在执行多个计算处理步骤中的每个步骤之后，完成对最旧的结果输出阵列的处理并开始对最新的结果输出阵列的处理。


11.根据权利要求1所述的系统，进一步包括电压监测器，用于监测所述系统的所有电压轨，并在检测到故障状况时中断系统电源。


12.一种图像处理系统，包括：
多个3D传感器，每个用于(i)照亮传感器的视场，以及(ii)生成逐像素值的输出阵列，所述逐像素值指示到被照亮的视场内的对象的距离；和
校准单元，用于(i)顺序地使3D传感器中的每个生成输出阵列，而其他3D传感器照亮它们的视场，以及(ii)从生成的输出阵列创建干扰矩阵，所述干扰矩阵指示，对于3D传感器中的每个，被与此同时活动的其他3D传感器干扰的程度。


13.根据权利要求12所述的系统，进一步包括用于根据所述干扰矩阵来操作所述3D传感器的处理器，所述处理器在所述3D传感器之一运行期间抑制一个或多个其他3D传感器的同时运行。


14.根据权利要求12所述的系统，进一步包括用于根据所述干扰矩阵来操作所述3D传感器的处理器，所述处理器校正在一个或多个其他3D传感器的同时运行期间由所述传感器之一获得的值。


15.根据权利要求12所述的系统，进一步包括外部同步器，用于单独地使3D传感器运行而没有干扰。


16.根据权利要求12所述的系统，进一步包括用于存储所述系统的总累积运行时间的计时器，所述校准单元对所述总累积运行时间做出相应，且配置为基于其调整指示距离的逐像素值。


17.根据权利要求12所述的系统，进一步包括至少一个温度传感器，校准单元对所述至少一个温度传感器做出响应，并配置为基于其调整指示距离的逐像素值。


18.根据权利要求12所述的系统，进一步包括至少一个湿度传感器，校准单元对所述至少一个湿度传感器做出响应，并配置为基于其调整指示距离的逐像素值。


19.根据权利要求12所述的系统，进一步包括电压监测器，用于监测所述系统的所有电压轨，并在检测到故障状况时中断系统电源。


20.一种图像处理系统，包括：
至少一个3D传感器，用于生成逐像素值的输出阵列，所述值包括光强度值和指示到传感器的视场内的对象的估计距离的值；
处理器；和
深度计算引擎，能够由所述处理器执行，用于将来自所述至少一个3D传感器的连续结果输出阵列处理为深度值的逐像素阵列，深度值的每个具有相关联的误差度量，所述相关联的误差度量至少部分地基于相关联的强度值。

【专利技术属性】
技术研发人员：S·丹尼伯格，L·佩尔西茨，C·乌，R·C·兰德尔，P·索巴尔华洛，V·钱莫罗，G·马尔金，A·莫伊尔，
申请(专利权)人：韦奥机器人股份有限公司，
类型：发明
国别省市：美国;US