工作空间安全监控和设备控制制造技术

使用围绕工作空间分布的传感器出于安全目监控工作空间的系统和方法。传感器相对于彼此配准，并且随时间对该配准进行监控。识别出被遮挡的空间以及已占用空间，且此映射经常更新。

Work space safety monitoring and equipment control

A system and method of monitoring a workspace for safety purposes using sensors distributed around the workspace. The sensors register with respect to each other and monitor the registration over time. The occluded space and occupied space are identified, and this mapping is often updated.

【技术实现步骤摘要】
【国外来华专利技术】工作空间安全监控和设备控制相关申请的交叉引用本申请要求于2017年2月7日提交的美国临时专利申请号62/455,828和62/455,834的优先权和权益。
本专利技术的领域通常涉及对人和机械设备交互或接近的工业环境进行监控，且尤其涉及用于在监控的工作空间中检测不安全状况的系统和方法。
技术介绍
工业机械设备通常对人类来说是有危险的。某些机械设备除非完全关闭，否则是危险的，而其他机械设备可能具有多种运行状态，其中有一些是危险的，有一些则不是。在某些情况下，危险程度可能取决于人相对于机械设备的位置。因此，已经开发出许多“防护”方法来防止机械设备对人造成伤害。一种非常简单和常见类型的防护为围绕机械设备的笼罩，其构造成使得打开笼罩的门会使电路关闭机械设备。这确保了在机械设备运行时，人永远无法接近机械设备。当然，这阻止了人与机器之间的所有交互，并严重限制了工作空间的使用。更复杂的类型的防护涉及光学传感器。示例包括光幕(lightcurtain)，其确定是否有任何对象侵入由一个或多个光发射器和检测器监控的区域，以及2DLIDAR传感器，其使用主动光学感测来检测沿着从传感器发出的一系列光线到障碍物的最小距离，且因此可以配置为检测接近或侵入到预先配置的二维(2D)区域中。最近，系统开始使用例如3D飞行时间相机、3DLIDAR和立体视觉相机来采用3D深度信息。这些传感器具有以3D探测和定位进入工业机械设备周围区域的能力，其具有多个优点。例如，当检测到侵入的距离远远超过机器人的臂长距离时，防护工业机器人的2DLIDAR系统将必须停止机器人，因为如果侵入代表一个人的腿，该人的手臂可能会更接近且将无法被平面LIDAR检测到。但是，3D系统可以允许机器人继续运行，直到该人实际上将他或她的手臂伸向机器人为止。这允许机器的动作与人的动作之间更紧密的互锁，这有利于许多应用，并节省了工厂车间的空间，这总是非常重要的。由于危及人身安全，防护设备通常必须符合严格的工业标准。这些标准可以指定硬件组件的故障率以及针对硬件和软件组件的严格的开发实践。符合标准的系统必须确保能够以很高的概率检测到危险情况，检测到系统本身的故障，以及系统通过将设备转换为在安全状态下受控来响应检测到的故障。在人与机器协同工作的相关任务中，防护设备的设计变得特别具有挑战性。尽管机器可能比人类更强大、更快、更精确并且更具可重复性，但它们缺乏人类的灵活性、灵巧性和判断力。协作应用的一个示例是在汽车中安装仪表板——仪表板很重，人很难操纵，但是将其连接起来需要各种连接器和紧固件，这需要人工才能正确处理。简单地将人与机器分开意味着防护工作要简单得多，然后当人主动使用可能伤害他们的机器时，检测不安全状况。传统的防护系统在操作上的粒度(granular)不足以可靠地监控此类环境。3D传感器系统提供了改进防护系统粒度的可能性。但是与2D传感器系统相比，3D数据系统可能较难配置。首先，考虑到机械设备、人在工作空间中可能的动作、工作空间布局以及每个传感器的位置和视场造成的特定危害，必须针对每种用例设计和配置特定区域。计算禁区的最佳形状会很困难，尤其是在尝试维持安全性的同时优化地面空间和系统吞吐量，其中一个对象可能相对于传感器出现遮挡，且其中光级相对于不同传感器不同。配置上的错误会导致严重的安全隐患，需要大量的设计和测试支出。如果对工作空间进行任何更改，那么所有的这些工作都必须完全重做。3D系统提供的额外自由度会导致更大范围的可能配置和危害。因此，需要用于以高粒度监控工作空间的改进的且在计算上易于处理的技术。即使可以精确地映射和监控工作空间，在机器人和人可以移动的动态环境中——即，改变位置和配置——以快速且不均一的方式维持安全性。典型的工业机器人是固定的，但仍具有强大的机械臂，这些机械臂可能会在可能的运动轨迹的较大“包络(envelope)”内造成伤害。通常，机械臂由许多机械连杆组成，这些机械连杆通过可以精确控制的旋转关节连接，并且控制器协调所有的关节以实现由工业工程师为特定应用确定的轨迹。单个机器人应用可能仅使用机器人整个运动范围的一部分。但是，控制机器人轨迹的软件通常不会考虑或开发为机器人安全系统的一部分。因此，尽管机器人可能只使用其轨迹包络的一小部分，但防护系统(例如，笼罩)已配置为包含机器人的整个运动范围。与其他类型的防护一样，此类设备已从简单的机械解决方案演变为电子传感器和软件控制。近年来，机器人制造商还引入了所谓的“软”轴和速率限制系统——安全级软件，其将机器人限制在其运动范围的某些部分以及特定的速度。然后在安全级软件中强制执行此约束——如果在任何时候发现机器人违反了软轴和速率限制设置，则紧急停止。该方法增大了机器人周围的有效安全区域并支持协作应用。然而，这些系统表现出至少两个明显的缺点。首先，考虑到机器人的轨迹、人在工作空间中可能的动作、工作空间布局以及每个传感器的位置和视场，通常必须由工业工程师针对每个用例对特定区域进行编程。无论这些区域本身可以被表征和监控的精度如何，都难以计算这些区域的最佳形状。配置上的错误会导致严重的安全隐患，如果对机器人程序或工作空间进行了任何更改，则必须重新配置安全区域。其次，这些区域和速度限制是离散的——通常没有办法按比例仅使机器人的速度降低到机器人与检测到的障碍物之间的精确距离所必需的速度，因此，它们必须非常保守。另一个复杂之处是需要计划预期的和可能的机器人轨迹，包括机器人已经拾取的工件或已经与机器人关联的工件。因此，随着工作空间占用和机器人任务的发展需要以动态方式配置和重新配置安全区域的新方法。
技术实现思路
一方面，本专利技术的实施例提供了出于安全目的使用分布在工作空间周围的传感器监控工作空间的系统和方法。所述工作空间可包含一台或多台可能对人类造成危险的设备，以及工业机器人和辅助设备，例如零件进给器、导轨、夹具或其他机器。传感器相对于彼此配准，并且随时间对该配准进行监控。识别出被遮挡的空间以及已占用的空间，并且经常对此映射进行更新。被监控的空间内的区域可能标记为已占用的、未占用的或未知的；只有空的空间才能最终认为是安全的，并且只有在满足任何其他安全标准时——例如，与一台受控制的机械设备的最小距离——才可以认为是安全的。通常，对来自每个传感器的原始数据进行分析，以确定在与传感器相对应的整个覆盖区域内，是否已确定地检测到3D映射空间的对象或边界。当人在3D空间中移动时，他或她通常会遮挡某些区域妨碍某些传感器，导致空间中暂时未知的区域。此外，诸如工业机械臂等移动机械设备也可能暂时遮挡某些区域。当人或机械设备移动到不同位置时，一个或多个传感器将再次能够观测未知的空间并将其返回到确认为空的状态，且因此对于机器人或机器来说在该空间中运行是安全的。因此，在一些实施例中，空间也可以分类为“可能占用的”。当出现未知的空间可能为已占用的情况时，未知的空间将被视为可能占用的。当未知的空间与工作空间的入口点相邻时，或者如果未知的空间与已占用的或可能占用的空间相邻时，这可能会发生。可能占用的空间以代表人在工作空间中本文档来自技高网...

【技术保护点】
1.一种用于识别三维工作空间中的安全区域的安全系统，所述工作空间包括受控的机械设备，所述系统包括：/n围绕工作空间分布的多个传感器，每个传感器与像素网格相关联，用于记录工作空间在传感器视场内的一部分的图像，工作空间多个部分彼此部分重叠；/n控制器，其配置为：/n传感器相互之间进行配准，使得传感器获得的图像共同代表所述工作空间；/n以多个体积生成工作空间的三维表示；/n对于强度水平高于阈值的每个传感器像素，初步标记为未占用的体积由穿过该像素的视线光线路径所拦截并在一估计距离处从关联的遮挡传感器终止，标记为已占用的体积对应于光线路径的终点，以及标记为未知的任何体积在沿光线路径的遮挡之外；/n对于强度水平低于阈值的每个传感器像素，初步标记为未知的所有体素由穿过该像素的视线光线路径所拦截并在工作空间的边界处终止；/n最后标记为未占用的体积，其至少已初步被标记为未占用的一次；以及/n在工作空间内映射一个或多个安全体积区域，所述体积区域在机械设备的安全区域外，且仅包括标记为未占用的体积。/n

【技术特征摘要】
【国外来华专利技术】20170207 US 62/455,834;20170207 US 62/455,8281.一种用于识别三维工作空间中的安全区域的安全系统，所述工作空间包括受控的机械设备，所述系统包括：
围绕工作空间分布的多个传感器，每个传感器与像素网格相关联，用于记录工作空间在传感器视场内的一部分的图像，工作空间多个部分彼此部分重叠；
控制器，其配置为：
传感器相互之间进行配准，使得传感器获得的图像共同代表所述工作空间；
以多个体积生成工作空间的三维表示；
对于强度水平高于阈值的每个传感器像素，初步标记为未占用的体积由穿过该像素的视线光线路径所拦截并在一估计距离处从关联的遮挡传感器终止，标记为已占用的体积对应于光线路径的终点，以及标记为未知的任何体积在沿光线路径的遮挡之外；
对于强度水平低于阈值的每个传感器像素，初步标记为未知的所有体素由穿过该像素的视线光线路径所拦截并在工作空间的边界处终止；
最后标记为未占用的体积，其至少已初步被标记为未占用的一次；以及
在工作空间内映射一个或多个安全体积区域，所述体积区域在机械设备的安全区域外，且仅包括标记为未占用的体积。


2.根据权利要求1所述的安全系统，其中，所述点为体素。


3.根据权利要求1所述的安全系统，其中，所述安全区域为围绕所述机械设备的至少一部分的3D体积。


4.根据权利要求3所述的安全系统，其中，所述控制器响应于所述传感器对所述工作空间的实时监控，并配置为响应于由所述传感器检测到的进入所述安全区域的侵入而改变所述机械设备的运行。


5.根据权利要求4所述的安全系统，其中，所述安全区域在所述3D体积内被划分为多个嵌套的子区域，检测到的对每个所述子区域的侵入使所述机械设备的运行产生不同程度的改变。


6.根据权利要求1所述的安全系统，其中，所述传感器为3D传感器。


7.根据权利要求6所述的安全系统，其中，所述传感器的至少其中一些为飞行时间相机。


8.根据权利要求6所述的安全系统，其中，所述传感器的至少其中一些为3DLIDAR传感器。


9.根据权利要求6所述的安全系统，其中，所述传感器的至少其中一些为立体视觉相机。


10.根据权利要求1所述的安全系统，其中，所述控制器配置为识别正由所述机械设备处理的工件，并且在产生所述安全区域时将所述工件视为所述机械设备的一部分。


11.根据权利要求4所述的安全系统，其中，所述控制器配置为根据人运动的模型计算地扩展至所述工作空间中的侵入。


12.一种在三维工作空间中安全运行机械设备的方法，所述方法包括以下步骤：
用围绕工作空间分布的多个传感器监控所述工作空间，每个传感器与像素网格相关联，用于记录工作空间在传感器视场内的一部分的图像，工作空间多个部分彼此部分重叠；
传感器相互之间进行配准，使得传感器获得的图像共同代表所述工作空间；
计算地生成存储在计算机存储器中的工作空间的三维表示；
对于强度水平高于阈值的每个传感器像素，在计算机存储器中，初步标记为未占用的体积由穿过该像素的视线光线路径所拦截并在一估计距离处从关联的遮挡传感器终止，标记为已占用的体积对应于光线路径的终点，以及标记为未知的任何体积在沿光线路径的遮挡之外；
对于强度水平低于阈值的每个传感器像素，初步标记为未知的所有体素由穿过该像素的视线光线路径所拦截并在工作空间的边界处终止；
最后标记为未占用的体积，其至少已初步被标记为未占用的一次；以及
在工作空间内计算地映射一个或多个安全体积区域，所述体积区域在机械设备的安全区域外，且仅包括标记为未占用的体积。


13.根据权利要求12所述的方法，其中，所述点为体素。


14.根据权利要求12所述的方法，其中，所述安全区域为围绕所述机械设备的至少一部分的3D体积。


15.根据权利要求14所述的方法，还包括以下步骤：通过响应地改变所述机械设备的运行，对检测到的侵入所述安全区域做出响应。


16.根据权利要求15所述的方法，其中，所述安全区域在所述3D体积内被划分为多个嵌套的子区域，检测到的侵入每个所述子区域使所述机械设备的运行产生不同程度的改变。


17.根据权利要求12所述的方法，还包括以下步骤：计算地识别由所述机械设备处理的工件，并且在生成所述安全区域时将所述工件作为所述机械设备的一部分来处理。


18.根据权利要求15所述的方法，还包括以下步骤：根据人运动的模型，计算地扩展至所述工作空间中的侵入。


19.根据权利要求17所述的方法，其中，计算地识别的步骤使用神经网络执行。


20.根据权利要求12所述的方法，还包括以下步骤：为所述机械设备生成安全动作约束并据此控制所述机械设备。


21.根据权利要求12所述的方法，其中所述机械设备为至少一个机器人。


22.一种用于强制执行机械设备的安全运行的安全系统，所述机械设备在三维(3D)工作空间中执行活动，所述系统包括：
围绕工作空间分布的多个传感器，每个传感器与像素网格相关联，用于记录工作空间在传感器视野内的一部分的图像，所述工作空间多个部分共同覆盖整个工作空间；
计算机存储器，用于存储(i)来自传感器的多个图像，(ii)机械设备的模型以及在活动进行期间其允许的运动，以及(iii)指定机械设备靠近人的速度限制以及机械设备与人之间的最小间隔距离的安全协议；以及
处理器，其配置为：
从存储的图像计算地生成工作空间的3D空间表示；
识别工作空间的第一3D区域，所述第一3D区域对应于机械设备在工作空间内所占用的空间，该空间通过围绕机械设备的3D包络扩大，所述包络根据存储的模型跨越允许的运动；
识别工作空间的第二3D区域，所述第二3D区域对应于人在工作空间内已占用的或可能占用的空间，该空间通过围绕人的3D包络扩大，所述包络对应于人在预定的未来时间内在工作空间内的预期运动；和
基于第一和第二区域之间的接近程度，根据安全协议限制机械设备的活动。


23.根据权利要求22所述的安全系统，其中，所述工作空间计算地表示为多个体素。


24.根据权利要求22所述的安全系统，其中，所述处理器配置为至少部分地基于由所述机械设备提供的状态数据来识别与所述机械设备相对应的区域。


25.根据权利要求24所述的安全系统，其中，所述状态数据为安全级的，且通过安全级通信协议提供。


26.根据权利要求3所述的安全系统，其中，所述状态数据为非安全级的，而是由从所述传感器接收的信息来验证。


27.根据权利要求24所述的安全系统，其中，通过构造机器人模型、移除在所述模型内检测到的对象以及如果有任何剩余对象与所述机械设备相邻则停止所述机械设备来验证所述状态数据。


28.根据权利要求24所述的安全系统，其中，通过使用计算机视觉来识别所述机械设备的位置并将其与报告的位置进行比较来验证所述状态数据。


29.根据权利要求24所述的安全系统，其中，所述状态数据由所述传感器在没有与所述机械设备的任何接口的情况下确定。


30.根据权利要求22所述的安全系统，其中，所述第一3D区域被划分为多个嵌套的、在空间上不同的3D子区域。


31.根据权利要求25所述的安全系统，其中，所述第二3D区域与每个子区域之间的重叠使所述机械设备的运行发生不同程度的改变。


32.根据权利要求24所述的安全系统，其中，所述处理器还配置为识别由所述机械设备正在处理的工件，...

【专利技术属性】
技术研发人员：C·乌，S·丹尼伯格，P·索巴尔华洛，P·巴拉甘，A·莫伊尔，
申请(专利权)人：韦奥机器人股份有限公司，
类型：发明
国别省市：美国;US