用于观测工业环境中的人员的方法技术

制造过程极大地受益于人类与机器之间的紧密合作。尽管人类行动灵 活并有适应性，但在重复的工作操作期间倾向于犯错误，机器运转迅速而 精确，却是静态的并且不是很灵活。为了使得在安全的人机交互的情况下 能够进行改进的危险防护，根据机器或机器部件以及被观测的人员的当前 位置和当前移动状态，将依赖于空间和时间的可变的危险程度分配给受监 控的空间区域。为此，在工业环境中，使用多摄像机系统来获取人员的图 像数据以便获得可能关于人员、特别也关于其身体部分的位置和取向的最 详细的信息。然后针对人员的成像来检验这些图像数据使得每当在图像数 据中检测到人员，就将关节连接的虚拟的人类身体三维模型匹配到该人员 假设。随后，将该虚拟的身体模型连续地匹配到在图像数据中检测到的人 员的移动行为。使用虚拟的身体模型在空间中的位置和移动行为的知识来 确定危险可能性。使这样确定出的危险可能性与阈值比较以便在超过该阈 值的情况下对机器或机器部分的移动控制起作用。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种根据权利要求1和3的前序部分所述的用于观测工业 环境中的人员的方法。如今通常可以将机动车生产中的工业制造过程划分为全自动流程和 全手动流程，全自动流程仅由机器执行，全手动流程仅由单独的工人或彼 此*的很多工人执行。至今，人员与机器(尤其是工业机器人)之间的 紧密合作由于安全方面的原因而大大受限。需要多个复杂并且昂贵的安全 系统(例如金属围栏、挡ib仗、激光扫描仪或组合的系统)以侵J吏生产环 境中的工人保持远离有潜在危险的机器。这些系统不能够检测人类的确切 位置、身体姿势或移动行为。 一旦工人接近机器人，机器人就停止，并且 生产过程中断。由于制造过程极大地受益于人类与机器的紧密合作，因此这种安全系 统缺少与受监控的生产环境相关的知识是尤其不利的。尽管人类行动 灵活并有适应性，但当执行重复的工作操作时倾向于犯镣溪，机器运转迅 速而精确，但在此情况下是静态的并且不是很灵活。例如，在包括多个合 作的机器人的全自动制造单元的情况下，当合作的机器人中的单独一个有 缺陷时必须停止生产过程。此时希望由与剩余机器人合作的人类工人来暂 时替代有缺陷的机器人使得可以继续进行生产。通过为了半自动化过程而 进行的人类与机器的紧密合作可以极大地提升工业制造的效率、灵活性和 质量。如今在工业生产领域中的安全系统主要包括金属围栏、扭光板和/或激光扫描仪。第一方法基于图像处理来保护机器人保护区，在[ii和m中 详细描述了第一方法。在[i中描述的方法使用立体图像分析来检测对象 是否位于机器人的保护区中，而这样做时不用提取关于对象的种类(例如人类或是对象)的或其移动行为的信息。在[2]中，仅借助于手的皮肤颜色对人员进行检测，手的皮肤颜色在不恒定光照条件(可变色温)的情况下导致关于检测可靠性的问题；当使用工作手套时，根本不能使用所描述 的方法。正如在[1I中阐述的现有4支术那样，这些方法不提取关于对象类 型的任何信息。此外，在涉及人员的情况下，它们不检测所i^A员的身体 部分和移动行为。因此，当人员闯入这种系统的保护区时，这种系统当然4能够关闭机器人，但在人与机器人紧邻的情况下不能检测碰撞是否要来临 或者人类与机器是否有规律而没有任何危险地合作。根据评论文章[3，在人员识别领域，将适当的方法划分为二维方法 以及三维模型，二维方法使用显式的形状模型或没有模型。在[4中，将 不同尺寸的窗口加在原始图像上;使对应的图像区域经受Haar小波变换。 通过将不同标度和取向的微分算子应用于图像区域的不同位置来获得相 应的小波系数。系数的基于其绝对值和其在图像中的局部分布的较小子集 根据这套特征(其在某些情况下可能很大)而被手动选择。将这套减 少的特征供给用于支持向量机(SVM)的分类。为了检测，将不同尺寸 的窗口加在图像上，并且从这些图像区域中提^4目应的特征；SVM 判断对应的窗口是否包含人员。在[5中，组合二维Haar小波特征的时间 序列以形成高维特征矢量，并且借助支持向量机对它们进行分类，因此与 纯粹的单独图像方法相比导致检测性能上的提高。在[6中，将棱角匹配 (chamfer matching)方法应用于在使用非固定摄^^机的道路交通的场景 下检测行人的轮廓。在[7]中，将棱角匹配技术与立体图像处理系统和根 据[8的用作紋理分类器的具有局部感受场的神经网络结合以便得到可靠 且稳定的分类结果。其它方法使用统计的形状模型以便检测并且跟踪人员。在此，[9涉 及通过训练阶段获得的模型，其中通过特征点的位置来描述示例性轮廓。 通过使用主元分析(principle component analysis ， PC A)来减少^^t集， 因此除导致计算花费的减少之外还得到一定的概括能力。由于从一开始就 避免了与学习集不一致的M集，这在在时间上跟踪例如移动行人的这种 可变形轮廓的情况下是有用的。不仅整个人员的轮廓可以被检测，而且还 可以检测手的轮廓，以及可以检测相应的移动。然而，使用该方法所有特 征在任何时间都必须存在，因此不允许遮盖的实例。此外，并不排除通过 训练阶段确定的M化允许物理上不可能的状态。在[10中形状表示由B 样条函数给出。假设是固定的相机的情况下，则通过差异图像分析将人员 从背景中分离出来；,算法使用卡尔曼(Kalman)滤波器来工作。在别处，使用颜色聚类流(color cluster flow )技术[11以便检测通过 移动相机记录的图像序列中的人员。因此甚至在人员的部分遮盖的情况 下，也有可能对人员进行检测并且非常可靠地在时间上跟踪他们。这种检 测阶段与[81中详细描述的延时神经网络(TDNN)分类方法相结合。在[12中描述了近来的工作，涉及用于在道路交通场景中对行人进行检测并且包括检测阶段、躍應阶段以;M象分类阶段的完整、实时的系统。用于对人员进行检测的另 一组方法M于模型的技术，其中以模型的 形式使用关于人员外观的显式先验知识。由于在此情况下遮盖部分人体的 实例是有问题的，因此很多系统附加地假设关于待检测的移动的类型以及 摄#*现角的先验知识。例如，通过减去背景将人员分离出来，而这预先 假设了固定的相机和不变、或仅緩慢改变的背景。所使用的模型包括例如直条(线条图)，各个人体部分由椭面进行近似[13-16。在[17中描述了以下示例对于检测侧向对准摄^^站立或移动的人 员的多线索方法而言，同时使用非常不同的强度、边缘、距离以及移动特 征。这种方法是面向对象的，也就是说对于特定应用而言定义了普通 对象(例如，人员、背景、地板、光源)并且使得相关的方法可用于在图 像中检测这些对象。如果从图像中提取了若干个对象特征，则将对象具体 实例化以便随后有可能应用另外的专用方法。用于对人员姿势(位置和身体部分采用的方式)进行三维确定的商用 系统是基于检测应用于身体的标记。在[18中描述了用于对姿势进行无标 记三维确定的;f艮有效的方法。关于检测人员姿势的大部分工作专注于手的三维重构。在[19中，通 过使用运动学约束(尤其是关于物理上可能的接合角度)的关节连接的模 型来描述手。这些约束使得能够确定手的三维位置、姿势和移动。在[20J 中描述了 一种用于基于轮廓分析、i^J宗阶段以及针对移动的基于隐式马尔 科夫模型(HMM)的分类器**测手的移动流程(以及姿态)的方法。 在[21中描述的GREFIT系统能够借助关节连接的手模型基于^JL值图 像(Grauwertbildern )来对手姿势的动态进行分类。在第一阶段，神经 网络的分等级系统对指尖在序列的图像中的二维位置进行定位。在第二阶 段，另一神经网络将这些值转换为关节连接的手模型的最适合的三维配 置。在[22中，通过以下方式来直接检测手姿势借助自组织映射(SOM) 来标记对应的图像，并且借助神经网络进行随后的训练。在[23]中将基于粒子滤波器并且还包括象征性的对象知识的轨迹分 析用于检测操纵姿态(用于抓握或者移动对象的手的移动)。在[24中 对该方法在人类/机器人交互的情况下进行扩展，也就是结合贝叶斯 (Bayes )网络和粒子滤波器来执行根据隐式马尔科夫模型对手轨迹进行 分类。在[25中描述了通过借助粒子滤波器方法进行的移动模式分析来对 建造动作(例如部分的装配)进行分本文档来自技高网...

【技术保护点】
一种用于观测工业环境中的人员的方法，其中，通过多摄像机系统来获取人员的图像数据，其中，针对人员的成像来检查所述图像数据，其中，每当在所述图像数据中检测到人员，就将关节连接的虚拟的人类身体三维模型匹配到该人员假设，以及其中，将所述虚拟的身体模型连续地匹配到在所述图像数据中检测到的人员的移动行为，其特征在于，确定位于所述人员的环境中的机器或机器部件的位置和／或移动行为，并且基于所述虚拟身体模型在空间中的位置和移动行为的知识来确定危险可能性，使得每当所述危险可能性超过确定的阈值就对机器或机器部分的移动控制起作用。

【技术特征摘要】
【国外来华专利技术】2006.8.2 DE 102006036400.7;2006.10.10 DE 102006041. 一种用于观测工业环境中的人员的方法，其中，通过多摄像机系统来获取人员的图像数据，其中，针对人员的成像来检查所述图像数据，其中，每当在所述图像数据中检测到人员，就将关节连接的虚拟的人类身体三维模型匹配到该人员假设，以及其中，将所述虚拟的身体模型连续地匹配到在所述图像数据中检测到的人员的移动行为，其特征在于，确定位于所述人员的环境中的机器或机器部件的位置和/或移动行为，并且基于所述虚拟身体模型在空间中的位置和移动行为的知识来确定危险可能性，使得每当所述危险可能性超过确定的阈值就对机器或机器部分的移动控制起作用。2. 根据权利要求1所述的方法，其特征在于，对所述机器或机器部 分的移动控制起作用导致机器或机器部分的关闭或移动的减慢。3. —种用于观测工业环境中的人员的方法，其中，通过多摄#4^系 统来获^A员的图像数据，其中，针对人员的成像来检查所述图像数据， 其中，每当在所述图^Jt据中检测到人员，就将关节连接的虚拟的人类身 体三维模型匹配到所^员假设，以及其中，将所述虚拟的身M型连续 地匹配到在所述图像数据中检测到的人员的移动行为，其特征在于，根据 所述虚拟身M型的当前形状和位置来连续地推导数据，并且将所述数据 与数据库的数据相关联，所述数据库包含在描iiA员的移动流程的多个移 动阶段期间根据身体模型的形状和位置而预先确定的多个数据，每当从被 观测人员的当前身体模型推导出的数据呈现出与存储在所述数据库中与 移动阶對目关的数据的确定程度的相似性，就认为所狄动阶段已经由被 观测的人员所采用，每当检测到存储在所述数...

【专利技术属性】
技术研发人员：乌尔里希·克雷塞尔，拉尔斯·克吕格尔，维尔纳·普罗格沙，克里斯蒂安·韦勒，弗朗茨·库默特，约阿希姆·施密特，赖纳·奥特，
申请(专利权)人：皮尔茨公司，
类型：发明
国别省市：DE