具有动态完整性评分的基于视觉的多摄像头工厂监测制造技术

本发明专利技术公开了一种具有动态完整性评分的基于视觉的多摄像头工厂监测。人监视系统包括视觉处理器和多个摄像头。多个摄像头绕工作空间区域布置，其中每一个摄像头配置为捕获视频馈送，视频馈送包括多个图像帧，且多个图像帧在相应摄像头之间是时间同步的。视觉处理器配置为从多个基于视觉的成像装置接收多个图像帧且确定用于每一个相应图像帧的完整性评分。处理器可以随后将前景部分从两个或更多视图分离，确定用于每一个相应前景部分的主本体轴线，且根据各主本体轴线中的加权的最小二乘函数确定位置点。

【技术实现步骤摘要】

本专利技术总体涉及用于追踪人的视觉监视系统。
技术介绍
在许多组装环境下使用工厂自动化。为了实现更灵活的制造过程，需要能允许机器人和人自然地且有效地协作，以执行不必重复的任务的系统。人-机器人互动需要新的机器认知水平，其超越了其中所有部件在已知位置开始的通常的记录/回放式的控制。以这种方式，机器人控制系统必须理解人的位置和行为，且随后必须基于人的动作调整机器人的行为。
技术实现思路
一种人监视系统，包括多个摄像头和视觉处理器。多个摄像头绕工作空间区域布置，其中每一个摄像头配置为捕获视频馈送，该视频馈送包括多个图像帧，且多个图像帧在相应摄像头之间是时间同步的。视觉处理器配置为从多个基于视觉的成像装置接收多个图像帧且从使用在输入图像上执行的模式匹配而从多个图像帧中的至少一个检测人的存在。用于模式匹配的输入图像是图像帧的滑动窗部分，其与校正坐标系对准，从而工作空间区域中的垂直轴线与输入图像的垂直轴线对准。如果检测到人靠近自动可动设备，则系统可以提供警告和/或改变自动可动设备的行为。在一种构造中，系统/系统处理器可以配置为构造位于工作空间中的物体/人的概率图示。在工作空间中构造物体位置的概率图示的方法可包括获得工作空间的多个2D图像，每一个相应2D图像从布置在工作空间中不同位置处的摄像头获取。系统可以确定用于每一个摄像头的完整性评分，所述评分与图像的视觉清楚性相关。更具体地，完整性评分与绝对像素差、全局或局部直方图差、和相应2D图像与来自同一摄像头的在先2D图像之间的绝对边缘差中的至少一个有关。在多个2D图像的至少两个内识别前景部分。系统可以确定用于每一个识别前景部分的主本体轴线。主本体轴线是相应前景部分的平均中线且与图像的消失点对准。一旦被确定，则系统可以将每一个被检测的主本体轴线映射到地面平面，所述地面平面与工作空间的地面重合。在各种映射的主本体轴线的位置处观察，系统可以确定地面平面中的代表物体的位置的位置点。如果线不以单个位置相交，则该位置点可以被选择以使得每一个映射主本体轴线中的加权最小二乘函数最小化。加权可以根据用于一视图的完整性评分进行，每一个相应主本体轴线从所述视图映射。在又一种构造中，每一个前景部分被投影到多个平行间隔开的平面的每一个。多个平面中的每一个内识别一区域，多个投影前景部分在该区域中重叠。这些识别区域被组合以形成物体的3D边界包络。系统可以执行控制动作，如果边界包络重叠预定体积空间。控制动作可以例如包括修改邻近机器人的行为，调整自动机械的性能，或通过声音或光照发出警报。在一种构造中，处理器可以使用边界包络以验证确定的位置点。例如，如果位置点在边界包络中，则系统可以记录该位置点的坐标。系统可以进一步配置为组合运动轨迹，所述运动轨迹代表一段时间段上位置点的位置。在该运动轨迹中，系统可以进一步识别位置点在工作空间中运动的一部分时间段，和识别位置点在工作空间中静止的一部分时间段。在位置点静止的该一部分时间段期间，系统可以配置为确定物体执行的动作。在另一构造中，系统可以将地面平面与多个平面融合以形成平面概率图。另外，系统可以确定边界包络的主轴线，所述主轴线代表人/物体的垂直轴线。边界包络的主轴线被选择为与地面平面相交且限定第二位置点。一旦确定，则第二位置点可以与经由映射的本体轴线确定的位置点融合，以形成细化的位置点。为了形成细化的对象原型，边界包络可以进一步与工作空间的立体像素图示或立体深度图示融合。系统例如可以监视细化的物体原型的一部分的速度和加速度中的至少一个，且可以基于速度和加速度中的所述至少一个改变自动装置的行为。根据本专利技术的一方面，提供一种识别工作空间中物体位置的方法，该方法包括:获得工作空间的多个2D图像，每一个相应2D图像从布置在工作空间中不同位置处的摄像头获取；确定用于每一个相应2D图像的完整性评分，完整性评分与绝对像素差、全局或局部直方图差、和相应2D图像与来自同一摄像头的在先2D图像之间的绝对边缘差中的至少一个有关；识别多个2D图像中至少三个内的前景部分；确定用于每一个识别的前景部分的主本体轴线，主本体轴线是相应前景部分的平均中线且与相应图像的消失点对准；将确定的主本体轴线从每一个相应2D图像映射到共同的地面平面，所述共同的地面平面与工作空间的地面重合；确定地面平面中的位置点，其中该位置点使得每一个映射的主本体轴线中的最小二乘函数最小化，且其中根据用于每一个相应2D图像的完整性评分对最小二乘函数加权；和其中该位置点代表工作空间中物体的点位置。优选地,所述方法进一步包括:将前景部分从每一个相应的2D图像投影到多个平行间隔开的平面中的每一个；识别多个平面中每一个内的多个投影的前景部分在其中重叠的区域；将来自多个平面中的每一个的识别区域组合，以形成物体的3D边界包络；和其中边界包络为工作空间中物体位置的3D概率图示。优选地，所述方法进一步包括如果边界包络与预定体积空间重叠，则执行控制动作。优选地，所述方法进一步包括如果位置点在边界包络中，则记录该位置点的坐标。优选地，所述方法进一步包括组合运动轨迹，其中运动轨迹代表在一段时间上的位置点的位置；和识别位置点在工作空间中运动的一部分时间段，和识别位置点在工作空间中静止的一部分时间段。优选地，所述方法进一步包括确定位置点在工作空间中静止的该一部分时间段期间物体执行的动作。优选地,所述方法进一步包括:确定边界包络的主轴线，其中边界包络的主轴线与地面平面相交，以限定第二位置点；和将地面平面中经确定的位置点与第二位置点融合，以形成进一步完善的位置点。优选地，所述方法进一步包括将边界包络与工作空间的立体像素图示融合，以形成进一步完善的物体原型。优选地，所述方法进一步包括确定进一步完善的物体原型的一部分的速度和加速度中的至少一个。优选地，所述方法进一步包括基于速度和加速度中的至少一个对自动装置的行为发出警告。优选地，其中多个平行间隔开的平面包括至少三个平面；并且其中至少三个平面中的一个包括地面平面。根据本专利技术的另一方面，提供一种系统，包括:多个摄像头，布置在工作空间内的不同位置处，并且每一个配置用于将工作空间从不同的视角2D成像，其中多个摄像头中的每一个相应的摄像头配置为捕获工作空间的2D图像；处理器，与多个摄像头中的每一个通讯，且配置用于从多个摄像头中的每一个接收捕获的2D图像，该处理器进一步配置用于:识别多个2D图像中的至少两个内的前景部分；确定每一个相应的2D图像的完整性评分，该完整性评分与绝对像素差、全局或局部直方图差、和相应2D图像与来自同一摄像头的在先2D图像之间的绝对边缘差中的至少一个有关；确定用于每一个识别的前景部分的主本体轴线，该主本体轴线是相应前景部分的平均中线且与相应图像的消失点对准；将每一个检测到的主本体轴线映射到地面平面,所述地面平面与工作空间的地面重合；确定地面平面中的位置点，其中该位置点使得每一个映射的主本体轴线中的最小二乘函数最小化，且其中根据用于每一个相应2D图像的完整性评分对最小二乘函数加权；和其中该位置点代表工作空间中物体的点位置。优选地，其中处理器进一步配置为将来自每一个相应2D图像的前景部分投影到多个平行间隔开的平面中的每一个；识别多个平面中的每一个内的多个投影的前景部分在其中重叠的区本文档来自技高网...

【技术保护点】
一种识别工作空间中物体位置的方法，该方法包括:获得工作空间的多个2D图像，每一个相应2D图像从布置在工作空间中不同位置处的摄像头获取；确定用于每一个相应2D图像的完整性评分，完整性评分与绝对像素差、全局或局部直方图差、和相应2D图像与来自同一摄像头的在先2D图像之间的绝对边缘差中的至少一个有关；识别多个2D图像中至少三个内的前景部分；确定用于每一个识别的前景部分的主本体轴线，主本体轴线是相应前景部分的平均中线且与相应图像的消失点对准；将确定的主本体轴线从每一个相应2D图像映射到共同的地面平面，所述共同的地面平面与工作空间的地面重合；确定地面平面中的位置点，其中该位置点使得每一个映射的主本体轴线中的最小二乘函数最小化，且其中根据用于每一个相应2D图像的完整性评分对最小二乘函数加权；和其中该位置点代表工作空间中物体的点位置。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：JW威尔斯，K金，S梅达萨尼，Y奥维可科，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国;US