用于生产和环境监控以及事件检测的自主图像采集系统技术方案

本发明专利技术涉及用于生产和环境监控以及事件检测的自主图像采集系统。本公开的某些方面提供了用于自主图像采集的技术。这包括确定多个图像捕获设备的多个二维图像视角，并将多个二维图像视角与目标对象的生成的二维表示进行比较，其中二维表示是基于目标对象的三维模型生成的。这还包括基于比较来自动移动多个图像捕获设备中的至少一个，以增加由多个图像捕获设备捕获的目标对象的部分。设备捕获的目标对象的部分。设备捕获的目标对象的部分。

【技术实现步骤摘要】
用于生产和环境监控以及事件检测的自主图像采集系统


[0001]本公开的方面涉及自主图像采集，并且更具体地涉及用于生产和环境监控以及事件检测的自主图像采集系统。

技术介绍

[0002]监控制造设施是具有挑战性的难题。许多制造设施依赖于从摄像机收集的视觉数据来监控生产，并识别出现的任何难题或问题。例如，生产的视觉数据可以以时间顺序的方式收集，或实时评估，并可用于检测事件、监控物流和零件以及监控安全。
[0003]然而，许多现有系统丢失数据点，因为在给定的时间内，并非所有的对象和视图都对摄像机可见。此外，许多现有系统依赖于摄像机的手动校准以及摄像机放置和视图的识别。并且现有系统需要大量的校准和定位活动，以将从不同摄像机捕获的图像关联在一起。考虑到具有多个静态对象和动态对象的现代制造设施的复杂性，这是极其困难的，并且在计算和劳动力方面非常昂贵。

技术实现思路

[0004]实施例包括一种方法。该方法包括确定多个图像捕获设备的多个二维图像视角。该方法还包括将多个二维图像视角与目标对象的生成的二维表示进行比较，其中该二维表示是基于目标对象的三维模型生成的。该方法还包括基于比较来自动移动多个图像捕获设备中的至少一个，以增加由多个图像捕获设备捕获的目标对象的部分。
[0005]实施例还包括非暂时性计算机可读介质，该非暂时性计算机可读介质包含计算机程序代码，该计算机程序代码在通过一个或多个计算机处理器的操作执行时执行操作。所述操作包括确定多个图像捕获设备的多个二维图像视角。所述操作还包括将多个二维图像视角与目标对象的生成的二维表示进行比较，其中该二维表示是基于目标对象的三维模型生成的。所述操作还包括基于比较来自动移动多个图像捕获设备中的至少一个，以增加由多个图像捕获设备捕获的目标对象的2D图像覆盖部分。
[0006]实施例还包括一种系统，该系统包括计算机处理器和其上存储有指令的存储器，当在计算机处理器上执行时，该指令执行操作。所述操作包括确定多个图像捕获设备的多个二维图像视角。所述操作还包括将多个二维图像视角与目标对象的生成的二维表示进行比较，其中该二维表示是基于目标对象的三维模型生成的。所述操作还包括基于比较来自动移动多个图像捕获设备中的至少一个，以增加由多个图像捕获设备捕获的目标对象的2D图像覆盖部分。
[0007]以下描述和相关附图详细阐述了一个或多个实施例的某些说明性特征。
附图说明
[0008]附图描绘了一个或多个实施例的某些方面，因此不应被视为限制本公开的范围。
[0009]图1示出了根据一个实施例的具有用于生产和环境监控以及事件检测的自主图像
采集系统的制造生产环境。
[0010]图2是示出了根据一个实施例的用于生产和环境监控以及事件检测的自主图像采集的自动化图像采集控制器的框图。
[0011]图3示出了根据一个实施例的用于生产和环境监控以及事件检测的自主图像采集的图像捕获设备视场。
[0012]图4示出了根据一个实施例的用于生产和环境监控以及事件检测的自主图像采集的图像捕获设备的移动。
[0013]图5是示出了根据一个实施例的用于生产和环境监控以及事件检测的自主图像采集的流程图。
[0014]图6是示出了根据一个实施例的映射用于生产和环境监控以及事件检测的自主图像采集的环境的流程图。
[0015]图7是示出了根据一个实施例的获取用于生产和环境监控以及事件检测的自主图像采集的图像的流程图。
[0016]图8是示出了根据一个实施例的控制用于生产和环境监控以及事件检测的自主图像采集的图像捕获设备导航的流程图。
[0017]图9是示出了根据一个实施例的计算用于生产和环境监控以及事件检测的自主图像采集的像素覆盖的流程图。
[0018]图10A是示出了根据一个实施例的处理用于生产和环境监控以及事件检测的自主图像采集的三维图像的流程图。
[0019]图10B进一步示出了处理根据一个实施例的用于生产和环境监控以及事件检测的自主图像采集的三维图像。
[0020]图11是进一步示出了根据一个实施例的用于生产和环境监控以及事件检测的自主图像采集的流程图。
[0021]为了便于理解，在可能的情况下，使用了相同的附图标记来表示附图中常见的相同元件。可以设想，一个实施例的元件和特征可以有利地被结合在其他实施例中，而无需进一步陈述。
具体实施方式
[0022]在以下描述中，通过示例的方式阐述细节以便于理解所公开的主题。然而，对于本领域的普通技术人员来说应该显而易见的是，所公开的实施方式是示例性的，并且并非穷尽所有可能的实施方式。因此，应当理解，对所描述的示例的参考并不旨在限制本公开的范围。对所描述的设备、仪器、方法的任何改变和进一步修改以及本公开原理的任何进一步应用都是完全预期的，正如本公开所涉及领域的技术人员通常会想到的那样。特别地，完全可以预期的是，关于一个实施方式描述的特征、组件和/或步骤可以与关于本公开的其他实施方式描述的特征、组件和/或步骤组合。
[0023]如在本申请中所使用的，术语“自动的”、“自动化”、“自动化的”和“使自动化”是指不需要人类用户(例如人类系统管理员)参与的系统和过程。虽然在一些实施方式中，人可以评估本文公开的系统和方法的性能，但人的介入是可选的。因此，本申请中描述的自动处理可以在所公开系统的硬件处理组件的控制下执行。
[0024]本公开的实施例提供了用于生产和环境监控以及事件检测的自主图像采集系统的器具、方法、处理系统和计算机可读介质。在一个实施例中，可以使用系统的协作系统来提供来自各种图像采集源的时间成像结果。示例图像采集源包括固定云台(PTZ)摄像机、动态PTZ摄像机、起重机二维(2D)平面横移摄像机(例如，HoistCam
TM
或另一合适的摄像机)和安装在自动化引导车辆(AGV)上的摄像机。这些仅仅是示例，并且可以使用任何合适的摄像机或其他图像捕获设备。此外，图像捕获设备可以捕获可见光谱、红外光谱或任何其他合适的光谱、音谱或其他合适的数据。
[0025]在一个实施例中，图像采集系统包括优化层，以在任何给定时间增加或最大化每个对象和每个摄像机的视图总数。优化层可以与AGV和起重机移动调度器和计划器(例如，用于调度和计划安装在AGV和起重机上的摄像机的移动)以及PTZ控制器(例如，用于控制PTZ摄像机上的平移、倾斜和变焦)交互。此外，该系统可以识别缺乏视觉覆盖的面积/区(areas)，并且可以预测未来有缺乏视觉覆盖风险的面积(例如，基于移动模式和预测)。该系统可以将动态车辆(例如，安装在AGV和起重机上的摄像机)传送到适当的位置，以覆盖缺少覆盖的面积。
[0026]在一个实施例中，系统通过生成环境中的三维(3D)对象的2D表示来识别和预测缺少覆盖的面积。例如，该系统可以将3D对象的视图展平为2D像素表示，并且可以为环境中的每个图像捕获设备计算表示视野(FOV)边界的封闭边框或语义分割区域。系统可以将对象的2D本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：确定多个图像捕获设备(322、332、334、342、344、346、348)的多个二维图像视角；将所述多个二维图像视角与目标对象的生成的二维表示进行比较(904)，其中所述二维表示是基于所述目标对象的三维模型生成的(1004)；和基于所述比较，自动移动所述多个图像捕获设备中的至少一个，以增加由所述多个图像捕获设备捕获的所述目标对象的部分(802、804、806)。2.根据权利要求1所述的方法，其中：所述目标对象包括正在制造的对象(110)，以及所述多个图像捕获设备(122、124、132、134、142、144、146、148)被配置为捕获图像以在制造期间监控所述目标对象。3.根据权利要求1所述的方法，其中，将所述多个二维图像视角与目标对象的生成的二维表示进行比较包括：生成多个封闭边框或语义分割区域，所述边框或语义分割区域中的每一个对应于所述多个二维图像视角中的至少一个(1002)；和将所述多个封闭边框或语义分割区域(1072A
‑
1072E)与所述目标对象的所述二维表示进行比较。4.根据权利要求3所述的方法，其中，将所述多个二维图像视角与所述目标对象的所述生成的二维表示进行比较还包括：从将所述多个封闭边框或语义分割区域与所述目标对象的所述二维表示(1052)进行比较中排除所述目标对象的所述三维模型的一部分，其中，排除的部分不被所述多个图像捕获设备捕获。5.根据权利要求1所述的方法，其中：所述多个图像捕获设备包括第一可移动摄像机(702)，以及自动移动所述多个图像捕获设备中的至少一个包括导航所述第一可移动摄像机以相对于所述目标对象移动(802)。6.根据权利要求5所述的方法，其中，所述第一可移动摄像机包括以下中的至少一个：安装在自动化引导车辆(AGV)上的摄像机(442)；或安装在起重机上的摄像机(706)。7.根据权利要求5所述的方法，其中，基于所述比较来自动移动所述多个图像捕获设备中的至少一个以增加由所述多个图像捕获设备捕获的所述目标对象的所述一部分包括：生成所述第一可移动摄像机的移动计划，以增加由所述多个图像捕获设备对所述目标对象的覆盖，同时减少捕获所述目标对象所需的图像捕获设备的总数(1110)。8.根据权利要求7所述的方法，其中，所述移动计划被进一步生成以相对于...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：波音公司，
类型：发明
国别省市：