生成用于物体检测的安全空间列表的方法和计算系统技术方案

本公开涉及生成用于物体检测的安全空间列表的方法和计算系统。提出了一种方法和用于执行该方法的计算系统。方法可以包括接收表示物体的图像信息；标识与一组一个或多个检测假设相关联的一组一个或多个匹配的物体识别模板。方法还可以包括选择与匹配的物体识别模板相关联的主要检测假设；基于匹配的物体识别模板生成主要候选区域；确定以下至少一项：(i)该组一个或多个匹配的物体识别模板是否具有一个或多个剩余的匹配的模板的子集，或(ii)图像信息是否具有表示不匹配的区域的一部分；以及基于以下至少一项生成安全空间列表：(i)不匹配区域，或(ii)基于一个或多个剩余的匹配的模板的子集生成的一个或多个附加候选区域。板的子集生成的一个或多个附加候选区域。板的子集生成的一个或多个附加候选区域。

【技术实现步骤摘要】
生成用于物体检测的安全空间列表的方法和计算系统


[0001]本公开涉及用于生成用于物体检测的安全空间列表的计算系统和方法。

技术介绍

[0002]随着自动化变得更加普遍，机器人正在更多环境中使用，诸如在仓储和零售环境中。例如，机器人可以被用于与仓库中的物体进行交互。机器人的移动可以是固定的，或者可以基于输入(诸如由仓库中的传感器生成的信息)。

技术实现思路

[0003]本公开的一个方面涉及一种由计算系统执行的方法。计算系统可以包括通信接口和至少一个处理电路。在一些情况下，方法可以在至少一个处理电路执行非暂时性计算机可读介质上的指令时被执行。通信接口可以被配置为与机器人以及与具有相机视野的相机进行通信。至少一个处理电路被配置为当物体在或已经在相机视野中时，通过以下操作来执行方法：接收表示物体的图像信息，其中图像信息由相机生成；标识一组一个或多个匹配的物体识别模板，该组一个或多个匹配的物体识别模板是当与图像信息进行比较时满足预定的模板匹配条件的一个或多个物体识别模板，其中该组一个或多个匹配的物体识别模板与一组一个或多个检测假设相关联，该组一个或多个检测假设是对图像信息表示哪个物体或物体类型的一个或多个相应估计；从该组一个或多个检测假设中选择一个检测假设作为主要检测假设，其中主要检测假设与该组一个或多个匹配的物体识别模板中的一个匹配的物体识别模板相关联，其中被选择作为主要检测假设的检测假设在一组一个或多个相应置信度值中具有最高的置信度值，其中该组一个或多个相应置信度值与该组一个或多个检测假设相关联，并且指示图像信息与关联于该组一个或多个检测假设组的该组一个或多个匹配的物体识别模板相匹配的相应程度；生成候选区域作为主要候选区域，该候选区域估计物体的物体边界位置或估计相机视野中的哪些位置被物体占据，其中主要候选区域是基于与主要检测假设相关联的匹配的物体识别模板而生成的；确定以下至少一项：(i)除了与主要检测假设相关联的匹配的物体识别模板之外，该组一个或多个匹配的物体识别模板是否还具有当与图像信息比较时也满足该预定的模板匹配条件的一个或多个剩余的匹配的物体识别模板的子集；或(ii)图像信息是否具有表示与主要候选区域相邻且不满足预定的模板匹配条件的不匹配的区域的一部分；响应于确定存在一个或多个剩余的匹配的物体识别模板的子集，或者图像信息具有表示不匹配的区域的一部分，生成安全空间列表，该安全空间列表是描述以下至少一项的列表：(i)该不匹配的区域，或(ii)一个或多个附加候选区域，该一个或多个附加候选区域也估计物体的物体边界位置或估计哪些位置被物体占据，其中该一个或多个附加候选区域是基于该一个或多个剩余的匹配的物体识别模板的子集而生成的；以及基于主要候选区域并基于安全空间列表来执行运动规划，其中运动规划用于机器人与物体之间的机器人交互。
附图说明
[0004]图1A
‑
1D示出了根据本文的实施例的用于执行物体检测的系统。
[0005]图2A
‑
图2D提供了示出根据本文的实施例的被配置为执行物体检测的计算系统的框图。
[0006]图3A
‑
图3B示出了根据本文的实施例的可以在其中执行物体检测的环境。
[0007]图4提供了示出根据本文的实施例的生成安全空间列表的方法的流程图。
[0008]图5A和5B示出了根据本文的实施例的可以从中生成安全空间列表的示例图像信息。
[0009]图6A
‑
图6J示出了根据本文的实施例的执行物体检测、生成安全空间列表或基于安全空间列表生成边界区域的各个方面。
[0010]图7A
‑
图7G示出了根据本文的实施例的执行物体检测、生成安全空间列表或基于安全空间列表生成边界区域的各个方面。
[0011]图8A
‑
图8G示出了根据本文的实施例的生成安全空间列表的各个方面，其表示将物体识别模板与图像信息对准的不同方式。
[0012]图9A
‑
图9F示出了根据本文的实施例的生成安全空间列表的各个方面，其表示由物体识别模板描述的物体形状的不同方向。
[0013]图10A
‑
图10H示出了根据本文的实施例的标识用于执行物体检测的图像区域的各个方面。
[0014]图11A
‑
图11E示出了根据本文的实施例的当图像信息具有不匹配的图像部分时执行物体检测的各个方面。
[0015]图12A
‑
图12H示出了根据本文的实施例的当图像信息具有不匹配的图像部分时执行物体识别的各个方面。
[0016]图13A
‑
图13B示出了根据本文的实施例的基于具有预定的最大物体高度的候选区域来执行物体检测或运动规划。
具体实施方式
[0017]本公开的一个方面涉及执行物体检测，该物体检测可以涉及处理由相机生成的图像信息以检测由图像信息表示的物体或物体类型。可以执行物体检测以便例如促进与物体进行的机器人交互，诸如其中机器人将物体(例如，盒子)从托盘移动到目的地位置的卸垛操作。本公开的一些实施例不仅涉及标识用于规划机器人交互的主要检测假设(其中主要检测假设可以是对图像信息表示什么物体或物体类型的一种假设、猜测或估计)，还标识用于规划机器人交互的一个或多个附加检测假设。尽管主要检测假设可以提供用于规划机器人交互的有用信息，但是该一个或多个附加检测假设可以提供对规划机器人交互也可能有用的附加信息。由该一个或多个附加检测假设提供的附加信息可以例如使得物体检测和机器人交互的规划更为鲁棒并且更不容易受到可能的误差源的影响。
[0018]在实施例中，一个或多个附加检测假设可以被用于生成安全空间列表。在一些实现方案中，安全空间列表可以是标识该一个或多个附加检测假设的列表。在一些实现方案中，安全空间列表可以是标识与该一个或多个附加检测假设相关联的一个或多个候选区域的列表。候选区域可以是例如对物体所位于的空间区域的估计。在一些情况下，机器人交互
的规划可以基于与主要检测假设相关联的主要候选区域，并且还可以基于安全空间列表中的信息(诸如与一个或多个附加检测假设相关联的一个或多个候选区域)。
[0019]在一些情况下，主要检测假设和一个或多个附加检测假设可以与各个物体识别模板相关联。在一些情况下，可以在多个物体识别模板与由相机生成的图像信息充分匹配时生成安全空间列表。在这样的情况下，主要检测假设可以与匹配的物体识别模板中的一个物体识别模板(例如，产生最高置信度值的物体识别模板)相关联，而安全空间列表可以基于与剩余的匹配的物体识别模板相关联的检测假设而生成。在实施例中，安全空间列表可以包括在置信度值方面与主要检测假设足够相似和/或具有足够高的置信度值的检测假设。在一些情况下，安全空间可以包括与这样的检测假设相关联的候选区域。在实施例中，安全空间列表还可以排除具有过低的置信度值或与主要检测假设的置信度值相差太大的检测假设。在一些实现方案中，可以确定特定的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算系统，包括：通信接口，被配置为与机器人以及具有相机视野的相机通信；至少一个处理电路，被配置为当物体在或已经在所述相机视野中时执行以下操作：接收表示所述物体的图像信息，其中所述图像信息由所述相机生成；标识一组一个或多个匹配的物体识别模板，所述一组一个或多个匹配的物体识别模板是当与所述图像信息进行比较时满足预定的模板匹配条件的一个或多个物体识别模板，其中所述一组一个或多个匹配的物体识别模板与一组一个或多个检测假设相关联，所述一组一个或多个检测假设是对所述图像信息表示哪个物体或物体类型的一个或多个相应估计；从所述一组一个或多个检测假设中选择检测假设作为主要检测假设，其中所述主要检测假设与所述一组一个或多个匹配的物体识别模板中的匹配的物体识别模板相关联，其中被选择作为所述主要检测假设的所述检测假设在一组一个或多个相应置信度值中具有最高的置信度值，其中所述一组一个或多个相应置信度值与所述一组一个或多个检测假设相关联，并且指示所述图像信息与关联于所述一组一个或多个检测假设组的所述一组一个或多个匹配的物体识别模板相匹配的相应程度；生成候选区域作为主要候选区域，所述候选区域估计所述物体的物体边界位置或估计所述相机视野中的哪些位置被所述物体占据，其中所述主要候选区域是基于与所述主要检测假设相关联的所述匹配的物体识别模板而生成的；确定以下各项中的至少一项：(i)除了与所述主要检测假设相关联的所述匹配的物体识别模板之外，所述一组一个或多个匹配的物体识别模板是否还具有当与所述图像信息进行比较时也满足所述预定的模板匹配条件的一个或多个剩余的匹配的物体识别模板的子集；或(ii)所述图像信息是否具有表示与所述主要候选区域相邻且不满足所述预定的模板匹配条件的不匹配的区域的一部分；响应于确定存在一个或多个剩余的匹配的物体识别模板的所述子集，或者所述图像信息具有表示所述不匹配的区域的所述一部分，生成安全空间列表，所述安全空间列表是描述以下各项中的至少一项的列表：(i)所述不匹配的区域，或(ii)一个或多个附加候选区域，所述一个或多个附加候选区域也估计所述物体的物体边界位置或估计哪些位置被所述物体占据，其中所述一个或多个附加候选区域是基于一个或多个剩余的匹配的物体识别模板的所述子集而生成的；以及基于所述主要候选区域并基于所述安全空间列表来执行运动规划，其中所述运动规划用于所述机器人与所述物体之间的机器人交互。2.如权利要求1所述的计算系统，其中，所述至少一个处理电路被配置为确定边界区域，所述边界区域包围所述主要候选区域和以下各项中的至少一项：(i)所述一个或多个附加候选区域或(ii)所述不匹配的区域，其中执行所述运动规划包括基于所述边界区域确定与机器人末端执行器装置相关联的轨迹。3.如权利要求2所述的计算系统，其中，执行所述运动规划包括基于所述主要候选区域确定机器人抓持运动；以及基于所述边界区域确定所述轨迹。4.如权利要求1所述的计算系统，其中，除了所述主要检测假设之外，所述一组一个或多个检测假设还包括与一个或多个剩余的匹配的物体识别模板的所述子集相关联的一个或多个剩余的检测假设的子集，其中，对于一个或多个剩余的检测假设的所述子集中的每
个检测假设，所述至少一个处理电路被配置为：确定与所述检测假设相关联的相应置信度值相对于与所述主要检测假设相关联的所述置信度值是否在预定的置信度相似性阈值之内，其中，所述至少一个处理电路被配置为：响应于确定与所述检测假设相关联的所述相应置信度值相对于与所述主要检测假设相关联的所述置信度值在所述预定的置信度相似性阈值之内，在所述安全空间列表中包括与所述检测假设相关联的相应候选区域，使得所述相应候选区域是所述安全空间列表的所述一个或多个附加区域的一部分。5.如权利要求4所述的计算系统，其中，所述安全空间列表中的所述一个或多个附加候选区域中的每个候选区域与相应检测假设相关联，所述相应检测假设具有相对于与所述主要检测假设相关联的所述置信度值在所述预定的置信度相似性阈值之内的置信度值。6.如权利要求4所述的计算系统，其中，所述安全空间列表中的所述一个或多个附加候选区域中的每个候选区域与具有大于或等于预定的模板匹配阈值的置信度值的相应检测假设相关联。7.如权利要求1所述的计算系统，其中，一个或多个剩余的匹配的物体识别模板的所述子集包括与多个相应候选区域相关联的多个匹配的物体识别模板，其中，对于所述多个候选区域中的每个候选区域，所述至少一个处理电路被配置为：确定所述候选区域与所述主要候选区域之间的相应的重叠量；确定所述相应的重叠量是否等于或超过预定的重叠阈值，其中，所述至少一个处理电路被配置为：响应于确定所述重叠量等于或超过所述预定的重叠阈值，将所述候选区域包括在所述安全空间列表中，使得所述候选区域是所述安全空间列表的所述一个或多个附加候选区域的一部分。8.如权利要求1所述的计算系统，其中，所述图像信息包括2D图像信息，并且其中，与所述主要检测假设相关联的所述匹配的物体识别模板包括一组视觉描述信息，在与所述2D图像信息进行比较时，所述一组视觉描述信息被所述至少一个处理电路确定为满足所述预定的模板匹配条件。9.如权利要求8所述的计算系统，其中，一个或多个剩余的匹配的物体识别模板的所述子集中的至少一个匹配的物体识别模板具有相应一组视觉描述信息，在与所述2D图像信息进行比较时，所述相应一组视觉描述信息也被所述至少一个处理电路确定为满足所述预定的模板匹配条件，并且其中，所述至少一个处理电路被配置为基于所述至少一个匹配的物体识别模板来生成所述安全空间列表。10.如权利要求9所述的计算系统，其中，与所述主要检测假设相关联的所述匹配的物体识别模板包括指示第一物体大小的相应一组结构描述信息，并且其中，所述至少一个匹配的物体识别模板包括指示与第一物体大小不同的第二物体大小的相应一组结构描述信息。11.如权利要求8所述的计算系统，其中，所述图像信息还包括3D图像信息，并且其中，一个或多个剩余的匹配的物体识别模板的所述子集中的至少一个物体识别模板具有相应一组结构描述信息，在与所述3D图像信息进行比较时，所述相应一组结构描述信息被所述至少一个处理电路确定为满足所述预定的模板匹配条件，并且其中所述至少一个处理电路被配置为基于所述至少一个物体识别模板来生成所述安全空间列表。
12.如权利要求8所述的计算系统，其中，与所述主要检测假设相关联的所述匹配的物体识别模板是所述一组一个或多个匹配的物体识别模板中的第一匹配的物体识别模板，其中，当所述一组一个或多个匹配的物体识别模板是存储在模板存储空间中的多个物体识别模板的一部分时，所述至少一个处理电路被配置为：确定除了第一匹配的物体识别模板之外，所述多个物体识别模板是否具有当与第一匹配的物体识别模板进行比较时满足预定的模板相似性条件的至少一个物体识别模板；以及响应于确定所述多个物体识别模板包括当与第一匹配的物体识别模板进行比较时满足所述预定的模板相似性条件的所述至少一个物体识别模板，基于所述至少一个物体识别模板生成所述安全空间列表。13.如权利要求1所述的计算系统，其中，所述主要候选区域表示将所述图像信息与关联于所述主要检测假设的所述匹配的物体识别模板对准的第一方式，并且其中，所述至少一个处理电路被配置为在所述安全空间列表中包括另一个候选区域，所述另一个候选区域表示将所述图像信息与所述匹配的物体识别模板对准的第二方式。14.如权利要求1...

【专利技术属性】
技术研发人员：何塞，
申请(专利权)人：牧今科技，
类型：发明
国别省市：