用于物体检测的系统和方法技术方案

本公开涉及用于物体检测的系统和方法。一种计算系统，包括与具有视场的相机通信的处理电路。处理电路被配置为执行与检测、标识和检索布置在多个物体中的物体相关的操作。处理电路可以被配置为执行与物体识别模板生成、特征生成、假设生成、假设细化和假设验证相关的操作。作。作。

【技术实现步骤摘要】
用于物体检测的系统和方法
[0001]本申请是申请日为2022年08月09日、申请号为202280004923.7、名称为“用于物体检测的系统和方法”的专利技术专利申请的分案申请。
[0002]对相关申请的交叉引用
[0003]本申请要求于2021年8月9日提交的题为“A ROBOTIC SYSTEM FOR FACILITATING TEMPLATE MATCHING AND DETECTION FOR OBJECT PICKING”的第63/230,931号美国临时申请的权益，该美国临时申请的全部内容通过引用并入本文。


[0004]本技术总体上针对机器人系统，并且更具体地针对用于标识和检测物体的系统、过程和技术。更特别地，本技术可用于标识和检测容器中的物体。

技术介绍

[0005]随着它们不断提高的性能和降低的成本，许多机器人(例如，被配置为自动/自主地执行物理动作的机器)现在广泛用于各种不同的领域。例如，机器人可用于在制造和/或组装、填充(packing)和/或打包、运输和/或装运等中执行各种任务(例如，通过空间操纵或转移物体)。在执行任务时，机器人可以复制人类动作，从而替代或减少执行危险或重复性任务另外所需的人类参与。
[0006]然而，尽管技术进步，机器人通常缺乏复制执行更大和/或更复杂任务所需的人类交互所需的复杂性。因此，仍然需要用于管理机器人之间的操作和/或交互的改进技术和系统。

技术实现思路

[0007]在实施例中，提供了一种被配置为生成用于标识场景中的物体的物体识别模板集的计算系统。该计算系统包括被配置用于以下操作的至少一个处理电路。获取物体的注册数据，其中该注册数据包括表示该物体的物体模型；确定物体模型在三维空间中的多个视点；估计物体模型在多个视点中的每一个处的多个外观；根据多个外观生成多个物体识别模板，其中多个物体识别模板中的每一个对应于多个外观中的相应一个；以及将多个物体识别模板作为物体识别模板集传送给机器人控制系统。多个物体识别模板中的每一个表示物体能具有的相对于相机的光轴的姿势，该相机生成场景内物体的图像信息。
[0008]在另一个实施例中，提供了一种生成用于标识场景中的物体的物体识别模板集的方法。该方法包括获取物体的注册数据，该注册数据包括表示该物体的物体模型；确定物体模型在三维空间中的多个视点；估计物体模型在多个视点中的每一个处的多个外观；根据多个外观生成多个物体识别模板，其中多个物体识别模板中的每一个对应于多个外观中的相应一个；以及将多个物体识别模板作为物体识别集传送给机器人控制系统。多个物体识别模板中的每一个表示物体能具有的相对于相机的光轴的姿势，该相机生成场景内物体的图像信息。
[0009]在另一个实施例中，提供了一种非暂时性计算机可读介质，其被配置有可执行指令，所述可执行指令用于实现用于生成用于标识场景中的物体的物体识别模板的方法，所述方法可由至少一个处理电路经由通信接口操作，该通信接口被配置为与机器人系统通信。该方法包括接收物体的注册数据，该注册数据包括表示该物体的物体模型；执行操作以在三维空间中生成物体模型的多个视点；执行操作以估计物体模型在多个视点中的每一个处的多个外观；执行操作以根据多个外观生成多个物体识别模板，其中多个物体识别模板中的每一个对应于多个外观中的相应一个；以及将多个物体识别模板作为物体识别模板集输出给机器人系统。多个物体识别模板中的每一个表示物体能具有的相对于相机的光轴的姿势，该相机生成场景内物体的图像信息。
[0010]在另一个实施例中，提供了一种被配置为生成用于标识场景中的物体的物体识别模板的计算系统。该计算系统包括至少一个处理电路。处理电路被配置用于以下步骤。获取包括数字表示的物体的物体信息；从物体信息中提取二维测量信息；从物体信息中提取三维测量信息；以及根据二维测量信息和三维测量信息生成物体识别模板。
[0011]在另一个实施例中，提供了一种生成用于标识场景中的物体的物体识别模板的方法。该方法包括获取包括数字表示的物体的物体信息；从物体信息中提取二维测量信息；从物体信息中提取三维测量信息；以及根据二维测量信息和三维测量信息生成物体识别模板。
[0012]在另一个实施例中，提供了一种非暂时性计算机可读介质，其被配置有可执行指令，所述可执行指令用于实现用于生成用于标识场景中的物体的物体识别模板的方法，所述方法可由至少一个处理电路经由通信接口操作，该通信接口被配置为与机器人系统通信。该方法包括接收包括数字表示的物体的物体信息；执行操作以从物体信息中提取二维测量信息；执行操作以从物体信息中提取三维测量信息；以及根据二维测量信息和三维测量信息向机器人系统输出物体识别模板。
[0013]在另一个实施例中，提供了一种计算系统。该计算系统包括与机器人通信的至少一个处理电路，该机器人具有臂和与臂连接的末端执行器，以及具有视场的相机，并且当一个或多个物体处于或已经处于视场中时，该至少一个处理电路被配置为执行存储在非暂时性计算机可读介质上的指令。执行的指令包括获取场景中的物体的物体图像信息；获取包括表示模板物体的对应物体识别模板的检测假设；标识模板物体和物体图像信息之间的差异；标识与物体图像信息的物体位置集对应的模板物体中的模板位置集；调整模板位置集以收敛到物体位置集；以及根据调整后的模板位置集，生成包括调整后的对应物体识别模板的调整后的检测假设。
[0014]在另一个实施例中，提供了一种方法。该方法包括获取场景中的物体的物体图像信息；获取包括表示模板物体的对应物体识别模板的检测假设；标识模板物体和物体图像信息之间的差异；标识与物体图像信息的物体位置集对应的模板物体中的模板位置集；调整模板位置集以收敛到物体位置集；以及根据调整后的模板位置集，生成包括调整后的对应物体识别模板的调整后的检测假设。
[0015]在另一个实施例中，提供了一种非暂时性计算机可读介质，其被配置有可执行指令，所述可执行指令用于实现用于细化检测假设的方法，所述方法可由至少一个处理电路经由通信接口操作，该通信接口被配置为与机器人系统通信。该方法包括接收场景中的物
体的物体图像信息；接收包括表示模板物体的对应物体识别模板的检测假设；执行操作以标识模板物体和物体图像信息之间的差异；执行操作以标识与物体图像信息的物体位置集对应的模板物体中的模板位置集；执行操作以调整模板位置集以收敛到物体位置集；以及根据调整后的模板位置集，向机器人系统输出包括调整后的对应物体识别模板的调整后的检测假设。
[0016]在另一个实施例中，提供了一种计算系统。该计算系统包括与机器人通信的至少一个处理电路，该机器人具有臂和与臂连接的末端执行器，以及具有视场的相机，并且当一个或多个物体处于或已经处于视场中时，该至少一个处理电路被配置为执行存储在非暂时性计算机可读介质上的指令。执行的指令包括获取场景中的物体的物体图像信息；获取检测假设集，每个检测假设包括表示模板物体的对应物体识别模板；以及通过以下操作来验证检测假设集中的每个检测假设：基于比较检测假本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算系统，包括：与机器人通信的至少一个处理电路以及具有视场的相机，该机器人具有臂和与所述臂连接的末端执行器，并且当一个或多个物体处于或已经处于视场中时，该至少一个处理电路被配置为执行存储在非暂时性计算机可读介质上的指令，以用于：获取场景中物体的物体图像信息；获取检测假设集，每个检测假设包括表示模板物体的对应物体识别模板；以及通过以下操作来验证检测假设集中的每个检测假设：基于比较该检测假设的物体识别模板的三维信息和对应于该物体的物体图像信息的三维信息，生成多个三维验证分数，所述多个三维验证分数包括遮挡验证器分数、点云验证器分数、空洞匹配验证器分数和法线向量验证器分数中的至少一个；基于比较该检测假设的对应物体识别模板的二维信息与物体图像信息的三维信息，生成多个二维验证分数，所述多个二维验证分数包括渲染的匹配验证器分数和模板匹配验证器分数中的至少一个；根据所述多个三维验证分数和所述多个二维验证分数从检测假设集中过滤该检测假设；以及根据验证后的检测假设集中剩余的未过滤检测假设来检测场景中的物体。2.如权利要求1所述的计算系统，其中所述指令还被配置用于：执行机器人运动规划过程以从场景中检索物体；以及输出命令以移动机器人以检索物体。3.如权利要求1所述的计算系统，其中所述多个三维验证分数包括点云验证器分数，该点云验证器分数通过以下操作获取：将从物体图像信息获取的物体位置与模板物体的表面进行比较；标识物体位置和表面之间的不一致以获取点云验证器分数。4.如权利要求3所述的计算系统，其中根据将物体位置放置在模板物体的表面之下的不一致来标识无效物体位置，并且点云验证器分数基于无效物体位置。5.如权利要求1所述的计算系统，其中所述多个三维验证分数包括遮挡验证器分数，该遮挡验证器分数通过以下操作获取：将从物体图像信息获取的物体位置与模板物体的表面进行比较；标识物体位置和表面之间的不一致以获取遮挡验证器分数。6.如权利要求5所述的计算系统，其中根据将对应物体位置放置在模板物体的表面上方或外部的不一致来标识遮挡，并且遮挡验证器分数基于遮挡。7.如权利要求1所述的计算系统，其中所述多个三维验证分数包括法线向量验证器分数，该法线向量验证器分数通过以下操作获取：将从物体图像信息获取的表面法线向量与模板物体的对应表面法线向量进行比较；标识表面法线向量和对应表面法线向量之间的不一致以获取法线向量验证器分数。8.如权利要求1所述的计算系统，其中所述多个三维验证分数包括空洞匹配验证器分数，该空洞匹配验证器分数通过以下操作获取：
将从物体图像信息获取的物体位置与模板物体的结构进行比较；标识物体位置和结构之间的不一致以根据与模板物体的结构中的空体积对应的物体位置来标识空洞无效。9.如权利要求1所述的计算系统，其中渲染的匹配验证器分数通过以下操作获取：生成场景中物体的二维渲染，以及将物体的二维渲染的渲染后的边缘与模板物体的提取的边缘进行比较以标识无效边缘。10.如权利要求1所述的计算系统，其中验证检测假设集中的每个检测假设还包括：将对应物体识别模板与除了对应于模板物体的物体之外的场景元素进行比较。11.如权利要求10所述的计算系统，其中将表示估计物体的对应物体识别模板与场景元素进行比较包括：确定对应于模板物体的物体是否在容器内。12.如权利要求1所述的计算系统，其中从检测假设集中过滤该检测假设包括将遮挡验证器分数、点云验证器分数、空洞匹配验证器分数、法线向量验证器分数、渲染匹配验证器分数以及模板匹配验证器分数与对应的阈值进行比较，其中如果三维验证分数或二维验证分数中的任何一个未能超过对应的阈值，则从检测假设集中移...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：牧今科技，
类型：发明
国别省市：