用于物体检测的系统和方法技术方案

本公开涉及用于物体检测的系统和方法。一种计算系统，包括与具有视场的相机通信的处理电路。处理电路被配置为执行与检测、标识和检索布置在多个物体中的物体相关的操作。处理电路可以被配置为执行与物体识别模板生成、特征生成、假设生成、假设细化和假设验证相关的操作。作。作。

【技术实现步骤摘要】
用于物体检测的系统和方法
[0001]本申请是申请日为2022年08月09日、申请号为202280004923.7、名称为“用于物体检测的系统和方法”的专利技术专利申请的分案申请。
[0002]对相关申请的交叉引用
[0003]本申请要求于2021年8月9日提交的题为“A ROBOTIC SYSTEM FOR FACILITATING TEMPLATE MATCHING AND DETECTION FOR OBJECT PICKING”的第63/230,931号美国临时申请的权益，该美国临时申请的全部内容通过引用并入本文。


[0004]本技术总体上针对机器人系统，并且更具体地针对用于标识和检测物体的系统、过程和技术。更特别地，本技术可用于标识和检测容器中的物体。

技术介绍

[0005]随着它们不断提高的性能和降低的成本，许多机器人(例如，被配置为自动/自主地执行物理动作的机器)现在广泛用于各种不同的领域。例如，机器人可用于在制造和/或组装、填充(packing)和/或打包、运输和/或装运等中执行各种任务(例如，通过空间操纵或转移物体)。在执行任务时，机器人可以复制人类动作，从而替代或减少执行危险或重复性任务另外所需的人类参与。
[0006]然而，尽管技术进步，机器人通常缺乏复制执行更大和/或更复杂任务所需的人类交互所需的复杂性。因此，仍然需要用于管理机器人之间的操作和/或交互的改进技术和系统。

技术实现思路

[0007]在实施例中，提供了一种被配置为生成用于标识场景中的物体的物体识别模板集的计算系统。该计算系统包括被配置用于以下操作的至少一个处理电路。获取物体的注册数据，其中该注册数据包括表示该物体的物体模型；确定物体模型在三维空间中的多个视点；估计物体模型在多个视点中的每一个处的多个外观；根据多个外观生成多个物体识别模板，其中多个物体识别模板中的每一个对应于多个外观中的相应一个；以及将多个物体识别模板作为物体识别模板集传送给机器人控制系统。多个物体识别模板中的每一个表示物体能具有的相对于相机的光轴的姿势，该相机生成场景内物体的图像信息。
[0008]在另一个实施例中，提供了一种生成用于标识场景中的物体的物体识别模板集的方法。该方法包括获取物体的注册数据，该注册数据包括表示该物体的物体模型；确定物体模型在三维空间中的多个视点；估计物体模型在多个视点中的每一个处的多个外观；根据多个外观生成多个物体识别模板，其中多个物体识别模板中的每一个对应于多个外观中的相应一个；以及将多个物体识别模板作为物体识别集传送给机器人控制系统。多个物体识别模板中的每一个表示物体能具有的相对于相机的光轴的姿势，该相机生成场景内物体的图像信息。
[0009]在另一个实施例中，提供了一种非暂时性计算机可读介质，其被配置有可执行指令，所述可执行指令用于实现用于生成用于标识场景中的物体的物体识别模板的方法，所述方法可由至少一个处理电路经由通信接口操作，该通信接口被配置为与机器人系统通信。该方法包括接收物体的注册数据，该注册数据包括表示该物体的物体模型；执行操作以在三维空间中生成物体模型的多个视点；执行操作以估计物体模型在多个视点中的每一个处的多个外观；执行操作以根据多个外观生成多个物体识别模板，其中多个物体识别模板中的每一个对应于多个外观中的相应一个；以及将多个物体识别模板作为物体识别模板集输出给机器人系统。多个物体识别模板中的每一个表示物体能具有的相对于相机的光轴的姿势，该相机生成场景内物体的图像信息。
[0010]在另一个实施例中，提供了一种被配置为生成用于标识场景中的物体的物体识别模板的计算系统。该计算系统包括至少一个处理电路。处理电路被配置用于以下步骤。获取包括数字表示的物体的物体信息；从物体信息中提取二维测量信息；从物体信息中提取三维测量信息；以及根据二维测量信息和三维测量信息生成物体识别模板。
[0011]在另一个实施例中，提供了一种生成用于标识场景中的物体的物体识别模板的方法。该方法包括获取包括数字表示的物体的物体信息；从物体信息中提取二维测量信息；从物体信息中提取三维测量信息；以及根据二维测量信息和三维测量信息生成物体识别模板。
[0012]在另一个实施例中，提供了一种非暂时性计算机可读介质，其被配置有可执行指令，所述可执行指令用于实现用于生成用于标识场景中的物体的物体识别模板的方法，所述方法可由至少一个处理电路经由通信接口操作，该通信接口被配置为与机器人系统通信。该方法包括接收包括数字表示的物体的物体信息；执行操作以从物体信息中提取二维测量信息；执行操作以从物体信息中提取三维测量信息；以及根据二维测量信息和三维测量信息向机器人系统输出物体识别模板。
[0013]在另一个实施例中，提供了一种计算系统。该计算系统包括与机器人通信的至少一个处理电路，该机器人具有臂和与臂连接的末端执行器，以及具有视场的相机，并且当一个或多个物体处于或已经处于视场中时，该至少一个处理电路被配置为执行存储在非暂时性计算机可读介质上的指令。执行的指令包括获取场景中的物体的物体图像信息；获取包括表示模板物体的对应物体识别模板的检测假设；标识模板物体和物体图像信息之间的差异；标识与物体图像信息的物体位置集对应的模板物体中的模板位置集；调整模板位置集以收敛到物体位置集；以及根据调整后的模板位置集，生成包括调整后的对应物体识别模板的调整后的检测假设。
[0014]在另一个实施例中，提供了一种方法。该方法包括获取场景中的物体的物体图像信息；获取包括表示模板物体的对应物体识别模板的检测假设；标识模板物体和物体图像信息之间的差异；标识与物体图像信息的物体位置集对应的模板物体中的模板位置集；调整模板位置集以收敛到物体位置集；以及根据调整后的模板位置集，生成包括调整后的对应物体识别模板的调整后的检测假设。
[0015]在另一个实施例中，提供了一种非暂时性计算机可读介质，其被配置有可执行指令，所述可执行指令用于实现用于细化检测假设的方法，所述方法可由至少一个处理电路经由通信接口操作，该通信接口被配置为与机器人系统通信。该方法包括接收场景中的物
体的物体图像信息；接收包括表示模板物体的对应物体识别模板的检测假设；执行操作以标识模板物体和物体图像信息之间的差异；执行操作以标识与物体图像信息的物体位置集对应的模板物体中的模板位置集；执行操作以调整模板位置集以收敛到物体位置集；以及根据调整后的模板位置集，向机器人系统输出包括调整后的对应物体识别模板的调整后的检测假设。
[0016]在另一个实施例中，提供了一种计算系统。该计算系统包括与机器人通信的至少一个处理电路，该机器人具有臂和与臂连接的末端执行器，以及具有视场的相机，并且当一个或多个物体处于或已经处于视场中时，该至少一个处理电路被配置为执行存储在非暂时性计算机可读介质上的指令。执行的指令包括获取场景中的物体的物体图像信息；获取检测假设集，每个检测假设包括表示模板物体的对应物体识别模板；以及通过以下操作来验证检测假设集中的每个检测假设：基于比较检测假本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算系统，包括：与机器人通信的至少一个处理电路以及具有视场的相机，该机器人具有臂和与所述臂连接的末端执行器，并且当一个或多个物体处于或已经处于所述视场中时，所述至少一个处理电路被配置为执行存储在非暂时性计算机可读介质上的指令，以用于：获取场景中物体的物体图像信息；获取包括表示模板物体的对应物体识别模板的检测假设；标识模板物体和物体图像信息之间的差异；标识与物体图像信息的物体位置集对应的模板物体中的模板位置集；调整模板位置集以收敛到物体位置集；以及根据调整后的模板位置集，生成包括调整后的对应物体识别模板的调整后的检测假设。2.如权利要求1所述的计算系统，还包括通过以下操作调整模板位置集：标识在模板位置集和物体位置集中的对应物之间延伸的相应向量；以及根据所述相应向量迭代地调整模板位置集。3.如权利要求2所述的计算系统，其中迭代地调整模板位置集包括：根据作用于模板物体的相应向量的量值和方向，迭代地生成调整后的模板位置集，根据调整后的模板位置集调整相应向量，以及根据调整后的模板位置集标识新的相应向量，直到对齐的质量超过阈值。4.如权利要求3所述的计算系统，其中对齐的质量是基于由新的相应向量的量值和方向定义的未对齐的水平来确定的。5.如权利要求3所述的计算系统，其中对齐的质量是基于调整后的模板位置集和物体位置集之间的距离测量来确定的。6.如权利要求5所述的计算系统，其中距离测量包括欧几里得距离测量。7.如权利要求5所述的计算系统，其中距离测量包括与调整后的模板位置集和物体位置集相关联的表面法线向量之间的余弦距离。8.如权利要求7所述的计算系统，其中余弦距离指示表面法线向量之间的角度，并且其中角度的大小与对齐的质量相关。9.如权利要求5所述的计算系统，其中距离测量是从调整后的模板位置集的第一位置到物体位置集的第二位置的平面的测量。10.如权利要求3所述的计算系统，其中对齐的质量由调整后的模板位置集和物体位置集之间的收敛的速度来确定。11.如权利要求1所述的系统，还包括：通过将物体识别模板与场景的图像信息重叠，以基于物体识别模板的模板梯度信息和模板表面法线向量信息与从图像信息中提取的物体梯度信息和物体表面法线向量信息之间的比较来标识物体图像信息，来获取检测假设。12.一种方法，包括：获取场景中物体的物体图像信息；获...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：牧今科技，
类型：发明
国别省市：