物品特征的检测与跟踪制造技术

技术通常被描述来用于检测和跟踪物品特征。在一些示例中，可以通过从第一视角检测对象的一个或多个边缘和一个或多个角点来最初找到对象的特征。此外，可以确定检测到的对象的边缘和角点是否也能够从一个或多个其他视角检测到。响应于肯定的确定，可以将检测到的边缘和对象标记为待跟踪特征，例如在相机馈送的后续帧中。视角可以对应于以物体上方为中心的大致伞状结构中的分布位置。在其他示例中，可以编程地控制对象正在被跟踪的环境的照明条件。

【技术实现步骤摘要】
【国外来华专利技术】物品特征的检测与跟踪
除非在此处另外进行说明，本部分所描述的材料不是本申请中权利要求的现有技术并且不因包含在该部分中而承认是现有技术。
技术介绍
在各种环境中，当物品或跟踪物品所使用的监视照相机移动时可能需要跟踪物品。例如，在制造环境中，当通过机器人设备使各种各样的零件在组装带上移动并被处理(例如，组装、测试或以其他方式处理)时，可能需要识别和跟踪各种各样的零件。机器人设备通常在执行需要精确度的重复性任务或操作时，与人类对应者相比，通常更精确，更快速，更具成本效益。然而，虽然人类针对手头的任务可以容易地识别零件并将其放置在适当的位置，但是如果零件不在精确选择的位置或者从零件到零件有变化，则机器人可能不能识别相同的零件。在机器人设备处理之前提供零件选择和定位的精确可能导致成本增加和延迟。例如，可能必须为包括多个机器人站的装配带中的每个机器人设备安装特殊的定位机构。基于物品特征检测物品可能不适用于机器人处理环境。也可能需要通过一个或多个环境来跟踪物品。在许多环境中，照明条件可能会在一天之内变化，或者随着人们和其他机器的移动而变化。因此，目前的检测和跟踪方法及其实现方式可以使用改进和/或替代或附加的解决方案来提供和促进可靠的物品跟踪。
技术实现思路
本公开总体上描述了实现物品特征的检测和跟踪的技术。根据一些示例，描述了实现物品特征的检测和跟踪的方法。示例性方法可以包括从第一视角检测物品的一个或多个边缘和一个或多个角点，确定所检测到的物品的一个或多个边缘和一个或多个角点是否能够从至少第二视角检测到，响应于确定所检测到的所述物品的一个或多个边缘和一个或多个角点也能够从至少第二视角检测到，将检测到的物品的一个或多个边缘和一个或多个角点标记为待跟踪特征。根据其他示例，描述了被配置为实现物品特征的检测和跟踪的装置。示例性的装置可以包括：至少一个图像捕获模块，被配置为从多个视角捕获物品的图像，以及通信地耦合到所述至少一个图像捕获模块的至少一个分析模块。所述至少一个分析模块可以被配置为从第一视角检测所述物品的一个或多个边缘和一个或多个角点，确定检测到的所述物品的一个或多个边缘和一个或多个角点是否能从至少第二视角检测到，并且响应于确定所检测的所述物品的一个或多个边缘和一个或多个角点也能从至少第二视角检测到，将所检测到的所述物品的一个或多个边缘和一个或多个角点标记为待跟踪特征。根据进一步的示例，描述了实现物品特征的检测和跟踪的系统。示例性的系统可以包括：至少一个图像捕获模块，被配置为从多个视角捕获物品的图像；至少一个定位模块，机械地耦合到所述至少一个图像捕获模块，所述至少一个定位模块被配置为将所述至少一个图像捕获模块移动到大致伞形构造中的多个位置，所述多个位置对应多个视角；以及至少一个控制器，其通信地耦合到所述至少一个图像捕获模块和所述至少一个定位模块。所述至少一个控制器可以被配置为从第一视角检测所述物品的一个或多个边缘和一个或多个角点；确定所检测到的物品的一个或多个边缘和一个或多个角点是否能从至少第二视角检测到；并且响应于确定所检测到的物品的一个或多个边缘和一个或多个角点也能够从至少第二视角检测到，将检测到的物品的一个或多个边缘和一个或多个角点标记为待跟踪特征。前面的概述仅仅是示例性的，而不意在以任何方式进行限制。通过参考附图以及下面的详细说明，除了上文所描述的示例性的方案、实施例和特征之外，另外的方案、实施例和特征将变得清晰可见。附图说明通过下面结合附图给出的详细说明和随附的权利要求，本公开的前述特征以及其它特征将变得更加清晰。应理解的是，这些附图仅描绘了依照本公开的多个实施例，因此，不应视为对本专利技术范围的限制，将通过利用附图结合附加的具体描述和细节对本公开进行说明，在附图中：图1示出了具有固定相机的物品检测和跟踪系统的示例配置；图2A和2B示出了具有可移动相机和伞形相机运动表示的物品检测和跟踪系统的其它的示例配置；图3示出了具有几何特征的示例性假设零件及其检测；图4示出了示例性的汽车零件上的检测到的边缘；图5示出了示例汽车零件上的检测到角点；图6示出了可用于实现物品特征的检测和跟踪的通用计算设备；图7是示出可由计算设备(例如图6中的计算设备)执行的用于实现物品特征的检测和跟踪的示例过程的流程图；以及图8示出了根据本文所描述的至少一些实施例布置的示例性的计算机程序产品的框图。专利技术详述在下面的详细说明中，将参考附图，附图构成了详细说明的一部分。在附图中，除非上下文另外指出，相似的符号通常表示相似的部件。在详细说明、附图和权利要求中所描述的示例性实施例不意在限制。在不偏离本文呈现的主题的精神或范围的情况下，可以使用其它实施例并且可以做出其它改变。如本文大致描述且如图中所示出的，本公开的方面能够以各种不同配置来布置、替代、组合、分离和设计，所有这些都在本文中明确地构思出。除了别的以外，本公开通常涉及与物品特征的检测和跟踪的实现相关的方法、装置、系统、设备和/或计算机程序产品。简而言之，通常描述了用于物品特征的检测和跟踪的技术。在一些示例中，可以通过从第一视角检测对象的一个或多个边缘和一个或多个角点来最初找到对象的特征。此外，可以进行确定对象的检测到的边缘和角点是否也可以从一个或多个其他视角可检测到。响应于肯定的确定，对象的检测到的边缘和角点可以被标记为待跟踪特征，例如在相机馈送的后续帧中。视角可以对应于以物体上方中心的大致伞状结构中的分布位置。在其他示例中，可以编程地控制对象被跟踪的环境的照明条件。图1示出了根据本文所描述的至少一些实施例布置的具有固定相机的物品检测与跟踪系统的示例的配置。如示意图100所示，可以通过不同的帧识别和跟踪物品102(例如，当物品在静止图像捕获系统下移动时的物品的图像的帧，或者当图像捕获系统在静止的物品的上方移动时图像捕获系统拍摄物品的图像)。在所示出的示例配置中，物品102可以在平台108上是静止的。图像捕获系统104可以固定到支撑机构106并且沿着例如轴线112可移动，并且可操作以捕获物品102的不同帧的图像。在其他示例中，图像捕获系统104可以沿着诸如与平台108在同一平面上的两个正交轴线的多个轴线可移动。图像捕获系统104也可以沿非线性轴线移动或三维地移动。在训练阶段，图像捕获系统104可以从不同的视角110捕获物品102的图像，并且基于全部或大多数捕获图像中的物品102内的诸如边缘、角点和基本几何形状之类的特征的可检测性来识别物品102内的角点那些特征。为了从不同的视角110完成图像的捕获，图像捕获系统104可以被移动到不同的位置。可替代地，图像捕获系统104可以包括多个图像传感器，例如互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件(CCD)图像传感器、N型金属氧化物半导体(NMOS)图像传感器，或类似的图像传感器。图像捕获系统104可以被配置为通过成像角度的数字调整或者针对每个图像选择不同的成像传感器而从不同的视角110捕获图像。图2A和2B示出了根据本文所描述的至少一些实施例布置的具有可移动相机和伞形相机运动表示的物品检测与跟踪系统的其他的示例配置。如图2A的示意图200A所示，图像捕获系统204可以固定到诸如机器人臂202的移动支撑机构。如上所述，图像捕获系统20本文档来自技高网...

【技术保护点】
一种实现物品特征的检测和跟踪的方法，所述方法包括：从第一视角检测物品的一个或多个边缘和一个或多个角点；确定所检测到的所述物品的一个或多个边缘和一个或多个角点是否能从至少第二视角检测到；以及响应于确定所检测到的所述物品的一个或多个边缘和一个或多个角点也能够从至少所述第二视角检测到，将所检测到的所述物品的一个或多个边缘和一个或多个角点标记为待跟踪特征。

【技术特征摘要】
【国外来华专利技术】1.一种实现物品特征的检测和跟踪的方法，所述方法包括：从第一视角检测物品的一个或多个边缘和一个或多个角点；确定所检测到的所述物品的一个或多个边缘和一个或多个角点是否能从至少第二视角检测到；以及响应于确定所检测到的所述物品的一个或多个边缘和一个或多个角点也能够从至少所述第二视角检测到，将所检测到的所述物品的一个或多个边缘和一个或多个角点标记为待跟踪特征。2.根据权利要求1所述的方法，还包括：确定所检测到的所述物品的一个或多个边缘和一个或多个角点是否能从多个视角检测到；以及从以所述物品上方为中心的大致伞形构造中的随机分布的位置中选择所述多个视角。3.根据权利要求2所述的方法，其中所述第一视角来自所述伞形构造的特定位置。4.根据权利要求1所述的方法，其中检测所述物品的所述一个或多个边缘和一个或多个角点包括：基于所述物品的捕获图像中的像素的亮度的实质变化来检测所述一个或多个边缘。5.根据权利要求4所述的方法，其中检测所述物品的所述一个或多个边缘和一个或多个角点还包括：检测作为所检测到的边缘对的交点的所述一个或多个角点。6.根据权利要求5所述的方法，还包括：基于将所检测到的一个或多个边缘和一个或多个角点进行相关，来跟踪经过至少两个捕获的图像帧的所述物品。7.根据权利要求1所述的方法，还包括：基于所检测到的一个或多个边缘和一个或多个角点来确定所述物品内的一个或多个几何特征。8.根据权利要求7所述的方法，还包括：确定从每个确定出的几何特征的边缘到所述物品的最近外边缘的边缘距离。9.根据权利要求8所述的方法，还包括：基于将所述一个或多个几何特征和对应的边缘距离进行相关，来跟踪经过至少两个捕获的图像帧的所述物品。10.根据权利要求1所述的方法，还包括：检测在所述物品正在被检测的环境中的照明强度或照明颜色组成中的变化。11.根据权利要求10所述的方法，还包括：利用所述环境中的一个或多个光源来补偿所检测到的所述照明强度或所述照明颜色组成中的变化。12.根据权利要求11所述的方法，还包括：在检测所述物品的所述一个或多个边缘和一个或多个角点的同时，补偿所检测到的所述照明强度或所述照明颜色组成中的变化。13.一种被配置为实现物品特征的检测和跟踪的装置，所述装置包括：至少一个图像捕获模块，被配置为从多个视角捕获物品的图像；至少一个分析模块，通信地耦合到所述至少一个图像捕获模块，所述至少一个分析模块被配置为：从第一视角检测所述物品的一个或多个边缘和一个或多个角点；确定所检测到的所述物品的一个或多个边缘和一个或多个角点是否能够从至少第二视角检测到；以及响应于确定所检测到的所述物品的一个或多个边缘和一个或多个角点能够从至少所述第二视角检测到，将所检测到的所述物品的一个或多个边缘和一个或多个角点标记为待跟踪特征。14.根据权利要求13所述的装置，其中所述至少一个图像捕获模块包括多个图像捕获传感器，所述多个图像捕获传感器被定位于以所述物品上方为中心的大致伞形构造中的多个位置处。15.根据权利要求14所述的装置，其中所述多个视角对应于以所述物品上方为中心的所述大致伞形构造中的所述多个位置。16.根据权利要求15所述的装置，其中所述第一视角对应于所述伞形构造的特定位置。17.根据权利要求13所述的装置，还包括定位模块，所述定位模块被配置为将所述至少一个图像捕获模块移动到大致伞形构造中的多个位置，其中所述多个视角对应于以所述物品上方为中心的所述大致伞形构造中的所述多个位置。18.根据权利要求17所述的装置，其中所述多个位置通过随机分布或高斯分布而被分布在以所述物品上方为中心的所述大致伞形构造中。19.根据权利要求13所述的装置，其中所述至少一个图像捕获模块包括互补金属氧化物半导体(CMOS)图...

【专利技术属性】
技术研发人员：S·亨特，
申请(专利权)人：机器人视觉科技股份有限公司，
类型：发明
国别省市：美国,US