基于识别和跟踪图像场景中的多个对象来控制车叉制造技术

提供了一种用于控制车辆的叉子的方法。该方法可以包括：当车辆的叉子垂直移动时，获得其中多个托盘可见的物理环境场景的图像序列；由计算机系统在每个图像中识别一个或多个评分的候选对象，每个评分的候选对象都潜在地对应于多个托盘中的相应一个；对于一个或多个评分的候选对象中的每一个，由计算机系统跟踪在该序列中的至少两个图像中的每一个中的相应位置；为一个或多个评分的候选对象中的每一个确定在物理环境中的相应关联高度；及基于评分的候选对象中具体一个的高度，由计算机系统把车辆的叉子停在物理环境中的一高度。

【技术实现步骤摘要】
【国外来华专利技术】基于识别和跟踪图像场景中的多个对象来控制车叉
本专利技术一般而言涉及材料搬运车辆，并且更具体地说涉及用于成像并定位要被该车辆拾起的托盘的系统。
技术介绍
在典型的仓库或配送中心，托盘化的库存物品存储在与通常长而平行延伸的通道每一侧对齐的货架或其它存储结构中。为了最大化可用的空间，让几个存储结构垂直堆放是常见的，使得库存可以在升高的高度存储。因此，检索和/或摆放库存的材料搬运车辆的操作人员可能需要从车辆的操作位置向上看，以便识别用于检索或摆放库存的叉子的正确高度和横向位置。在增加的高度处定位叉架以便拾起或摆放托盘化的材料变得越来越困难。可视角度变得更加困难。为了有效地执行必要的定位调整，会需要大量的培训。即使具有足够的能力，正确定位也会花比材料搬运车辆和操作人员的有效使用所期望的更多的时间。
技术实现思路
根据本专利技术的第一方面，提供了用于控制车辆的叉子的方法。该方法可以包括：当车辆的叉子垂直移动时，获得其中多个托盘可见的物理环境场景的图像序列；由计算机系统在每个图像中识别一个或多个评分的候选对象，每个评分的候选对象都潜在地对应于多个托盘中的相应一个；对于一个或多个评分的候选对象中的每一个，由计算机系统跟踪在该序列中的至少两个图像中的每一个中的相应位置；为一个或多个评分的候选对象中的每一个确定在物理环境中的相应关联高度，其中用于评分的候选对象中的每个特定一个的相应关联高度是基于该特定一个评分的候选对象在至少两个图像中的每一个中的相应位置的；并且基于评分的候选对象中具体一个的高度，由计算机系统把车辆的叉子停在物理环境中的一高度。该图像序列可以利用与叉子同时移动的照相机获得，使得该图像序列中的每个图像是在不同的对应照相机位置获得的。获得图像序列可以包括由单个成像照相机捕捉场景的灰度级图像序列。多个托盘可以安排为单列垂直隔开的托盘。在每个图像中识别一个或多个相应评分的候选对象中的每一个可以包括在每个图像中识别多个特征，其中每个所识别出的特征潜在地对应于托盘的相应物理结构。托盘的相应物理结构可以包括中心垂直纵梁、基板线和一对叉子开口。该方法可以包括：向所识别出的对应于中心垂直纵梁的特征分配第一置信得分；向所识别出的对应于基板线的特征分配第二置信得分；向所识别出的对应于一对叉子开口的特征分配第三置信得分；并且基于从第一、第二和第三置信得分计算出的合成得分，把多个特征识别为特定图像中的评分的候选对象。该方法可以包括维护具有用于每个评分的候选对象的相应记录的列表，其中用于特定评分的候选对象的相应记录包括该特定评分的候选对象在至少两个图像中的相应位置。在至少两个图像中跟踪用于一个或多个评分的候选对象中的每一个的相应位置可以包括：响应于获得图像序列中的最近图像，分析该图像序列中的两个最近获得的图像，以确定第二最近图像中的一个或多个评分的候选对象中的特定一个是否在最近图像中具有匹配的评分的候选对象；并且，基于匹配的评分的候选对象在最近图像中的相应位置，在该特定一个评分的候选对象的相应记录中添加条目。分析两个最近获得的图像可以包括：在最近图像中识别一个或多个可能的评分的候选对象；为每个可能的评分的候选对象确定在最近图像中的相应实测位置；并且，对于一个或多个评分的候选对象中的特定一个：计算在最近图像中的相应预测位置，其中相应预测位置是基于该特定一个评分的候选对象在第二最近图像中的相应位置以及第二最近图像和最近图像的获得之间照相机的移动来估计的，计算相应预测窗口，其中相应预测窗口定义在最近图像中在相应预测位置附近的一组像素位置，并且，对于最近图像中具有在相应预测窗口中的相应实测位置的任何可能的评分的候选对象，试验性地匹配最近图像中该可能的评分的候选对象与第二最近图像中特定一个评分的候选对象。该方法可以包括：当一个或多个可能的评分的候选对象中的多个候选对象与该特定一个评分的候选对象试验性地匹配时，从多个候选对象中选择一个可能的评分的候选对象，以明确地匹配该特定一个评分的候选对象，或者，当一个或多个可能的评分的候选对象中的仅一个候选对象与该特定一个评分的候选对象试验性地匹配时，选择该试验性地匹配的可能的评分的候选对象，以明确地匹配该特定一个评分的候选对象。为该特定评分的候选对象计算相应预测位置可以包括使用卡尔曼滤波器。用于卡尔曼滤波器的卡尔曼增益可以基于明确地匹配的可能的评分的候选对象的相应实测位置和相应预测位置之差。基于用于该特定一个评分的候选对象的相应位置确定在物理环境中的相应关联高度可以包括：识别物理环境中的世界坐标原点位置；为至少两个图像中的每一个识别在物理环境中照相机相对于世界坐标原点的对应位置；并且，基于：a）来自至少两个图像中的每一个的、用于该特定一个评分的候选对象的相应位置，和b）用于至少两个图像中的每一个的照相机的对应位置，确定相对于世界坐标原点的相应关联高度。确定相对于世界坐标原点的相应关联高度可以包括：利用用于该特定一个评分的候选对象的相应位置的第一子集计算初始的相应关联高度，其中位置的第二子集包括用于该特定一个评分的候选对象的、除第一子集中那些位置之外的所有相应位置；为初始的相应关联高度计算误差测量；利用初始的相应关联高度，计算与第二子集中的每个位置关联的相应误差测量；并且识别包括第二子集中具有小于该误差测量的关联的相应误差测量的那些位置的位置的第三子集。照相机可以耦合到车辆的一部分。为至少两个图像中的每一个识别在物理环境中照相机相对于世界坐标原点的对应位置可以包括补偿在每个图像的获得之间所发生的车辆移动。计算机系统可以包括图像分析计算机和车辆计算机。该方法还可以包括：通过传送评分的候选对象中具体一个的相应关联高度以及预定义的偏移量值，把评分的候选对象中具体一个的高度从图像分析计算机传送到车辆计算机。该方法还可以包括：把评分的候选对象中具体一个的高度从图像分析计算机传送到车辆计算机，其中传送包括：识别叉子的当前高度；在一个或多个评分的候选对象中，确定其相应关联高度最接近并且大于叉子的当前高度的特定评分的候选对象，该特定评分的候选对象定义具体一个评分的候选对象；并且把该特定评分的候选对象的高度从图像分析计算机传送到车辆计算机。把评分的候选对象中具体一个的高度从图像分析计算机传送到车辆计算机可以包括基于叉子的当前高度，更新相应关联高度中要传送的相应关联高度。把车辆的叉子停在物理环境中的一高度可以包括：从车辆的用户操作的控制设备接收输入；在叉子垂直移动时监视叉子的高度；并且当叉子的高度基本上等于评分的候选对象中具体一个的所传送的高度时，停止叉子的垂直移动。根据本专利技术的第二方面，提供了用于控制车辆的叉子的系统。该系统可以包括：成像获得部件，配置为当车辆的叉子垂直移动时，获得其中多个托盘可见的物理环境场景的图像序列；图像分析器，配置为在每个图像中识别一个或多个评分的候选对象，每个评分的候选对象都潜在地对应于多个托盘中的相应一个；对象跟踪部件，配置为对于一个或多个评分的候选对象中的每一个，跟踪在该序列中的至少两个图像中的每一个中的相应位置；图像处理部件，配置为对于一个或多个评分的候选对象中的每一个，确定在物理环境中的相应关联高度，其中用于评分的候选对象中的每个特定一个的相应关联高度是基于该特定一个评分的候选对象在至少本文档来自技高网...

【技术保护点】
一种用于控制车辆的叉子的方法，包括：当车辆的叉子垂直移动时，获得其中多个托盘可见的物理环境场景的图像序列；由计算机系统在每个图像中识别一个或多个评分的候选对象，每个评分的候选对象都潜在地对应于多个托盘中的相应一个；对于一个或多个评分的候选对象中的每一个，由计算机系统跟踪在该序列中的至少两个图像中的每一个中的相应位置；为一个或多个评分的候选对象中的每一个确定在物理环境中的相应关联高度，其中用于评分的候选对象中的每个特定一个的相应关联高度是基于该特定一个评分的候选对象在至少两个图像中的每一个中的相应位置的；及基于评分的候选对象中具体一个的高度，由计算机系统把车辆的叉子停在物理环境中的一高度。

【技术特征摘要】
【国外来华专利技术】2011.10.19 US 61/548,776;2011.12.12 US 61/569,596;1.一种用于控制车辆的叉子的方法，包括：当车辆的叉子垂直移动时，获得其中多个托盘可见的物理环境场景的图像序列；由计算机系统在每个图像中识别一个或多个评分的候选对象，每个评分的候选对象都潜在地对应于多个托盘中的相应一个，其中每个评分的候选对象具有相应关联得分，所述相应关联得分是评分的候选对象对应于托盘的一个或多个物理结构的置信值；对于一个或多个评分的候选对象中的每一个，由计算机系统跟踪在该序列中的至少两个图像中的每一个中的相应位置；为一个或多个评分的候选对象中的每一个确定在物理环境中的相应关联高度，其中用于评分的候选对象中的每个特定一个的相应关联高度是基于该特定一个评分的候选对象在至少两个图像中的每一个中的相应位置的；及基于评分的候选对象中具体一个的高度，由计算机系统把车辆的叉子停在物理环境中的一高度。2.如权利要求1所述的方法，其中图像序列是利用与叉子同时移动的照相机获得的，使得该图像序列中的每个图像是在不同的对应照相机位置获得的。3.如权利要求1所述的方法，其中获得图像序列包括：由单个成像照相机捕捉场景的灰度级图像序列。4.如权利要求1所述的方法，其中多个托盘安排为单列垂直隔开的托盘。5.如权利要求1所述的方法，其中在每个图像中识别一个或多个相应评分的候选对象中的每一个包括：在每个图像中识别多个特征，其中每个所识别出的特征潜在地对应于托盘的相应物理结构。6.如权利要求5所述的方法，其中托盘的相应物理结构包括中心垂直纵梁、基板线和一对叉子开口。7.如权利要求6所述的方法，包括：向所识别出的对应于中心垂直纵梁的特征分配第一置信得分；向所识别出的对应于基板线的特征分配第二置信得分；向所识别出的对应于一对叉子开口的特征分配第三置信得分；及基于从第一、第二和第三置信得分计算出的合成得分，把多个特征识别为特定图像中的评分的候选对象。8.如权利要求1所述的方法，包括：维护具有用于每个评分的候选对象的相应记录的列表，其中用于特定评分的候选对象的相应记录包括该特定评分的候选对象在至少两个图像中的相应位置。9.如权利要求8所述的方法，其中在至少两个图像中跟踪用于一个或多个评分的候选对象中的每一个的相应位置包括：响应于获得图像序列中的最近图像，分析该图像序列中的两个最近获得的图像，以确定第二最近图像中的一个或多个评分的候选对象中的特定一个是否在最近图像中具有匹配的评分的候选对象；及基于匹配的评分的候选对象在最近图像中的相应位置，在该特定一个评分的候选对象的相应记录中添加条目。10.如权利要求9所述的方法，其中分析两个最近获得的图像包括：在最近图像中识别一个或多个可能的评分的候选对象；为每个可能的评分的候选对象确定在最近图像中的相应实测位置；及对于一个或多个评分的候选对象中的特定一个：计算在最近图像中的相应预测位置，其中相应预测位置是基于该特定一个评分的候选对象在第二最近图像中的相应位置以及第二最近图像和最近图像的获得之间照相机的移动来估计的，计算相应预测窗口，其中相应预测窗口定义在最近图像中在相应预测位置附近的一组像素位置，及对于最近图像中具有在相应预测窗口中的相应实测位置的任何可能的评分的候选对象，试验性地匹配最近图像中该可能的评分的候选对象与第二最近图像中特定一个评分的候选对象。11.如权利要求10所述的方法，包括：当一个或多个可能的评分的候选对象中的多个候选对象与该特定一个评分的候选对象试验性地匹配时，从多个候选对象中选择一个可能的评分的候选对象，以明确地匹配该特定一个评分的候选对象，或者当一个或多个可能的评分的候选对象中的仅一个候选对象与该特定一个评分的候选对象试验性地匹配时，选择该试验性地匹配的可能的评分的候选对象，以明确地匹配该特定一个评分的候选对象。12.如权利要求11所述的方法，其中为特定一个评分的候选对象计算相应预测位置包括使用卡尔曼滤波器。13.如权利要求12所述的方法，其中用于卡尔曼滤波器的卡尔曼增益是基于明确地匹配的可能的评分的候选对象的相应实测位置和相应预测位置之差的。14.如权利要求2所述的方法，其中基于用于该特定一个评分的候选对象的相应位置确定在物理环境中的相应关联高度包括：识别物理环境中的世界坐标原点位置；为至少两个图像中的每一个识别在物理环境中照相机相对于世界坐标原点的对应位置；及基于以下来确定相对于世界坐标原点的相应关联高度：a)来自至少两个图像中的每一个的、用于该特定一个评分的候选对象的相应位置，及b)用于至少两个图像中的每一个的照相机的对应位置。15.如权利要求14所述的方法，其中确定相对于世界坐标原点的相应关联高度包括：利用用于该特定一个评分的候选对象的相应位置的第一子集计算初始的相应关联高度，其中位置的第二子集包括用于该特定一个评分的候选对象的、除第一子集中那些位置之外的所有相应位置；为初始的相应关联高度计算误差测量；利用初始的相应关联高度，计算与第二子集中的每个位置关联的相应误差测量；及识别包括第二子集中具有小于该误差测量的关联的相应误差测量的那些位置的位置的第三子集。16.如权利要求14所述的方法，其中照相机耦合到车辆的一部分。17.如权利要求16所述的方法，其中为至少两个图像中的每一个识别在物理环境中照相机相对于世界坐标原点的对应位置包括：补偿在每个图像的获得之间所发生的车辆移动。18.如权利要求1所述的方法，其中计算机系统包括图像分析计算机和车辆计算机，该方法还包括：通过传送评分的候选对象中具体一个的相应关联高度以及预定义的偏移量值，把评分的候选对象中具体一个的高度从图像分析计算机传送到车辆计算机。19.如权利要求1所述的方法，其中计算机系统包括图像分析计算机和车辆计算机，该方法还包括：把评分的候选对象中具体一个的高度从图像分析计算机传送到车辆计算机，其中传送包括：识别叉子的当前高度；在一个或多个评分的候选对象中，确定其相应关联高度最接近并且大于叉子的当前高度的特定评分的候选对象，该特定评分的候选对象定义具体一个评分的候选对象；及把该特定评分的候选对象的高度从图像分析计算机传送到车辆计算机。20.如权利要求19所述的方法，其中把评分的候选对象中具体一个的高度从图像分析计算机传送到车辆计算机包括：基于叉子的当前高度，更新相应关联高度中要传送的相应关联高度。21.如权利要求1所述的方法，其中把车辆的叉子停在物理环境中的一高度包括：从车辆的用户操作的控制设备接收输入；在叉子垂直移动时监视叉子的高度；及当叉子的高度基本上等于评分的候选对象中具体一个的所传送的高度时，停止叉子的垂直移动。22.一种用于控制车辆的叉子的系统，包括：成像获得部件，配置为当车辆的叉子垂直移动时，获得其中多个托盘可见的物理环境场景的图像序列；图像分析器，配置为在每个图像中识别一个或多个评分的候选对象，每个评分的候选对象都潜在地对应于多个托盘中的相应一个，其中每个评分的候选对象具有相应关联得分，所述相应关联得分是评分的候选对象对应于托盘的一个或多个物理结构的置信值；对象跟踪部件，配置为对于一个或多个评分的候选对象中的每一个，跟踪在该序列中的至少两个图像中的每一个中的相应位置；图像处理部件，配置为对于一个或多个评分的候选对象中的每一个，确定在物理环境中的相应关联高度，其中用于评分的候选对象中的每个特定一个的相应关联高度是基于该特定一个评分的候选对象在至少两个图像中的每一个中的相应位置的；及叉子控制器，配置为基于评分的候选对象中具体一个的高度，把车辆的叉子停在物理环境中的一高度。23.如权利要求22所述的系统，其中成像获得部件包括配置为与叉子同时移动的照相机，使得该图像序列中的每个图像是在不同的对应照相机位置获得的。24.如权利要求22所述的系统，其中图像序列包括由单个照相机捕捉到的场景的灰度级图像序列。25.如权利要求22所述的系统，其中多个托盘安排为单列垂直隔开的托盘。26.如权利要求22所述的系统，其中图像分析器还配置为在每个图像中识别多个特征，其中每个所识别出的特征潜在地对应于托盘的相应物理结构。27.如权利要求26所述的系统，其中托盘的相应物理结构包括中心垂直纵梁、基板线和一对叉子开口。28.如权利要求27所述的系统，其中图像分析器还包括：对象打分部件，配置为：向所识别出的对应于中心垂直纵梁的特征分配第一置信得分；向所识别出的对应于基板线的特征分配第二置信得分；向所识别出的对应于一对叉子开口的特征分配第三置信得分；及基于从第一、第二和第三置信得分计算出的合成得分，把多个特征识别为特定图像中的评分的候选对象。29.如权利要求22所述的系统，包括：配置为存储具有用于每个评分的候选对象的相应记录的列表的存储器，其中用于特定评分的候选对象的相应记录包括该特定评分的候选对象在至少两个图像中的相应位置。30.如权利要求29所述的系统，其中对象跟踪部件还配置为：响应于获得图像序列中的最近图像，分析该图像序列中的两个最近获得的图像，以确定第二最近图像中的一个或多个评分的候选对象中的特定一个是否在最近图像中具有匹配的评分的候选对象；及基于匹配的评分的候选对象在最近图像中的相应位置，在该特定一个评分的候选对象的相应记录中添加条目。31.如权利要求30所述的系统，其中对象跟踪部件还配置为：在最近图像中识别一个或多个可能的评分的候选对象；为每个可能的评分的候选对象确定在最近图像中的相应实测位置；及对于一个或多个评分的候选对象中的特定一个：计算在最近图像中的相应预测位置，其中相应预测位置是基于该特定一个...

【专利技术属性】
技术研发人员：L·F·霍尔瓦，E·R·埃尔斯顿，E·L·詹森，M·J·西林格，JD·S·约德，
申请(专利权)人：克朗设备公司，
类型：发明
国别省市：美国;US