用于执行或促进物理边缘检测的方法和计算系统技术方案

本公开涉及用于执行或促进物理边缘检测的方法和计算系统。提出了一种用于促进边缘检测的方法和计算系统。计算系统可以包括至少一个处理电路，该至少一个处理电路被配置为接收表示相机视场中的一组对象的图像信息，并且从该图像信息中识别与该组对象相关联的多个候选边缘。至少一个处理电路还可以确定，当多个候选边缘包括基于第一图像区域和第二图像区域之间的边界形成的第一候选边缘时，图像信息在第一候选边缘处是否满足定义的暗度条件。至少一个处理电路还可以选择多个候选边缘的子集以形成用于表示一组对象的物理边缘的选择的候选边缘子集。的候选边缘子集。的候选边缘子集。

【技术实现步骤摘要】
用于执行或促进物理边缘检测的方法和计算系统
[0001]本申请是申请日为2021年6月3日、申请号为202180002211.7、名称为“用于执行或促进物理边缘检测的方法和计算系统”的专利技术专利申请的分案申请。
[0002]对相关申请的交叉引用
[0003]本申请要求于2021年5月27日提交的题为“用于执行或促进物理边缘检测的方法和计算系统(METHOD AND COMPUTING SYSTEM FOR PERFORMING OR FACILITATING PHYSICAL EDGE DETECTION)”的第17/331,878号美国申请的优先权，该美国申请要求2020年6月4日提交的题为“具有视觉机构的机器人系统(ROBOTIC SYSTEM WITH VISION MECHANISM)”的第63/034,403号美国临时申请的优先权，这些申请的全部内容通过引用并入本文。


[0004]本公开涉及用于执行或促进物理边缘检测的计算系统和方法。

技术介绍

[0005]随着自动化变得更加普遍，机器人正在更多环境中(诸如在仓储和零售环境中)被使用。例如，机器人可用于与仓库中的对象进行交互。机器人的移动可以是固定的，或者可以基于输入，诸如由仓库中的传感器生成的信息。

技术实现思路

[0006]本公开的一个方面涉及一种计算系统或一种由该计算系统执行的方法。计算系统可包括通信接口和至少一个处理电路。通信接口可以被配置为与机器人以及与具有相机视场的相机进行通信。至少一个处理电路可以被配置为当一组对象在相机视场中时，执行以下操作：接收表示该组对象的图像信息，其中图像信息由相机生成；从图像信息中识别与该组对象相关联的多个候选边缘，其中多个候选边缘是或包括形成用于表示该组对象的物理边缘的相应候选者的相应图像位置或物理位置集合；当多个候选边缘包括基于第一图像区域和第二图像区域之间的边界形成的第一候选边缘时，确定图像信息在第一候选边缘处是否满足定义的暗度条件，其中第一图像区域比第二图像区域更暗，其中第一图像区域和第二图像区域是由图像信息描述的相应区域；选择多个候选边缘的子集以形成用于表示该组对象的物理边缘的选择的候选边缘子集，其中该选择包括：基于图像信息在第一候选边缘处是否满足定义的暗度条件来确定是否通过将第一候选边缘包括在所选择的候选边缘子集中来保留第一候选边缘作为用于表示该组对象的物理边缘中的至少一个的候选者。
附图说明
[0007]图1A
‑
图1D示出了与本文的实施例一致的用于执行或促进物理边缘检测的系统。
[0008]图2A
‑
图2D提供了示出与本文的实施例一致的被配置为执行或促进物理边缘检测的计算系统的框图。
[0009]图3A
‑
图3C示出了根据本文的实施例的可以在其中执行物理边缘检测的环境。
[0010]图4提供了示出根据本文的实施例的处理候选边缘的方法的流程图。
[0011]图5A和图5B示出了根据本文的实施例的可以从中识别候选边缘的示例图像信息。
[0012]图6A和图6B示出了根据本文的实施例的从图像信息识别的候选边缘。
[0013]图7A
‑
图7C示出了根据本文的实施例的从图像信息识别的候选边缘。
[0014]图8示出了根据本文的实施例的在可在其中基于漫反射来生成图像的环境，在该漫反射中入射光从相机视场中的对象反射。
[0015]图9A
‑
图9C示出了候选边缘周围的图像强度分布(image intensity profile)，而图9D示出了根据本文的实施例的在对应于候选边缘的位置周围的区域的深度值。
[0016]图10A
‑
图10C示出了根据本文的实施例的候选边缘周围的图像强度分布。
[0017]图11A
‑
图11C示出了根据本文的实施例的物理边缘周围的位置的深度值，而图11D示出了根据本文的实施例的表示物理边缘的图像的图像强度分布。
[0018]图12A
‑
图12C示出了根据本文的实施例的表示具有比相邻图像区域更暗的图像区域的对象的图像的图像强度分布。
[0019]图13A
‑
图13C示出了根据本文的实施例的表示被物理间隙分开的并且其中一个对象比另一个对象更暗的两个对象的图像的图像强度分布。
具体实施方式
[0020]本公开的一个方面涉及使用表示一组对象的图像信息来检测或以其他方式识别该组对象的物理边缘。例如，2D图像可以表示一组盒子，并且可以包括潜在地表示该组盒子的物理边缘的候选边缘。计算系统可以使用图像信息中的候选边缘来区分在图像信息中表示的单个对象。在一些情况下，计算系统可以使用识别单个盒子的信息来控制涉及单个盒子的机器人交互。例如，机器人交互可以包括卸垛操作，在该卸垛操作中机器人的末端执行器装置接近对象中的一个，拾取对象，并将对象移动到目的地位置。
[0021]在一些情况下，2D图像或其他图像信息可能包括作为伪边缘的候选边缘，该伪边缘可能是与相机视场中对象的任何实际物理边缘不对应的候选边缘。因此，本公开的一个方面涉及评估候选边缘以确定候选边缘对应于实际物理边缘而不是伪边缘的置信水平。在实施例中，这样的确定可以基于关于某些物理边缘将很可能如何出现在图像中的预期或预测。更特别地，这样的确定可以基于一种预期，该预期为如果物理边缘与对象之间的物理间隙相关联(例如，物理边缘形成物理间隙的一侧)，则这样的物理间隙在图像中可能看起来非常暗，和/或可以具有一种图像强度分布，该图像强度分布的特征在于对应于物理间隙的图像区域中的图像强度的尖峰(spiked)降低。因此，本公开的方法或计算系统可以基于对象之间的物理间隙(尤其是狭窄的物理间隙)将很可能由具有与物理间隙在图像中看起来可以有多暗有关的某些特性的图像来表示的预期来操作。这样的图像特性或特征可以被称为暗先验(dark prior)，并且本公开可以涉及检测暗先验，其中暗先验的存在可以增加关于候选边缘是否对应于实际物理边缘的置信水平。
[0022]在实施例中，本公开的方法或系统可以确定图像在候选边缘处是否满足定义的暗度条件，其中定义的暗度条件可以涉及检测暗先验。更特别地，定义的暗度条件可以由暗度阈值标准和/或尖峰强度分布标准来定义，这将在下面更详细地讨论。在此实施例中，如果
计算系统或方法确定图像在候选边缘处满足定义的暗度条件，则可能存在候选边缘对应于实际物理边缘(诸如形成两个对象之间的物理间隙的一侧的物理边缘)的更大的置信水平。在某些情况下，如果图像在候选边缘处不满足定义的暗度条件，则候选边缘是伪边缘的可能性更大。
[0023]本公开的一方面涉及使用2D图像信息来补偿3D图像信息中的限制，反之亦然。例如，如果多个对象(诸如两个或更多个盒子)彼此紧挨着放置，并且被狭窄的物理间隙分开，则3D图像信息可能没有足够高水平的分辨率来捕获或以其他方式表示物理间隙本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算系统，包括：通信接口，被配置为与机器人以及与具有相机视场的相机进行通信；至少一个处理电路，被配置为当一组对象在所述相机视场中时，执行以下操作：接收表示所述一组对象的图像信息，其中所述图像信息由所述相机生成；从所述图像信息中识别与所述一组对象相关联的多个候选边缘，其中所述多个候选边缘是形成用于表示所述一组对象的物理边缘的相应候选者的相应图像位置或物理位置集合，或包括所述相应图像位置或物理位置集合；当所述多个候选边缘包括基于第一图像区域和第二图像区域之间的边界形成的第一候选边缘时，确定所述图像信息在第一候选边缘处是否满足定义的暗度条件，其中第一图像区域比第二图像区域更暗，其中第一图像区域和第二图像区域是由所述图像信息描述的相应区域；选择所述多个候选边缘的子集以形成用于表示所述一组对象的所述物理边缘的选择的候选边缘子集，其中所述选择包括：基于所述图像信息在第一候选边缘处是否满足所述定义的暗度条件来确定是否通过将第一候选边缘包括在所述选择的候选边缘子集中来保留第一候选边缘作为用于表示所述一组对象的所述物理边缘中的至少一个物理边缘的候选者；以及输出机器人交互移动命令，其中所述机器人交互移动命令用于所述机器人与所述一组对象中的至少一个对象之间的机器人交互，并且基于所述选择的候选边缘子集生成，其中所述至少一个处理电路被配置为响应于确定第一图像区域满足定义的暗度阈值标准或定义的尖峰强度分布标准中的至少一个来确定所述图像信息在第一候选边缘处满足所述定义的暗度条件，其中所述至少一个处理电路被配置为通过确定第一图像区域是否具有图像强度比定义的暗度阈值更暗的至少一部分来确定第一图像区域是否满足所述定义的暗度阈值标准，以及其中所述至少一个处理电路被配置为通过确定第一图像区域是否具有如下图像强度分布来确定第一图像区域是否满足所述尖峰强度分布标准：所述图像强度分布包括(i)第一分布部分，其中图像强度作为位置的函数在第一图像区域内暗度增加，以达到在第一图像区域内的位置处的暗度的峰值水平，然后是(ii)第二分布部分，其中图像强度作为位置的函数在第一图像区域内暗度减少，远离暗度的所述峰值水平。2.如权利要求1所述的计算系统，其中第一图像区域是形成表示所述一组对象中的第一对象和第二对象之间的物理间隙的像素带的第一像素区域，其中第二图像区域是紧邻第一像素区域的第二像素区域，使得形成第一候选边缘的所述边界位于第一像素区域和第二像素区域之间。3.如权利要求2所述的计算系统，其中所述至少一个处理电路被配置为通过确定第一图像区域是否具有小于所述定义的暗度阈值的像素强度值来确定第一图像区域是否满足所述定义的暗度阈值标准。4.如权利要求2所述的计算系统，其中第一图像区域的所述图像强度分布描述跨第一图像区域的宽度维度延伸的一系列像素的相应像素强度值，并且其中所述至少一个处理电路被配置为通过确定所述图像强度分布是否具有其中所述相应像素强度值朝着第一图像
区域中的最小像素强度值减少然后切换为远离所述最小像素强度值而增加的形状来确定第一图像区域是否满足尖峰强度分布标准，其中所述最小像素强度值与第一图像区域中的暗度的所述峰值水平相关联。5.如权利要求1所述的计算系统，其中所述至少一个处理电路被配置为仅响应于确定第一图像区域满足所述尖峰强度分布标准来确定第一图像区域满足所述定义的暗度条件。6.如权利要求1所述的计算系统，其中所述至少一个处理电路被配置为仅响应于确定第一图像区域满足所述定义的暗度阈值标准来确定第一图像区域满足所述定义的暗度条件。7.如权利要求1所述的计算系统，其中所述至少一个处理电路被配置为仅响应于确定第一图像区域满足所述定义的暗度阈值标准和所述定义的尖峰强度分布标准两者来确定第一图像区域满足所述定义的暗度条件。8.如权利要求1所述的计算系统，其中所述至少一个处理电路被配置为：当所述图像信息包括2D图像信息和3D图像信息时，基于所述2D图像信息来识别基于第一图像区域和第二图像区域之间的所述边界形成的第一候选边缘，其中所述3D图像信息包括所述相机视场中的位置的深度信息。9.如权利要求8所述的计算系统，其中，当：(i)所述3D图像信息缺少对应于第一候选边缘的一个或多个位置的深度信息，或(ii)对应于第一候选图像的所述3D图像信息的一部分受到大于定义的噪声容限阈值的成像噪声水平的影响时，所述至少一个处理电路被配置为执行对于是否保留第一候选边缘作为用于表示所述一组对象的所述物理边缘中的至少一个物理边缘的候选者的所述确定。10.如权利要求8所述的计算系统，其中，当所述3D图像信息在对应于第一候选边缘的一个或多个位置处不满足定义的深度不连续条件时，所述至少一个处理电路被配置为执行对于是否保留第一候选边缘作为用于表示所述一组对象的所述物理边缘中的至少一个物理边缘的候选者的所述确定。11.如权利要求10所述的计算系统，其中所述至少一个处理电路被配置为：响应于确定所述3D图像信息不描述所述一个或多个位置处的超过定义的深度差阈值的深度改变，确定所述3D图像信息不满足对应于第一候选边缘的一个或多个位置处的所述定义的深度不连续条件。12.如权利要求8所述的计算系统，其中所述至少一个处理电路被配置为基于所述3D图像信息识别所述多个候选边缘中的第二候选边缘。13.如权利要求12所述的计算系统，其中所述至少一个处理电路被配置为基于所述3D图像信息通过以下操作来识别第二候选边缘：基于由所述3D图像信息描述的第一组位置来识别所述一组对象的第一表面，第一组位置具有彼此偏差不超过定义的测量方差阈值的相应深度值；基于由所述3D图像信息描述的第二组位置来识别所述一组对象的第二表面，第二组位置具有在所述定义的测量方差阈值内的相应深度值；确定与第一表面相关联的平均深度值作为第一平均深度值；确定与第二表面相关联的平均深度值作为第二平均深度值；响应于确定第一平均深度值和第二平均深度值...

【专利技术属性】
技术研发人员：何塞，
申请(专利权)人：牧今科技，
类型：发明
国别省市：