根据结构化点云生成对象表面的三维表示制造技术

本发明专利技术涉及根据结构化点云生成对象表面的三维表示。一种用于生成对象表面的三维(3D)表示的系统。该系统包括点云处理器和对象表面表示处理器。点云处理器用于基于从传感器接收的传感器数据来生成对象的结构化点云。对象表面表示处理器用于：标识结构化点云中的表面节点；以及将每个表面节点与其活动邻居中的任一者链接以生成表面网，其中该链接包括同时建立相应表面节点到活动邻居的前向连接性链路和活动邻居到相应表面节点的反向连接性链路。活动邻居到相应表面节点的反向连接性链路。活动邻居到相应表面节点的反向连接性链路。

【技术实现步骤摘要】
根据结构化点云生成对象表面的三维表示


[0001]本公开涉及使用最少的存储器和计算资源根据结构化点云生成对象表面的三维表示。

技术介绍

[0002]工作单元系统为在装配、包装或制造工厂中码垛对象的机器人获得三维(3D)工作空间的度量。图13A图示出其中工业机器人1310正在码垛盒子1320的典型的工作空间1300A。工作单元系统捕获3D场景表示并与机器人1310共享该3D场景表示，以便规划和执行任务。具体而言，由于在此类应用中机器人夹持器的真空特性，机器人1310不仅需要托盘和对象(例如盒子)的体积占用图，还需要用于规划抓取对象的吸盘的位置的精细的表面模型。图13B图示出3D传感器(例如相机、雷达、激光雷达、超声波等)在不同角度的位置和取向的设置1300B，其中黑色圆圈1330标识了图像噪音、异常值和缺失的数据(感测间隙)。对象材料的不同属性(例如，闪亮的胶带)或传感器的性质导致无法被感测到的区域(感测间隙)。
附图说明
[0003]图1图示出用于根据结构化点云生成对象表面的方法的概览的流程图。
[0004]图2图示出阶段1的示图，阶段1加载活动区域(“感兴趣的区域”)的结构化点云。
[0005]图3图示出阶段2的示图，该阶段2创建了按点
‑
位的图链接。
[0006]图4图示出了阶段3的示图，该阶段3执行递归图正则化，这得到边缘保护的表面平滑。
[0007]图5图示出阶段4的示图，该阶段4估计每个点的向量法线。
[0008]图6图示出阶段5的示图，该阶段5将块作为结构化点云上的图连接组件进行分割。
[0009]图7图示出阶段6的示图，该阶段6对所分割的块的边界元素进行侵蚀，以改善块代表并去除边缘噪声。
[0010]图8图示出了阶段7的示图，该阶段7对每个所分割的块的特征度量进行表征。
[0011]图9图示出阶段8的示图，阶段8估计每个三角形的和整个所分割的块的表面积。
[0012]图10图示出阶段9的示图，该阶段9估计卡尺边界框。
[0013]图11图示出根据本公开的各方面的处理器。
[0014]图12图示出典型的计算机系统。
[0015]图13A图示出其中工业机器人执行码垛任务的典型的工作空间。
[0016]图13B图示出三维传感器的位置和取向的设置。
具体实施方式
[0017]本公开提供了一种用于使用处理器(诸如中央处理器(CPU))来捕获目标对象并将目标对象表示为表面模型的三维(3D)解决方案。该处理器具有经最小化的存储器占用和低
能耗，但具有高帧率性能。该解决方案允许低成本、灵活地使用机器人或手持设备上已获得的或可以轻易提供的处理器。与现有的通用处理器单元(GPU)解决方案相比，也存在更高效的硅使用。该3D建模具有诸如AR/VR/XR、游戏、机器人组装、码垛、抛光、分拣、导航、检查等之类的应用。
[0018]图1图示出用于根据结构化点云生成对象表面的方法的概览的流程图100。该方法包括本文首先作为概览描述的九个循环阶段，接着是更详细的描述。这九个阶段中最重要的是阶段2
‑
4。
[0019]阶段1通过加载定义活动感测区的3D结构化点云点开始该方法。活动感测区是由在其中发生重建的边界框界定的区域或场的体积。
[0020]阶段2仅使用每个点八个位创建了3D点的按位高效图形表示，即按位索引列表，其中索引到位置的映射允许快速点邻域管理。
[0021]阶段3使用递归图形正则化(作为连接邻居的平均距离分布)来呈现保护边缘和信号锐度的自适应和高效的平滑。而且，图形边缘的距离分布被递归地重新成形，因此使表面的底层镶嵌均质化。
[0022]阶段4基于按位关联图和来自平滑阶段3的经规则化的点位置，将法线估计为与三角形的每个顶点的关联相关联的经标准化的法线总和。该阶段改善了高速缓存效率，同时降低了总体计算复杂度。
[0023]阶段5经由法线的链接角和孔径角的参数组合来提取连接的组件。这两个参数能够修剪图中的嘈杂连接，并根据应用设置为快速提取光滑和平面的表面施加曲率限制。该阶段优选地是顺序的，而其他阶段在使用线程方案时可以是并行化的。
[0024]一旦这些段(块)被提取出来，阶段6根据这些段的描述性统计信息和边界度量来对这些段进行表征。不满足目标应用的最小面积、伸长率或长度的段被忽略，从而避免了不必要的计算、时间和能耗。
[0025]阶段7根据预先选择的段的旋转不变的轴(即它们的特征向量和相关联的特征值)来表征这些预先选择的段。该阶段不仅包括将坐标重新映射到不变的和规范的坐标系中(关于按长度排序的特征向量)，而且还包括估计该传感器不变的框架内的边界框，以获得紧凑和具有代表性的形状描述。该情境中的“规范的”是指以下事实：在正交基础上将特征向量重新命名为I、J和K越来越取决于这些特征向量相关联的实数特征值的大小。这确保表面法线I是一致的，无论其相对于相机坐标系的方向如何。
[0026]阶段8使用表面三角形集合(“三角形汤(triangle soup)”)来计算段的有效表面，无论其拓扑结构和复杂度如何。该标量属性对对象和应用是稳健的，易于测量，并有助于轻松设置选择标准，以避免对形状(特定于应用的参数)的提取的进一步处理。
[0027]最后，阶段9对柏拉图式的形状和几何基元执行形状表示优化。然后，该方法循环回到阶段0，以将数据结构中的值重置回到0。
[0028]下面参考图2
‑
图10对这些阶段进行更详细的描述。
[0029]图2图示出阶段1的示图200，阶段1加载活动区域的结构化点云。
[0030]在该阶段中，基于对象的结构化点云210来标识表面节点230。存在两个基本数据结构
‑‑
表面网220和表面节点230。表面网220是存储器中的、具有多个表面节点230的对象，其中每个表面节点230表示被估计的对象表面的3D点，并已存储在包括供稍后的阶段使用
的属性的存储器/缓冲器232中。在不影响接下来的阶段中描述的正式机制的情况下，表面网220可取决于处理器的高速缓存尺寸被拆分成多个存储器/缓冲器。表面节点230在下面描述的阶段2中被链接(连接)，以创建表面网220。
[0031]该阶段1涉及使用深度图像和相机/传感器的固有参数来计算3D点。对于该阶段而言，使用定义为活动区域的边界框(未示出)允许通过查看轴对齐边界框的深度范围[Z0,Z1]以及随后的[Y0,Y1]和[X0,X1]，仅计算该活动区域内的那些表面节点230(点)。以顺序和分层的方式，这仅稍微减少了该阶段的计算量，但在后续阶段期间将具有重大影响。为了优化该阶段的高速缓存有效性，该操作通过避免部分地更新在下一个阶段2中执行的链接来执行。另外，空的表面节点(“感测间隙”)意味着由于在开始时或在完成完整执行循环的阶段0之后重置数据结构而没有附加的操作。
[0032]图3图示出阶段2的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于生成对象表面的三维(3D)表示的系统，所述系统包括：点云处理器，所述点云处理器被配置成用于基于从传感器接收的传感器数据来生成所述对象的结构化点云；以及对象表面表示处理器，所述对象表面表示处理器被配置成用于：标识所述结构化点云中的表面节点；以及将每个表面节点与其活动邻居中的任一者链接以生成表面网，其中所述链接包括同时建立相应表面节点到活动邻居的前向连接性链路和所述活动邻居到所述相应表面节点的反向连接性链路。2.如权利要求1所述的系统，其中建立所述前向连接性链路包括将标识符存储在被分配给所述相应表面节点的存储器部分中，以及存储在与所述邻居相对于所述相应表面节点的位置相关联的所述存储器部分的位置中，并且其中建立所述反向连接性链路包括将标识符存储在被分配给所述活动邻居的存储器部分中，以及存储在与所述相应表面节点相对于所述邻居的位置相关联的所述存储器部分中。3.如权利要求1所述的系统，其特征在于，所述相应表面节点的活动邻居中的任一者紧邻所述相应表面节点。4.如权利要求1所述的系统，其特征在于，所述对象表面表示处理器进一步被配置成用于仅在具有大于预定数量的链接的活动邻居的表面节点中对所述表面网进行平滑。5.如权利要求4所述的系统，其特征在于，所述对象表面表示处理器进一步被配置成用于估计所述表面网的每个表面网三角形的法线，其中，所述表面网三角形的顶点由所述表面节点定义。6.如权利要求5所述的系统，其特征在于，所述对象表面表示处理器被配置成用于通过将所述相应表面网三角形的顶点处累积的所估计的法线标准化来估计所述每个表面网三角形的法线，其中在特定的表面节点处对法线不超过一次地估计。7.如权利要求5所述的系统，其特征在于，所述对象表面表示处理器被配置成用于通过消除具有其顶点中的任意两个顶点被定位成距彼此大于预定距离的所述表面网三角形中的任一者来估计所述每个表面网三角形的法线。8.如权利要求1所述的系统，其特征在于，所述对象表面表示处理器进一步被配置成用于消除缺少大于到活动邻居的链路的预定数量的任何表面节点。9.如权利要求1
‑
7中任一项所述的系统，其特征在于，所述对象表面表示处理器进一步被配置成用于仅基于所述结构化点云的活动区域部分来标识表面节点。10.如权利要求5所述的系统，其特征在于，所述对象表面表示处理器进一步被配置成用于基于跨所述表面网三角形的区域生长分割来提取所述表面网的段。11.如权利要求10所述的系统，其特征在于，所述对象表面表示处理器进一步被配置成用于通过标识不满足面积标准或长度标准的段来消除边界处的段。12.如权利要求10所述的系统，其特征在于，所述对象表面表示处理器进一步被配置成用于表征所述段中的每一个段的自对准轴边界框度量。13.如权利要求12所述的系统，其特征在于，所述对象表面表示处理器进一步被配置成
用于：估计所述段的表面积；并且消除不满足预定表面积标准的段。14.如权利要求1
‑
7中任一项所述的系统，其特征在于，所述对象表面表示处理器进一步被配置成用于：利用单个操作在存储器中重置表面节点和表面网数据；以及重复所述标识和所述生成。15.一种用于生成对象表面的三维(3D)表示的系统，所述系统包括：点云处理装置，所述点云处...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：