非单侧工件的点云处理方法技术

本公开提供的非单侧工件的点云处理方法

【技术实现步骤摘要】
非单侧工件的点云处理方法、装置、设备及存储介质


[0001]本公开涉及机器视觉
，尤其涉及一种非单侧工件的点云处理方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]在工件抓取应用中，精匹配会从粗匹配中获取工件的精度不高的位姿，然后再通过迭代的方式逐渐提高工件匹配精度
。
[0003]对于相机拍到的场景点云，由于只能拍到工件的上表面，而模型的模板点云却是一个完整的模板点云
。
在场景内无法快速找到对应场景点云的模板点云，对精匹配的速度和精度都是负面作用，从而造成无法快速实现精匹配的目的
。

技术实现思路

[0004]本公开提供一种非单侧工件的点云处理方法
、
装置
、
设备及存储介质，以解决现有技术无法快速实现点云模板与场景点云的精匹配的目的
。
[0005]第一方面，本公开实施例提供了一种非单侧工件的点云处理方法，包括：
[0006]针对每个工件分别对应的点云模板，根据所述点云模板中模板点的属性信息和相机相应的视点信息，确定各所述点云模板在所述相机视野下的可见点云，所述属性信息为向量信息或针对所述模板点进行正投影所得的深度信息；
[0007]根据待处理工件的场景点云和各所述点云模板对应的可见点云，在所有工件的所述点云模板中选定与所述待处理工件对应的点云模板；
[0008]根据选定的所述点云模板对应的可见点云，对所述场景点云进行精匹配处理
。
[0009]在一个或多个实施例中，所述视点信息为从所述相机指向所述模板点的视点向量，所述属性信息为所述模板点的法向量；
[0010]相应的，所述根据所述点云模板中模板点的属性信息和相机相应的视点信息，确定各所述点云模板在所述相机视野下的可见点云，包括：
[0011]针对每个模板点，确定各所述模板点的所述法向量与其对应的所述视点向量的夹角；
[0012]将所有所述法向量与对应所述视点向量的夹角为钝角的模板点的集合作为所述点云模板在所述相机视野下的可见点云
。
[0013]在一个或多个实施例中，所述视点信息为所述相机的光轴方向，所述属性信息为所述模板点的法向量的竖轴分量；
[0014]相应的，所述根据所述点云模板中模板点的属性信息和相机相应的视点信息，确定各所述点云模板在所述相机视野下的可见点云，包括：
[0015]对比各所述模板点的竖轴分量的朝向与所述光轴方向；
[0016]将所有所述竖轴分量的朝向与所述光轴方向相反的模板点的集合作为所述点云模板在所述相机视野下的可见点云
。
[0017]在一个或多个实施例中，所述视点信息为所述相机的光轴方向，所述属性信息为所述深度信息；
[0018]相应的，所述根据所述点云模板中模板点的属性信息和相机相应的视点信息，确定各所述点云模板在所述相机视野下的可见点云，包括：
[0019]基于所述光轴方向，对各个模板点进行正投影；
[0020]将所有未发生正投影重叠的所述模板点的集合作为所述点云模板在所述相机视野下的可见点云的第一部分；
[0021]针对发生正投影重叠的至少两个模板点，获取各模板点分别与对应正投影所得点之间的深度信息；
[0022]将所有对应同一正投影时深度信息最大的模板点的集合作为所述点云模板在所述相机视野下的可见点云的第二部分
。
[0023]在一个或多个实施例中，所述根据所述点云模板中模板点的属性信息和相机相应的视点信息，确定各所述点云模板在所述相机视野下的可见点云，包括：
[0024]判断所述模板点的法向量与该所述模板点对应的视点向量之间的夹角是否为锐角；
[0025]若存在所述法向量与对应所述视点向量之间的夹角为锐角的模板点，则才根据所述点云模板中模板点的属性信息和相机相应的视点信息确定该所述点云模板在所述相机视野下的可见点云
。
[0026]在一个或多个实施例中，所述方法还包括：
[0027]根据所述选定的点云模板和所述场景点云，确定所述待处理工件中的其他点云
。
[0028]第二方面，本公开实施例提供了一种非单侧工件的点云处理装置，包括：
[0029]第一确定模块，用于针对每个工件分别对应的点云模板，根据所述点云模板中模板点的属性信息和相机相应的视点信息，确定各所述点云模板在所述相机视野下的可见点云，所述属性信息为向量信息或针对所述模板点进行正投影所得的深度信息；
[0030]第二确定模块，用于根据待处理工件的场景点云和各所述点云模板对应的可见点云，在所有工件的所述点云模板中选定与所述待处理工件对应的点云模板；
[0031]处理模块，用于根据选定的所述点云模板对应的可见点云，对所述场景点云进行精匹配处理
。
[0032]在一个或多个实施例中，所述视点信息为从所述相机指向所述模板点的视点向量，所述属性信息为所述模板点的法向量；
[0033]相应的，所述第一确定模块，具体用于：
[0034]针对每个模板点，确定各所述模板点的所述法向量与其对应的所述视点向量的夹角；
[0035]将所有所述法向量与对应所述视点向量的夹角为钝角的模板点的集合作为所述点云模板在所述相机视野下的可见点云
。
[0036]在一个或多个实施例中，所述视点信息为所述相机的光轴方向，所述属性信息为所述模板点的法向量的竖轴分量；
[0037]相应的，所述第一确定模块，具体用于：
[0038]对比各所述模板点的竖轴分量的朝向与所述光轴方向；
[0039]将所有所述竖轴分量的朝向与所述光轴方向相反的模板点的集合作为所述点云模板在所述相机视野下的可见点云
。
[0040]在一个或多个实施例中，所述视点信息为所述相机的光轴方向，所述属性信息为所述深度信息；
[0041]相应的，所述第一确定模块，具体用于：
[0042]基于所述光轴方向，对各个模板点进行正投影；
[0043]将所有未发生正投影重叠的所述模板点的集合作为所述点云模板在所述相机视野下的可见点云的第一部分；
[0044]针对发生正投影重叠的至少两个模板点，获取各模板点分别与对应正投影所得点之间的深度信息；
[0045]将所有对应同一正投影时深度信息最大的模板点的集合作为所述点云模板在所述相机视野下的可见点云的第二部分
。
[0046]在一个或多个实施例中，所述视点信息为视点向量，所述视点向量为所述相机指向所述模板点的向量，所述属性信息为向量信息，所述向量信息为所述模板点的法向量；
[0047]相应的，在所述根据所述点云模板中各个模板点的属性信息和相机相应的视点信息，确定所述点云模板在所述相机视野下的可见点云之前，所述第一确定模块，还用于：
[0048]判断所述模板点的法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种非单侧工件的点云处理方法，其特征在于，包括：针对每个工件分别对应的点云模板，根据所述点云模板中模板点的属性信息和相机相应的视点信息，确定各所述点云模板在所述相机视野下的可见点云，所述属性信息为向量信息或针对所述模板点进行正投影所得的深度信息；根据待处理工件的场景点云和各所述点云模板对应的可见点云，在所有工件的所述点云模板中选定与所述待处理工件对应的点云模板；根据选定的所述点云模板对应的可见点云，对所述场景点云进行精匹配处理
。2.
根据权利要求1所述的方法，其特征在于，所述视点信息为从所述相机指向所述模板点的视点向量，所述属性信息为所述模板点的法向量；相应的，所述根据所述点云模板中模板点的属性信息和相机相应的视点信息，确定各所述点云模板在所述相机视野下的可见点云，包括：针对每个模板点，确定各所述模板点的所述法向量与其对应的所述视点向量的夹角；将所有所述法向量与对应所述视点向量的夹角为钝角的模板点的集合作为所述点云模板在所述相机视野下的可见点云
。3.
根据权利要求1所述的方法，其特征在于，所述视点信息为所述相机的光轴方向，所述属性信息为所述模板点的法向量的竖轴分量；相应的，所述根据所述点云模板中模板点的属性信息和相机相应的视点信息，确定各所述点云模板在所述相机视野下的可见点云，包括：对比各所述模板点的竖轴分量的朝向与所述光轴方向；将所有所述竖轴分量的朝向与所述光轴方向相反的模板点的集合作为所述点云模板在所述相机视野下的可见点云
。4.
根据权利要求1所述的方法，其特征在于，所述视点信息为所述相机的光轴方向，所述属性信息为所述深度信息；相应的，所述根据所述点云模板中模板点的属性信息和相机相应的视点信息，确定各所述点云模板在所述相机视野下的可见点云，包括：基于所述光轴方向，对各个模板点进行正投影；将所有未发生正投影重叠的所述模板点的集合作为所述点云模板在所述相机视野下的可见点云的第一部分；针对发生正投影重叠的至少两个模板点，获取各所述模板点分别与对应正投影所得点之间的深度信息；将所有对应同...

【专利技术属性】
技术研发人员：盛文波，魏海永，刘迪一，丁有爽，邵天兰，
申请(专利权)人：梅卡曼德北京机器人科技有限公司，
类型：发明
国别省市：