【技术实现步骤摘要】
基于点云的目标物体三维计算机建模方法和目标识别方法
本专利技术涉及图像处理和工业自动化
,具体而言,涉及一种基于点云的目标物体三维计算机建模方法和基于点云的三维目标识别方法及零部件分拣系统。
技术介绍
当前,随着人工智能(AI)技术和计算机视觉技术的发展,工业零部件的智能自动分拣在工业生产中逐渐成为可能,技术成熟度也在不断提高。智能分拣首先需要依靠AI技术和计算机视觉识别并且定位目标的位置和姿态,然后通过机械手抓取目标放到指定位置。智能分拣是工厂提供生产率和节约人力成本的关键技术之一。当前技术条件下,目标的识别和定位大多是通过对比已知目标的2D/3D模型和系统获取的图像和点云数据,在系统获取的场景数据中识别并且定位目标的位姿。然而,目前市场上的技术产品还没有公认成熟鲁棒的工业零部件智能分拣方法。相关技术一般通过建立2D图像模板和获取的场景2D图像配准识别并且定位目标。基于2D图像的方法通常只能解决背景单一并且无杂乱场景下的目标识别和定位。也存在一些基于3D特征的方法,其通常基于目标的3D模型,在区分性强的位置建 ...
【技术保护点】
1.一种基于点云的目标物体三维计算机建模方法,其特征在于,包括:/n获取目标物体的点云数据;/n在所述目标物体的点云数据中,自适应抽取预设数量范围的样本点,其中,所述样本点在所述目标物体上呈全局空间上的均匀分布;/n在所述样本点的集合中,根据样本点的相对位置关系选取有效的样本点组合作为模型点对;/n计算所述模型点对的增强型特征描述子,其中所述增强型特征描述子包括每个所述模型点对的两个样本点之间的欧式距离信息,以及两个样本点之间的向量指向和法向量之间相互关系的信息;以及/n根据所述特征描述子计算所述模型点对的哈希值,并根据所有的所述模型点对的哈希值生成目标物体的点云模型。/n
【技术特征摘要】
1.一种基于点云的目标物体三维计算机建模方法,其特征在于,包括:
获取目标物体的点云数据;
在所述目标物体的点云数据中,自适应抽取预设数量范围的样本点,其中,所述样本点在所述目标物体上呈全局空间上的均匀分布;
在所述样本点的集合中,根据样本点的相对位置关系选取有效的样本点组合作为模型点对;
计算所述模型点对的增强型特征描述子,其中所述增强型特征描述子包括每个所述模型点对的两个样本点之间的欧式距离信息,以及两个样本点之间的向量指向和法向量之间相互关系的信息;以及
根据所述特征描述子计算所述模型点对的哈希值,并根据所有的所述模型点对的哈希值生成目标物体的点云模型。
2.根据权利要求1所述的基于点云的目标物体三维计算机建模方法,其特征在于,在所述目标物体的点云数据中,自适应抽取预设数量范围的样本点,包括:
体素划分,将所述目标物体均匀划分为形状相同的多个体素;
备选样本点抽取,从所述点云数据中选择每个体素空间内最靠近所述体素几何中心的点作为备选样本点;
判断所述备选样本点的总数量是否落入所述预设数量范围;以及
若所述备选样本点的总数量未落入所述预设数量范围,则重复体素划分的步骤,改变所述体素的体积,并再次执行备选样本点抽取的步骤;
若所述备选样本点的总数量落入所述预设数量范围,则以当前抽取出的备选样本点作为所述样本点。
3.根据权利要求1所述的基于点云的目标物体三维计算机建模方法,其特征在于,在所述样本点的集合中,根据样本点的相对位置关系选取有效的样本点组合作为模型点对,包括:
将所述样本点进行两两组合,得到样本点对的集合;
从所述样本点对的集合中剔除不满足视点可见性约束的点对,和/或,从所述样本点对中剔除不满足法向量平行约束的点对;以及
将样本点对的集合中剩余的样本点对作为所述模型点对。
4.根据权利要求3所述的基于点云的目标物体三维计算机建模方法,其特征在于,对于任意点对(mr,mi),向量nr和ni分别为点mr和点mi的法向量,
从所述样本点对中剔除不满足视点可见性约束的点对包括:剔除所有法向量内积ρ(mr,mi)=nr·ni小于第一阈值τmin的点对;和/或
从所述样本点对中剔除不满足法向量平行约束的点对包括:剔除所有法向量内积ρ(mr,mi)=nr·ni大于第二阈值τmax的点对。
5.根据权利要求4所述的基于点云的目标物体三维计算机建模方法,其特征在于,所述第一阈值τmin=cos(π/2),所述第二阈值τmax=cos(π/(2Nang)),其中Nang表示角度分量的最大离散数量,Nang为10-30区间范围内的整数。
6.根据权利要求1所述的基于点云的目标物体三维计算机建模方法,其特征在于,计算所述模型点对的增强型特征描述子,包括:
对于模型点对(p,q),其特征描述子Fe(p,q)按照如下方式计算:
Fe(p,q)=(‖d‖2,∠(n1,n3),∠(n2,n3),δ(n·n2)∠(n1,n2))
其中,d为点p到点q的向量‖d‖2表示点p和点q的欧式距离,向量n1和n2分别为点p和点q的法向量,n3=d/‖d‖2,∠(n1,n3)表示向量n1和n3的夹角,∠(n2,n3)表示向量n2和n3的夹角,∠(n1,n2)表示向量n1和n2的夹角;n=n3×n1,δ(n·n2)=1,当且仅当n·n2≥0,否则δ(n·n2)=-1。
7.根据权利要求6所述的基于点云的目标物体三维计算机建模方法,其特征在于,所述根据所述特征描述子计算所述模型点对的哈希值,包括:
对所述模型点对的特征描述子的各个分量进行规范化和离散化取整,得到特征描述子的整数向量表示;
将所述整数向量作为多项式函数的系数,以多项式函数的值作为哈希值;
其中,所述规范化包括将特征描述子的第四个分量通过平移偏置变换到[0,π]。
8.根据权利要求1所述的基于点云的目标物体三维计算机建模方法,其特征在于,所述根据所述特征描述子计算所述模型点对的哈希值,并根据所述模型点对的哈希值生成目标物体的点云模型,还包括:
获取每个所述模型点对的旋转角并存储到所述点云模型中,其中,记将模型点对(mr,mi)中的第一点mr变换到全局坐标系的原点的坐标变换为Tm→g,则将Tm→gmi绕x轴旋转到由x轴和y的非负半轴确定的平面上所需要的旋转角度为所述旋转角
9.一种基于点云的三维目标识别方法,其特征在于,包括:
获取目标物体的点云模型,其中,所述目标物体的点云模型为根据权利要求1-8中任一所述的方法建立的点云模型;
根据三维信息采集装置采集的工作场景的立体图获得点云数据,其中,对所述工作场景的立体图进行与所述点云模型相同的自适应均匀空间采样,得到场景点云数据;以及
根据所述场景点云数据与所述目标物体的点云模型的匹配结果,识别所述工作场景中是否存在符合所述目标物体特征的待识别物体,以及所述待识别物体的位姿。
10.根据权利要求9所述的三维目标识别方法,其特征在于,所述根据所述场景点云数据与所述目标物体的点云模型的匹配结果,识别所述工作场景中是否存在符合所述目标物体特征的待识别物体,以及所述待识别物体的位姿,包括:
滤除噪声数据,对所述场景点云进行预处理,得到有效的点云数据;
从所述有效的点云数据中随机选取预设数量Nr个点作为参考点,构成参考点集合对于所述参考点集合Q中的每个参考点,在所述有效的点云数据中选取所述参考点的预设邻域范围内的点作为邻域场景点,根据所述参考点与所述邻域场景点构建所述预设邻域范围内的邻域场景点对;
计算所述邻域场景点对的哈希值,并根据所述邻域场景点对的哈希值在所述目标物体的点云模型中查找与所述邻域场景点对相匹配的模型点对;以及
根据参考点集合Q中的各个参考点的所述邻域场景点对和与之匹配的所述相匹配的模型点对的位置和数量,识别所述工作场景中的所述待识别物体及其位姿的粗识别结果。
11.根据权利要求10所述的三维目标识别方法,其特征在于,所述对所述场景点云进行预处理,滤除噪声数据,得到有效的点云数据,包括:
对所述点云数据进行直通滤波,除去其中位于相对距离较远处的点;和/或
根据所述点云数据进行平面分割,除...
【专利技术属性】
技术研发人员:鲁荣荣,付兴银,刘骁,李广,
申请(专利权)人:北京迈格威科技有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。