【技术实现步骤摘要】
一种三维目标物体的实时位姿估计方法及定位抓取系统
本专利技术涉及机器视觉
,具体涉及一种三维目标物体的实时位姿估计方法及定位抓取系统。
技术介绍
在当今的制造业中,装配过程所用的时间占整个生产制造过程的20%-70%,花费的资金占生产费用的40%以上,其中包括很大一部分的人力劳动费用。为了提高生产效率,降低人力成本,人们开始探索利用机器人实现自动化装配。零件识别与抓取位置规划作为自动化装配过程中不可缺少的重要环节,对装配的质量有至关重要的影响,基于视觉的零件位姿判定与抓取位置规划可以明显提高产品装配的自动化程度、灵活度,减少耗时并降低成本,从而提高生产制造效率。机器人自动化装配涉及两项关键技术:零件识别与自动抓取。面对复杂的作业环境以及产品的多样化需求,从场景中识别需要装配的零件,并完成抓取送达安装工位,如何提升准确性和保证高效性是需要克服的技术难题。基于计算机视觉的零件识别算法按照处理数据类型的不同,可以分为两类:基于二维图像的识别、基于三维点云信息的识别。物体的三维点云是指其表面轮廓上的采样点集,具有空间坐标信息;对于机械零件而言,其标准CAD模型往往是已知的,则通过匹配目标点云与标准模型点云,即可识别零件,得到两者的旋转平移关系。点云匹配有两类常用方法:基于特征匹配的算法和迭代最近点(ICP)的算法。我国是一个制造大国,很多企业都需要对产品进行检测、分栋、上下料抓取等工艺操作,这对于工作在自动化生产线上或者柔性制造系统中的机器人来说,完成最多的一类操作是“抓取-放置”动作,这与机器人的视觉系统密切 ...
【技术保护点】
1.一种三维目标物体的实时位姿估计方法,其特征在于,包括:/n获取目标物体的三维的图形信息;/n根据所述图形信息计算得到所述目标物体的局部特征描述子;/n利用预先建立的三维模型数据库,通过所述局部特征描述子对所述目标物体进行三维的位姿估计,得到所述目标物体的位姿信息;所述三维模型数据库包括所述目标物体的全局特征描述子;/n输出所述位姿信息。/n
【技术特征摘要】
1.一种三维目标物体的实时位姿估计方法,其特征在于,包括:
获取目标物体的三维的图形信息;
根据所述图形信息计算得到所述目标物体的局部特征描述子;
利用预先建立的三维模型数据库,通过所述局部特征描述子对所述目标物体进行三维的位姿估计,得到所述目标物体的位姿信息;所述三维模型数据库包括所述目标物体的全局特征描述子;
输出所述位姿信息。
2.如权利要求1所述的实时位姿估计方法,其特征在于,所述根据所述图形信息计算得到所述目标物体的局部特征描述子,包括:
采用体素栅格对所述图形信息进行降采样处理,以降低所述图形信息中数据点的数目;
采用特征阈值对降采样处理后所述图形信息中的各个数据点进行筛选,以剔除异常的数据点,得到第二点云数据;所述第二点云数据包括所述目标物体在当前场景下各个场景特征点的坐标以及对应的法向量;
根据所述第二点云数据形成所述目标物体的局部特征描述子;所述局部特征描述子中的每个特征描述子与每两个场景特征点相对应。
3.如权利要求2所述的实时位姿估计方法,其特征在于,所述三维模型数据库通过以下方式建立:
获取所述目标物体对应的三维模型的模型信息;
采用体素栅格对所述模型信息进行降采样处理,以降低所述模型信息中数据点的数目;
采用特征阈值对降采样处理后所述模型信息中的各个数据点进行筛选,以剔除异常的数据点,得到第一点云数据;所述第一点云数据包括所述目标物体在模型模板下各个模板特征点的坐标以及对应的法向量;
根据所述第一点云数据形成所述目标物体的全局特征描述子;所述全局特征描述子中的每个特征描述子与每两个模板特征点相对应;
通过所述全局特征描述子建立所述三维模型数据库;
所述全局特征描述子中的每个特征描述子、所述局部特征描述子中的每个特征描述子均为四维的特征向量,用公式表示为
F(p1,p2)=(||d||,∠(n1,d),∠(n2,d),det(n1,n2,d)/||d||)
其中,p1、p2均表示模板特征点或场景特征点,且p1、p2分别对应的法向量为n1、n2,d表示p1到p2的向量,||d||表示p1和p2之间的距离,∠(n1,d)∈[0,π]表示向量n1和d之间的夹角,∠(n2,d)∈[0,π]表示n2和d之间的夹角,det(n1,n2,d)表示向量的行列式的值且相当于表征三个向量形成的六面体的体积。
4.如权利要求3所述的实时位姿估计方法,其特征在于,所述通过所述全局特征描述子建立所述三维模型数据库,包括:
根据所述全局特征描述子中的各个特征描述子分别形成对应的第一点对,得到第一特征集Pm;
建立一基准坐标系,以所述第一特征集Pm中任意第一点对内首个的特征点作为所述基准坐标系的基准点,计算该特征点在所述基准坐标系中的平移向量T和旋转矩阵R;具体包括:对于所述第一特征集Pm中的第一点对((p1,n1),(p2,n2)),将首个的特征点p1转换至所述基准坐标系的原点,将对应的法向量n1=(nx,ny,nz)的方向转换至与所述基准坐标系的X轴方向一致,计算X轴方向夹角θ=arccos(nx)和等效轴角单位方向向量由此计算得到特征点p1在所述基准坐标系中的平移向量T和旋转矩阵R,分别表示为T=-Rp1=-R(px,py,pz)T,其中,cθ表示cosθ,sθ表示sinθ,(px,py,pz)T表示特征点p1的转置运算;根据所述平移向量T和旋转矩阵R对第一点对((p1,n1),(p2,n2))内的另一个特征点p2进行基准坐标变换,得到变换后的坐标pt=(pxt,pyt,pzt)以及对应的旋转角度ψm=-arctan(pzt/pyt);
将所述第一特征集中的各个第一点对和各个第一点对分别对应的旋转角度ψm存入多个哈希表内,利用多个所述哈希表组建所述三维模型数据库;具体包括:将所述第一特征集中具有相同或相似特征值的第一点对划分为一组且存入同一个哈希表内;为每一个哈希表设置一个键值,建立该键值和该哈希表内所存储的第一点对之间的映射关系;利用所有的哈希表组建所述三维模型数据库,用于通过各个哈希表内存储的第一点对替代所述全局特征描述子来对所述目标物体进行描述。
5.如权利要求4所述的实时位姿估计方法,其特征在于,所述利用预先建立的三维模型数据库,通过所述局部特征描述子对所述目标物体进行三维的位姿估计,得到所述目标物体的位姿信息,包括:
根据所...
【专利技术属性】
技术研发人员:杨洋,
申请(专利权)人:深圳市华汉伟业科技有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。