一种基于3D视觉的药盒姿态估计方法技术

技术编号:23768405 阅读:43 留言:0更新日期:2020-04-11 21:06
一种基于3D视觉的药盒姿态估计方法,通过将药盒的识别、定位和姿态估计分步进行,首先通过YOLOv3卷积神经网络训练PASCAL VOC数据集,实现对药盒的识别和定位,通过药盒的定位信息分割出单个药盒进行特征匹配和单应矩阵求取,由单应矩阵得到药盒四个角点坐标,求其在相机坐标系下的坐标信息,并结合药盒四个角点的固有平齐关系建立药盒坐标系,最后转换药盒坐标系到相机坐标系获得药盒姿态估计信息。本发明专利技术实现了多个药盒的快速精确定位。

A 3D vision based attitude estimation method for drug box

【技术实现步骤摘要】
一种基于3D视觉的药盒姿态估计方法
本专利技术属于多目标识别、定位、姿态检测领域,涉及一种药盒姿态估计方法。技术背景随着工业自动化、智能仓储、智能物流的发展,机器人在各方面应用越来越广泛,尤其是以工业机器人为代表的相关自动化设备近年来一直保持这市场井喷的态势。作为工业机器人的重要应用方向,以机械臂和工业相机为硬件基础的,基于视觉技术的多目标物体抓取和分拣操作在各个领域都有着广泛的应用,为精准实现目标抓取和分拣操作,目标物体的识别、定位、姿态检测对于操作的顺利实现至关重要。现有的物体的识别、定位、姿态检测的相关解决方案主要可基于2D或3D机器视觉。其中,基于2D机器视觉的解决方案主要用于环境稳定,表面几何形状较为简单的情况,基于2D机器视觉的解决方案虽然具有高识别效率、低运算量、低延时等优点,但容易受到光线、复杂纹理、环境变化的影响,对表面几何形状较为复杂的目标物体,其识别成功率不高。基于3D机器视觉的解决方案具有更好的适应性,但有计算量大,需要很高的硬件配置需求等不足,另外其识别准确率有限。专利技术内容为了克本文档来自技高网...

【技术保护点】
1.一种基于3D视觉的药盒姿态估计方法,其特征在于,所述方法包括以下步骤:/n1)图像采集和图片归一化,制作PASCAL VOC数据集;/n2)制作求取单应矩阵所用的模版;/n3)模型训练;/nYOLOv3网络采用误差平均作为loss函数,loss函数如下:/n

【技术特征摘要】
1.一种基于3D视觉的药盒姿态估计方法,其特征在于,所述方法包括以下步骤:
1)图像采集和图片归一化,制作PASCALVOC数据集;
2)制作求取单应矩阵所用的模版;
3)模型训练;
YOLOv3网络采用误差平均作为loss函数,loss函数如下:



式中,1MaxIOU<Thresh表示预测边框中与真实对象边框IOU最大的那个,1t<128000表示前128000次迭代计入误差,表示该边框负责预测一个真实对象,λ是不同类型误差的调节系数;
在avg低于0.01之后,avg为平均loss,停止模型训练,输出训练好的权重文件,完成YOLOv3卷积神经网络的模型训练;
4)目标定位
通过加载YOLOv3训练好的权重文件进行目标定位,获取boundingbox位置信息;
boundingbox预测公式如下:



其中,bx,by,bw,bh是预测边框的中心和宽高,Pr(object)*IOU(b,object)是预测边框的置信度,即对预测参数to进行σ变换后作为置信度的值,pw,ph是先验框...

【专利技术属性】
技术研发人员:仇翔王国顺赵扬扬刘安东滕游俞立
申请(专利权)人:浙江工业大学
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1