一种基于深度学习的机器人立体视觉机械零件检测方法技术

本发明专利技术公开了一种基于深度学习的机器人立体视觉机械零件检测方法，包括：获取待检测工件的双目立体图像，对双目立体图像进行处理后依次计算匹配代价C(x,y,d)、SAD代价；根据SAD代价得到视差图，将视差图转化为深度信息；对双目图像进行标定，对标定后的双目图像进行处理，分别得到双目图像的不同尺度特征图；将双目图像的不同尺度特征图融合后，与深度信息进行融合，完成三维的零件检测。增大图像分辨率，既可以增加图像清晰度，又可以防止网络过拟合造成的梯度消失或梯度爆炸问题；将双目图像的特征图与深度信息融合后，实现机械零件的三维立体检测，提高机器检测的准确率及工作效率。

A method of robot stereo vision mechanical parts detection based on deep learning

【技术实现步骤摘要】
一种基于深度学习的机器人立体视觉机械零件检测方法
本专利技术属于零件检测方法
，涉及一种基于深度学习的机器人立体视觉机械零件检测方法。
技术介绍
机器学习的发展，推动了包括视觉、语音、自动驾驶、机器人等多个领域的发展。传统机器学习在处理问题时需要相当多繁琐的过程，如语言转化为计算机所能理解的的内部数据、设计迭代器、特征提取器、优化器等，所以技术复杂且效果一般。而深度学习技术简单通用，泛化性强，可处理庞大的数据量，而且可以实现自主学习(参考文献[1]:LecunY,BengioY,HintonG.Deeplearning.[J].Nature,2015,521(7553):436.)。在其应用领域中，发展最好的当属计算机视觉领域。以计算机视觉为例，目前深度学习技术在工业机器人视觉领域发展迅速(参考文献[2]:李超波,李洪均,徐晨.深度学习在图像识别中的应用[J].南通大学学报(自然科学版),2018,v.17；No.64(01):5-13.)，在机械工业行业，该技术在机械零件定位、检测识别及几何测量(参考文献[3]:DengB,WangZ,本文档来自技高网...

【技术保护点】
1.一种基于深度学习的机器人立体视觉机械零件检测方法，其特征在于，包括：/n获取待检测工件的双目立体图像，对所述双目立体图像进行处理后依次计算匹配代价C(x,y,d)、SAD代价；根据所述SAD代价得到视差图，将所述视差图转化为深度信息；对所述双目图像进行标定，对标定后的所述双目图像进行处理，分别得到双目图像的不同尺度特征图；将所述双目图像的不同尺度特征图融合后，与所述深度信息进行融合，完成三维的零件检测。/n

【技术特征摘要】
1.一种基于深度学习的机器人立体视觉机械零件检测方法，其特征在于，包括：
获取待检测工件的双目立体图像，对所述双目立体图像进行处理后依次计算匹配代价C(x,y,d)、SAD代价；根据所述SAD代价得到视差图，将所述视差图转化为深度信息；对所述双目图像进行标定，对标定后的所述双目图像进行处理，分别得到双目图像的不同尺度特征图；将所述双目图像的不同尺度特征图融合后，与所述深度信息进行融合，完成三维的零件检测。


2.如权利要求1所述的一种基于深度学习的机器人立体视觉机械零件检测方法，其特征在于，具体包括以下步骤：
步骤1、获取待检测工件的双目立体图像数据，并对双目立体图像数据进行映射处理，得到映射后的图像f1(x,y)；
步骤2、计算图像f1(x,y)的匹配代价C(x,y,d)：



上式中，L(x+i,y+i)表示表示梯度代价，R(x+d+i,y+j)表示SAD，d表示视差值；
步骤3、对所述匹配代价进行叠加得到SAD代价：



上式中，Lacc表示匹配代价聚合累加，P1和P2表示规划参数；
步骤4、选取所述SAD代价最小值对应的视差值作为视差像素点，得到视差图；
步骤5、将所述视差图转化为深度信息，公式如下：



其中，z表示深度值，单位为mm，f表示焦距，b表示基线距离，d表示视差值，单位为像素；
步骤6、对所述双目图像进行标定，将标定后的双目图像分别输入DarkNet-53网络模型，分别在DarkNet-53网络模型中的不同残差单元之后，进行五次卷积、正则化、激活，再进行特征拼接操作、卷积，分别输出双目图像的不同尺度特征图；
步骤7、通过深度置信网络对所述双目...

【专利技术属性】
技术研发人员：管声启，任浪，刘宇程，常江，师红宇，陈永当，
申请(专利权)人：西安工程大学，
类型：发明
国别省市：陕西;61