一种基于深度学习的双目视觉深度信息获取方法技术

技术编号:15262475 阅读:320 留言:0更新日期:2017-05-03 18:07
本发明专利技术公开了一种基于深度学习的双目视觉深度信息获取方法,属于立体视觉技术领域,该方法包括以下步骤:步骤1:训练数据的获取;步骤2:标注原始数据集,生成训练数据;步骤3:对获取的图像和深度信息进行深度学习网络训练;步骤4:获得深度图输出;本发明专利技术是计算双目左右图像相互关联的亮度信息,利用大量的图像和深度信息进行训练和学习,获得双目图像的视差的数据模型,并在实际获取双目信息之后,根据训练的模型,快速准确的获得当前场景的立体信息,从而成功获取深度。该方法将深度获取的计算量转移到训练过程,硬件轻量化,无需激光与能量,成本较低,简单易用,方便进行扩展。本发明专利技术无需发出主动能量,且适用于室内和世外的场景。

【技术实现步骤摘要】

本专利技术属于立体视觉
,尤其涉及一种基于深度学习的双目视觉深度信息获取方法。
技术介绍
近年来,深度信息在传感器中获得了越来越多的应用。获取深度信息的技术主要有双目立体匹配、TOF(TimeofFlight,飞行时间)、单目结构光、激光雷达等技术。这些技术可以为传感器增加额外的深度信息,在图像识别与处理、场景理解、VR、AR和机器人等领域有着广泛的应用。然而,当前市面上的主流产品依旧有各自的使用范围和局限性。比如,微软的Kinect(TOF)只能在室内和有限光照的室外场景中使用,而且距离的局限性较大;单目结构光技术需要发出主动能量,同样不适用于室外光照较强的场景;双目立体匹配技术属于计算机立体视觉领域,此技术虽然适用于室内和室外,然而在处理纹理缺失时效果不佳,而且存在精确定焦、计算时间等问题;激光雷达等设备价格相对昂贵,且大部分只能获取二维平面的深度信息。
技术实现思路
针对上述不足,本专利技术提供一种基于深度学习的双目视觉深度信息获取方法,本专利技术的核心是计算双目左右图像相互关联的亮度(色彩)信息,利用大量的图像和深度信息进行训练和学习,获得双目图像的视差的数据模型,并在实际获取双目信息之后,根据训练的模型,快速准确的获得当前场景的立体信息,从而成功获取深度。为了达到上述目的,本专利技术所采用的技术方案如下:一种基于深度学习的双目视觉深度信息获取方法,包括如下步骤:步骤1:训练数据的获取;首先,获取N对双目视觉系统拍摄的图片对{Pi|i=1,2,…,N

【技术保护点】
一种基于深度学习的双目视觉深度信息获取方法,其特征在于,包括如下步骤:步骤1:训练数据的获取;首先,获取N对双目视觉系统拍摄的图片对{Pi|i=1,2,…,N},每个图片对Pi包括左侧相机拍摄的左图和右侧相机拍摄的右图其中上标i代表图片次序;同时获取与每个图片对Pi对应的深度图Di;将图片对和每个图片对Pi对应的深度图构成原始的数据集{Pi,Di|i=1,2,…,N}。步骤2:标注原始数据集,生成训练数据;每幅深度图Di上选取M个特征像素点{DPi(xj,yj,zj)|j=1,2,…,M},并分别在左右图中找出其对应的像素点的坐标{PTleft(xj,yj),PTright(xj,yj)|j=1,2,…,M};每个图像对Pi上包含M组数据{DPi(xj,yj,zj),PTleft(xj,yj),PTright(xj,yj)|j=1,2,…,M};总共的训练样本有M×N组。步骤3:对获取的图像和深度信息进行深度学习网络训练;利用M×N组数据{DPi(xj,yj,zj),PTleft(xj,yj),PTright(xj,yj)|j=1,2,…,M}以及原始的左右图像数据{Pi|i=1,2,…,N},进行深度学习网络训练,得到网络模型Modelx;以每个左右图对应点PTleft(xj,yj),PTright(xj,yj)为中心,截取宽高分别为Wx,Wy的图片对,将截取的图片对与对应点的图像坐标作为深度学习网络输入,其对应的深度信息三维坐标{DPi(xj,yj,zj)|j=1,2,…,M,i=1,2,…,N}作为监督输出。步骤4:获得深度图输出;对双目相机拍摄的图片对以每个左右图对应点为中心,截取宽高分别为Wx,Wy的图片对,将截取的图片对与对应点的图像坐标CPleft(x,y),CPright(x,y)输入到步骤(3)训练得到的网络模型Modelx中,从而获得对应的深度图输出。...

【技术特征摘要】
1.一种基于深度学习的双目视觉深度信息获取方法,其特征在于,包括如下步骤:步骤1...

【专利技术属性】
技术研发人员:时岭高勇
申请(专利权)人:杭州蓝芯科技有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1