一种用光场相机一次成像直接获取深度图的方法技术

一种利用光场相机一次成像直接获取深度图的方法，包括步骤：1)在传统相机内部成像光路中嵌入微透镜阵列构成光场相机；2)对微透镜阵列与图像传感器的相对位置进行标定；3)利用光场相机采集目标景物的原始数据，提取微透镜阵列中每个微透镜下的子图像，并计算其灰度图；4)计算每个微透镜下子图像与毗连微透镜下子图像的相似度，分别以每一个微透镜作为目标透镜，并选择其周围的多个毗连透镜，分别建立目标模板和毗连模板，使用SAD算法计算目标模板与毗连模板的相似度，获得最小SAD值；5)步骤4)获得的对应于每个微透镜下子图像的最小SAD值，构成尺寸为微透镜阵列中微透镜个数的数值矩阵，对该矩阵中的元素进行归一化取整即得深度图。本发明专利技术解决了现有深度图获取技术中存在的系统过于复杂以及计算复杂度高的问题，获取图像相似度高，获得深度图更精确。

【技术实现步骤摘要】
一种用光场相机一次成像直接获取深度图的方法
本专利技术涉及计算机视觉领域，尤其是立体视觉领域，特别涉及一种用光场相机一次成像直接获取深度图的方法。技术背景随着信息科学与计算机技术的发展，三维信息获取技术已成为工业检测，生物医学，虚拟现实等领域的关键技术。在上述领域中，人们对三维信息质量的要求也越来越高。深度信息则是“第三维”的体现，如何更为快速获取更高精度的深度图，一直以来是研究与开发中的热点方向。目前深度信息获得的方式主要有两大形式：主动式和被动式。主动式主要向目标发出激光、电磁波、超声波等能够检测回波的能量束，利用物理原理和一定的数学方法计算出距离。常用方法有激光雷达深度成像、坐标测量机方法、莫尔条纹法、结构光法等。主动式通过对能量束发射装置的控制可以获取更多信息，但主动式设备造价高，应用范围有限，而且主动式深度信息获取方法对已获取的图像并不适用。被动式主要是相对采用几何信息计算深度图，又称计算机立体视觉。立体视觉按所需的图像数目可分为以下三类：a).利用一幅图像的图像理解方法，此种方法需要复杂的数学建模与学习过程，效率较低，并且应用场景受限。b).利用在两个不同的观察点获得的同一景物的两幅图像恢复物体三维信息的双目立体视觉，此种方法由于所用信息不够丰富，获取深度图精度往往难以满足需求。c).利用多个观察点获得多幅图像的多目立体视觉，相较于双目立体视觉，此方法获取深度图精度更高，相较于单幅图像的学习方法，所用时间显著缩短，但同时构建多目系统的过高的复杂度也限制了这种方法的应用。基于全光函数的思想，人们设计出可以捕获包含入射光强度和角度信息的4D光场的光场相机。光场相机的出现提供了获取深度图的新思路。使用光场相机获取深度图能获得多目立体视频的精度与效率的效果，构架系统的复杂度也大大降低，并且由于设备可便携性，应用途径也更为广阔。此外由于光场相机获取数据的关联性，效率能够进一步提高，达到实时计算出深度图。本专利技术使用基于微透镜阵列的光场相机，利用其捕获的光场中重建不同视角的场景图片，根据获得图片关联度大的特性，仅通过一次成像就能够获取深度图的快速方法。
技术实现思路
为解决现有深度图获取技术存在的系统过于复杂以及计算复杂度高的问题，本专利技术提供一种用光场相机一次成像获取深度图的方法，其用具有微透镜阵列的光场相机采集光场信息，一次成像就能够获取深度图。本专利技术利用光场相机一次成像直接获取深度图的方法，包括如下步骤：1).在传统相机内部成像光路中嵌入微透镜阵列构成光场相机，微透镜阵列位于传统相机的主透镜和图像传感器之间，且微透镜阵列和图像传感器平面的距离为微透镜的焦距；2).对微透镜阵列与图像传感器的相对位置进行标定；3).使用微透镜阵列采集目标景物的原始数据，提取微透镜阵列中每个微透镜下的子图像，并计算其灰度图；4).计算每个微透镜下子图像与毗连微透镜下子图像的相似度，分别以每一个微透镜作为目标透镜，并选择其周围的多个毗连透镜，分别建立目标透镜的目标模板和毗连透镜的毗连模板，使用SAD(sum-of-absolute-difference)算法计算目标模板与毗连模板的相似度，获得一个最小SAD值；5).步骤4)获得的对应于每个微透镜下子图像的最小SAD值，构成尺寸为微透镜阵列中微透镜个数的数值矩阵，对该矩阵中的元素进行归一化，在[0,255]区间取整即得深度图。其中，所述微透镜阵列与主透镜平行，并满足光学参数的匹配。优选实施例中所述微透镜阵列由六边形或正方形排布的若干微透镜组成，该微透镜为柱状或球状。所述微透镜阵列中每个微透镜下能够覆盖10×10个到30×30个图像传感器单元。所述步骤2)对所述微透镜阵列与图像传感器的相对位置标定方法为：a).手工标定所述微透镜阵列左上角、右上角以及左下角三个微透镜中心对应所述图像传感器平面坐标分别为(xleftUp,yleftUp)、(xrightUp,yrightUp)及(xleftBottom,yleftBottom)；b).规定所述微透镜阵列中微透镜将沿直线发生偏移，则所述微透镜阵列中序号(i,j)的微透镜的中心坐标(x,y)为：其中，R为每个微透镜下所覆盖正方形区域一个方向上所含像素的个数；i与j分别为该微透镜位于所述阵列中的行列序号。所述步骤4)中，在所述微透镜阵列中根据微透镜所处的位置来选择目标透镜和其周围3个、5个或8个毗连透镜。当选择非位于所述微透镜阵列的边界上的微透镜作为目标透镜时，相应选择其上方、右上、右侧、右下、下方、左下、左侧以及左上共8个微透镜为此目标透镜的毗连透镜。当选择位于所述微透镜阵列的左上角、右上角、右下角、左下角的微透镜作为目标透镜时，相应选择其毗连的3个微透镜为此目标透镜的毗连透镜。当选择所述微透镜阵列中以下位置的微透镜作为目标透镜时，相应选择其毗连的5个微透镜为此目标透镜的毗连透镜；所述的微透镜是位于所述微透镜阵列的第一行并且并非位于左上角或右上角的微透镜，位于所述透镜阵列的最后一列并且并非位于右上角或右下角的微透镜，位于所述透镜阵列的最后一行并且并非位于右下角或左下角的微透镜，以及，位于所述透镜阵列的第一列并且并非位于左下角或左上角的微透镜。实现本专利技术上述方法的一种光场相机，包括传统相机和微透镜阵列，微透镜阵列设置于传统相机的主透镜和图像传感器之间，且微透镜阵列和图像传感器平面的距离为微透镜的焦距；其中，所述微透镜阵列是用若干微透镜排布成的六边形或正方形板状阵列，所述微透镜为柱状或球状；所述微透镜阵列与主透镜平行，且两者的F值匹配；所述微透镜阵列中每个微透镜下覆盖10×10个到30×30个图像传感器单元。本专利技术解决了现有深度图获取技术中存在的系统过于复杂以及计算复杂度高的问题。其利用光场相机捕获的光场数据重建不同视角的场景图片，由于获得图片关联度大，相似度高，仅通过一次成像就能够快速获取精确的深度图。本专利技术光场相机相比于现有硬件系统成本大为降低，光场相机便携性强，应用领域广泛。附图说明图1为本专利技术总体流程图；图2为光场相机原理示意图；图3为光场相机采集的原始数据图；图4为计算相似度原理示意图。具体实施方式为将本专利技术的目的、技术实现以及优点阐释的更加清楚直接，结合附图以及实施实例对本专利技术进一步详细的说明。值得指出，此处所描述的实施实例仅用于解释本专利技术，并不用于限定本专利技术。参照图1、图2，本专利技术用光场相机一次成像直接获取深度图的方法主要包括以下步骤：1.如图2所示，将微透镜阵列2嵌入传统相机的成像光路中构成光场相机，需满足微透镜阵列2的F值与主透镜1相匹配，微透镜阵列2位于相机主透镜1以及图像传感器3平面之间，且微透镜聚焦于主透镜的首要平面(principalplan),微透镜阵列于图像传感器平面的距离为微透镜的焦距。其中，微透镜阵列2中含有380×380个(或更多)微透镜，这些微透镜排布成六边形或正方形的板状阵列，微透镜选择柱状微透镜或球状微透镜。2.对微透镜阵列与图像传感器单元的相对位置进行标定，标定方法如下：a)手工标定微透镜阵列2左上角，右上角，以及左下角三个微透镜中心对应相机传感器平面坐标分别为(xleftUp,yleftUp),(xrightUp,yrightUp),(xleftBottom,yleftBottom本文档来自技高网...

【技术保护点】
一种用光场相机一次成像直接获取深度图的方法，其特征是包括如下步骤：1).在传统相机内部成像光路中嵌入微透镜阵列构成光场相机，微透镜阵列位于传统相机的得主透镜和图像传感器之间，且微透镜阵列和图像传感器平面的距离为微透镜的焦距；2).对微透镜阵列与图像传感器的相对位置进行标定；3).使用微透镜阵列采集目标景物的原始数据，提取微透镜阵列中每个微透镜下的子图像，并计算其灰度图；4).计算每个微透镜下子图像与毗连微透镜下子图像的相似度，分别以每一个微透镜作为目标透镜，并选择其周围的多个毗连透镜，分别建立目标透镜的目标模板和毗连透镜的毗连模板，使用SAD(sum‑of‑absolute‑difference)算法计算目标模板与毗连模板的相似度，获得一个最小SAD值；5).步骤4)获得的对应于每个微透镜下子图像的最小SAD值，构成尺寸为微透镜阵列中微透镜个数的数值矩阵，对该矩阵中的元素进行归一化，在[0,255]区间取整即得深度图。

【技术特征摘要】
1.一种用光场相机一次成像直接获取深度图的方法，其特征是包括如下步骤：1).在传统相机内部成像光路中嵌入微透镜阵列构成光场相机，微透镜阵列位于传统相机的得主透镜和图像传感器之间，且微透镜阵列和图像传感器平面的距离为微透镜的焦距；所述微透镜阵列中每个微透镜下覆盖10×10个到30×30个图像传感器单元；2).对微透镜阵列与图像传感器的相对位置进行标定；所采用的标定方法为：a).手工标定所述微透镜阵列左上角、右上角以及左下角三个微透镜中心对应所述图像传感器平面坐标分别为(xleftUp,yleftUp)、(xrightUp,yrightUp)及(xleftBottom,yleftBottom)；b).规定所述微透镜阵列中微透镜将沿直线发生偏移，则所述微透镜阵列中序号(i,j)的微透镜的中心坐标（x,y）为：其中，为每个微透镜下所覆盖正方形区域一个方向上所含像素的个数；i与j分别为所述微透镜位于所述阵列中的行列序号；3).使用微透镜阵列一次采集目标景物的原始数据，提取微透镜阵列中每个微透镜下的子图像，并计算其灰度图；4).计算每个微透镜下子图像与毗连微透镜下子图像的相似度，分别以每一个微透镜作为目标透镜，并选择其周围的3个、5个或8个毗连透镜，分别建立目标透镜的目标模板和毗连透镜的毗连模板，使用SAD算法计算目标模板与毗连模板的相似度，获得一个最小SAD值；5).步骤4）获得的对应于每个微透镜下子图像的最小SAD值，构成尺寸为微透镜阵列中微透镜个数的数值矩阵，对该矩阵中的元素进行归一化，在[0,255]区间取整即得深度图。2.如权利要求1所述的方法，其特征是，所述微透镜阵列与主透镜平行，并满足光...

【专利技术属性】
技术研发人员：王兴政，杜远超，王好谦，张永兵，戴琼海，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东;44