基于飞行时间TOF相机的深度计算成像方法技术

本发明专利技术属于计算机视觉领域。在一般量化误差和过载误差之间取得平衡，使量化输出信噪比最优，本发明专利技术采取的技术方案是基于飞行时间TOF相机的深度计算成像方法，包括下列步骤：1)经过照相机标定，得到TOF相机和彩色相机各自的包括焦距、光心的内部参数和包括旋转、平移的外部参数；得到高分辨率图上的一些深度散点；2)构建能量函数的自回归模型项；3)构建能量函数的基础数据项和最终求解方程：利用初始的深度散点图构建能量函数的数据项；通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程；4)利用线性函数优化方法对优化方程进行求解。本发明专利技术主要应用于数字图像处理。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域，涉及采用自回归模型对TOF深度相机的深度图优化方法。具体讲，涉及ー种基于飞行时间TOF相机的深度计算成像方法。
技术介绍
目前,3D (three-dimension)场景深度获取已经成为计算机视觉方面面临的ー个最基本的挑战。它的应用涵盖了机器人导航，模型重建以及人机互动等方面。在以前的技术里，人们采取激光扫描以及立体匹配算法等方法去获得深度信息。不幸的是，这些现存的深度获取方法都不是很理想比如，激光扫描采用逐点扫描，获取深度太耗费时间，不适用与动态场景；而立体匹配在无纹理及遮挡的场景区域会无法匹配，导致深度图不准确。 随着成像技术的进步，近年面市的深度相机突破了传统三维扫描仪只能对静态小尺度场景进行深度成像的限制，可以比较方便地获得较大尺度动态三维场景的深度。其中一种是 TOF (time-o f-f light)深度相机它通过传感器 CO) (Charge-Coupled Device)记录从发光单元发出的调制红外光到物体，再从物体反射回来的相位变化，在ー个波长的范围内根据光速，可以实时的获取整个场景深度距离。TOF相机可以实时的获取一幅完整的场景深度信息，弥补了激光扫描和立体匹配的不足。但是，它的深度成像质量还难以满足应用需求噪声多，TOF深度相机的深度分辨率较高，但是空间分辨率很低(5万像素左右，如200X200)，与目前主流エ业相机的空间分辨率(100万像素左右，如1024X768)还有很大的差距。受限于成像机理，这些深度成像方式短期内难以在成像分辨率和精度上获得进展，要实现更迅速的突破还需要借助于新思路与新方法。针对提高TOF相机深度图的分辨率，国内外进行了大量的研究工作。现阶段，这些工作都是采用一个高分辨率的彩色照相机与低分辨率的TOF相机结合成一个双目系统来获得高分辨率的深度图。通过架构这样的系统，俩相机光心之间的相对位置可以通过严格的3D转换计算出来(通过俩相机各自的内參数和他们之间的外參数来计算)。通过转换，TOF相机产生的3D深度值可以和普通彩色相机产生的2D (two-dimension)彩色值对应起来。这样，在假设深度不连续的地方正好可以对应彩色图像的边缘，而颜色一致的区域含有相似的3D几何结构的情况下，可以利用高分辨率的彩色信息对低分辨率深度图进行超分辨率优化。ー种方法是将超分辨率优化定义为一个基于马尔科夫场的后项概率问题。通过优化最大后项概率问题，可以提高分辨率。还有ー类方法采用双边滤波器来实现超分辨率。因为双边滤波器在滤波的同时可以很好的保住边缘而不被模糊。根据这ー特点，将其应用于深度图，可以在扩大分辨率的同时，同时维持边缘的鋭利。最近，还有ー类方法采用非局部均值滤波来实现超分辨率。他们通过非局部均值滤波可以判断出相似结构的特性，来实现超分辨率。但是，上述提到的方法都不能够很好的维持边缘的锐利性，并且在细小的结构上也容易产生混淆
技术实现思路
本专利技术g在解决克服现有技术的不足，在一般量化误差和过载误差之间取得平衡，使量化输出信噪比最优。为达到上述目的，解决TOF相机深度图分辨率过低的问题，提供一种简便实用的后处理的方法，TOF是时间飞行time-of-flight的字头缩写。本专利技术采取的技术方案是基于飞行时间TOF相机的深度计算成像方法，借助于ー个200X200的TOF相机，ー个640X480的彩色相机实现，彩色相机架在TOF相机的上方；所述方法包括下列步骤I)经过照相机标定，得到TOF相机和彩色相机各自的包括焦距、光心的内部參数和包括旋转、平移的外部參数；根据TOF相机和彩色相机的内部、外部參数，将TOF相机生成的低分辨率深度图扭转到彩色相机的视角，得到高分辨率图上的ー些深度散点；此时，深度散点图和彩色相机拍出来的彩色图像是对齐的，利用彩色图片对深度散点图进行优化；2)构建能量函数的自回归模型项根据彩色图、导图以及每个像素点的邻域，对此像素点进行參数训练并代入自回归模型中，将得到自回归模型作为能量函数的一项列入求解方程；3)构建能量函数的基础数据项和最終求解方程利用初始的深度散点图构建能量函数的数据项；通过拉格朝日方程，将数据项和自回归项用ー个因子λ联合在一起作为最終的求解方程；4)利用线性函数优化方法对优化方程进行求解。自回归模型项的建立，具体包括以下步骤21)利用彩色图像，对其中的每ー个像素，选取领域对其进行预测；22)用双边滤波作为训练每个像素參数的基本方法，得到彩色图上的预测系数af,p，公式如下权利要求1.一种基于飞行时间TOF相机的深度计算成像方法，其特征是，借助于一个200X200的TOF相机，一个640 X 480的彩色相机实现，彩色相机架在TOF相机的上方；所述方法包括下列步骤 1)经过照相机标定，得到TOF相机和彩色相机各自的包括焦距、光心的内部参数和包括旋转、平移的外部参数；根据TOF相机和彩色相机的内部、外部参数，将TOF相机生成的低分辨率深度图扭转到彩色相机的视角，得到高分辨率图上的一些深度散点；此时，深度散点图和彩色相机拍出来的彩色图像是对齐的，利用彩色图片对深度散点图进行优化； 2)构建能量函数的自回归模型项根据彩色图、导图以及每个像素点的邻域，对此像素点进行参数训练并代入自回归模型中，将得到自回归模型作为能量函数的一项列入求解方程； 3)构建能量函数的基础数据项和最终求解方程利用初始的深度散点图构建能量函数的数据项；通过拉格朗日方程，将数据项和自回归项用一个因子、联合在一起作为最终的求解方程； 4)利用线性函数优化方法对优化方程进行求解。2.如权利要求I所述的基于飞行时间TOF相机的深度计算成像方法，其特征是，自回归模型项的建立，具体包括以下步骤 21)利用彩色图像，对其中的每一个像素，选取领域对其进行预测； 22)用双边滤波作为训练每个像素参数的基本方法，得到彩色图上的预测系数af,p，公式如下3.如权利要求I所述的基于飞行时间TOF相机的深度计算成像方法，其特征是，基础数据项的建立，具体方法包括以下步骤 31)将初始的深度散点图有值的像素点作为此项的有效值，根据这些点来预测其他为零的像素点的值，公式如下全文摘要本专利技术属于计算机视觉领域。在一般量化误差和过载误差之间取得平衡，使量化输出信噪比最优，本专利技术采取的技术方案是基于飞行时间TOF相机的深度计算成像方法，包括下列步骤1)经过照相机标定，得到TOF相机和彩色相机各自的包括焦距、光心的内部参数和包括旋转、平移的外部参数；得到高分辨率图上的一些深度散点；2)构建能量函数的自回归模型项；3)构建能量函数的基础数据项和最终求解方程利用初始的深度散点图构建能量函数的数据项；通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程；4)利用线性函数优化方法对优化方程进行求解。本专利技术主要应用于数字图像处理。文档编号G06T5/10GK102663712SQ20121011033公开日2012年9月12日 申请日期2012年4月16日 优先权日2012年4月16日专利技术者侯春萍, 叶昕辰, 李坤, 杨敬钰 申请人:天津大学本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：杨敬钰，叶昕辰，侯春萍，李坤，
申请(专利权)人：天津大学，
类型：发明
国别省市：