深度图像转换设备和方法技术

一种深度图像转换设备和方法。提供一种用于将低分辨率深度图像转换为具有与高分辨率彩色图像的分辨率相同的分辨率的深度图像的设备和方法。深度图像转换设备可通过量化上采样的深度图像的深度值来产生离散深度图像，通过基于高分辨率彩色图像和上采样的深度边界优化离散深度图像的目标函数来估计高分辨率离散深度图像，当高分辨率离散深度图像中邻近像素的离散深度值之差小于预定阈值时，通过对上采样的深度图像滤波来将上采样的深度图像转换为高分辨率深度图像。

【技术实现步骤摘要】
深度图像转换设备和方法本申请要求于2011年7月7日提交到美国专利商标局的第61/505,218号美国临时申请以及于2011年8月25日提交到韩国知识产权局的第10-2011-0084918号韩国专利申请的利益，所述申请的公开通过引用全部包含于此。
示例实施例涉及一种这样的设备和方法：可将低分辨率深度图像转换为具有与高分辨率彩色图像的分辨率相同的分辨率的深度图像。
技术介绍
飞行时间(ToF)深度相机实时提供场景的深度信息。然而，用作ToF深度相机的像素的光电二极管的低灵敏度使得像素的尺寸增加从而分辨率降低。此外，由于当前商业化的深度相机不能获得颜色信息，因此需要单独的彩色相机来获得用于产生场景的三维(3D)模型的颜色信息。此外，需要几何校准彩色相机和深度相机。此外，还需要装置(例如，分束器)来匹配彩色相机和深度相机的视点。因此，相机的尺寸将增加。近来，使用被称为彩色-深度相机的单个相机来从相同的视点感测场景的颜色和深度变得可行。然而，由于光电二极管的低灵敏度，通过连接四个或十六个彩色像素，彩色-深度相机使用四个或十六个彩色像素作为单个深度像素。因此，为了从彩色-深度图像产生新视点的本文档来自技高网...

【技术保护点】
一种用于转换深度图像的设备，所述设备包括：离散深度图像产生单元，通过量化上采样的深度图像的深度值来产生离散深度图像；高分辨率离散深度图像估计单元，通过基于高分辨率彩色图像和上采样的深度边界优化离散深度图像的目标函数来估计高分辨率离散深度图像；图像转换单元，当高分辨率离散深度图像中邻近像素的离散深度值之差小于预定阈值时，通过对上采样的深度图像滤波来将上采样的深度图像转换为高分辨率深度图像。

【技术特征摘要】
2011.08.25 KR 10-2011-0084918;2011.07.07 US 61/501.一种用于转换深度图像的设备，所述设备包括：离散深度图像产生单元，通过量化上采样的深度图像的深度值来产生离散深度图像；高分辨率离散深度图像估计单元，通过基于高分辨率彩色图像和上采样的深度边界优化离散深度图像的目标函数来估计高分辨率离散深度图像；图像转换单元，当高分辨率离散深度图像中邻近像素的离散深度值之差小于预定阈值时，通过对上采样的深度图像滤波来将上采样的深度图像转换为高分辨率深度图像,其中，目标函数为反映数据成本和不连续性成本的目标函数。2.如权利要求1所述的设备，还包括：上采样深度图像产生单元，通过低分辨率深度图像的插值，将上采样的深度图像产生为尺寸与高分辨率深度图像的尺寸相同；深度边界提取单元，当低分辨率深度图像中邻近像素的深度值之差大于预定阈值时，提取邻近像素作为深度边界；上采样深度边界产生单元，通过深度边界的插值产生上采样的深度边界。3.如权利要求1所述的设备，其中，离散深度图像产生单元包括：视差估计单元，估计整数视差值，该整数视差值与上采样的深度图像的深度值成反比，并与低分辨率深度图像的视点和虚拟视点之间的基线长度和焦距成比例，离散深度图像产生单元使用整数视差值作为离散深度图像的离散深度值。4.如权利要求1所述的设备，其中，高分辨率离散深度图像估计单元包括：目标函数计算单元，计算反映数据成本和不连续性成本的目标函数，其中，根据离散深度图像的边界区域和离散深度图像的边界边缘使用不同的方案确定数据成本，基于邻近像素的颜色值之差确定不连续性成本；最小值估计单元，估计目标函数的最小值。5.如权利要求1所述的设备，其中，上采样的深度边界包括边界区域和边界边缘，其中，基于邻近像素的深度值之差划分边界区域和边界边缘。6.如权利要求4所述的设备，其中，基于邻近像素之间的颜色-深度相似性权重来确定数据成本，从而边界区域中像素的离散深度值与高分辨率离散深度图像中的像素之中对应于边界区域中所述像素的像素的离散深度值之差小于预定阈值；基于边界边缘中邻近像素的离散深度值来确定数据成本。7.如权利要求6所述的设备，其中，基于邻近像素的颜色值之差、邻近像素的深度值之差、以及邻近像素之间的距离来确定颜色-深度相似性权重。8.如权利要求4所述的设备，其中，基于邻近像素的颜色值之差和邻近像素的位置之差来确定不连续性成本，从而当邻近像素的颜色值之差合适时邻近像素的离散深度值之差也是合适的。9.如权利要求4所述的设备，其中，当邻近像素的离散深度值不连续时，最小值估计单元使用用于估计目标函数的最小值的算法来估计高分辨率离散深度图像的离散深度值。10.如权利要求1所述的设备，其中，图像转换单元包括：滤波单元，通过将不同的权重分别应用到与上采样的深度边界的边界区域相应的像素以及与边界边缘和平坦区域相应的像素，来在上采样的深度图像中执行滤波。11.如权利要求10所述的设备，其中，滤波单元将基于邻近像素的离散深度值之差、邻近像素的颜色值之差、邻近像素的深度值之差、以及邻近像素的位置之差确定的权重应用到与边界区域相应的像素；滤波单元将基于邻近像素的深度值之差和邻近像素的位置之差确定的权重应用到与边界边缘和平坦区域相应的像素。12.如权利要求10所述的设备，其中，图像转换单元还包括：调整单元，基于低-高分辨率深度连续性调整滤波的像素的深度值。13.如权利要求12所述的设备...

【专利技术属性】
技术研发人员：崔旭，林和燮，李基彰，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：