基于边界的高分辨率深度图生成制造技术

本发明专利技术披露了通过使用基于边界的处理技术从低分辨率深度信息产生高分辨率深度图的系统和方法。实施例提供的基于边界的处理技术使用边界检测和基于边界的插值算法，用于从低分辨率深度信息和高分辨率图像信息中产生高分辨率深度信息。首先，边界检测算法可以检测到物体的边界（即深度不连续之处），这附近的低分辨率深度信息通常是不准确的，需要利用高分辨率的图像信息来改善。然后，基于边界的插值算法使用边界检测算法提供的边界信息，以改善中间结果的上采样深度信息（如通过对低分辨率深度信息进行空间插值来得到），从而提供更加准确的高分辨率深度信息。

【技术实现步骤摘要】
基于边界的高分辨率深度图生成
本专利技术涉及三维图像处理，特别涉及使用基于边界的处理方法来生成高分辨率深度图。
技术介绍
在三维(3D)图像处理(如3D计算机图形、3D建模、3D动画生成等)中，经常要使用到物体距离一个视点的深度信息。例如，包含场景物体表面离一个视点的距离信息的深度图(如一个图像或图像通道)可以用于提供二维(2D)图像中的深度信息。但是，获取或得到高分辨率的深度信息还是很困难的。例如，尽管能拍摄高分辨率 2D图像的相机(在此称作图像照相机)已经很常见了(常见到包含在许多消费电子设备中， 例如手机、平板装置、和手提电脑)，而且并不昂贵，但是能够拍摄一个场景的深度信息的相机还很不常见，并且相当昂贵。这种深度相机通常只提供低分辨率的深度信息，因此不能准确地映射到相应的高分辨率图像上。尽管已经有各种方法尝试对低分辨率深度信息进行采样或插值而得到更高分辨率的深度信息，但是这些方法都不是很令人满意。例如，现有技术的插值方法使用插值算法，检查包含不可靠样本的深度样本，因此使得插值结果中有不可靠的样本输入。另外，现有技术的插值方法不能准确地确定深度不连续之处，因此在生成的深度图中产生模糊和不正确的物体边界。而且，例如由于对每个像素进行双边滤波或插值、实施比较大的插值样本窗口大小等等，现有技术的插值方法通常需要相当多的处理过程。因此，上采样深度图通常不准确，而且还需要相当多的处理资源。专利技术概述本专利技术是关于通过使用基于边界的处理技术从低分辨率深度信息产生高分辨率深度图的系统和方法。本专利技术实施例提供的基于边界的处理技术使用边界检测和基于边界的插值算法，用于从低分辨率深度信息和高分辨率图像信息中产生高分辨率深度信息。根据本专利技术实施例，边界检测算法可以检测到物体边界(如深度不连续之处)，其中低分辨率深度样本通常是不准确的，因此需要根据高分辨率图像信息进行改善。根据本专利技术实施例， 基于边界的插值算法使用边界检测算法提供的边界信息，以改善中间结果的上采样深度信息(如空间插值低分辨率深度信息)，从而提供更准确和可靠的高分辨率深度信息。前述已经相当广泛地阐述了本专利技术的特征和技术优势，由此将更加容易理解以下本专利技术的详细描述。本专利技术的其他特征和优势将在其后描述，并构成本专利技术的权利要求部分。本领域普通技术人员应该理解，在此披露的概念和具体实施例可以作为一个基础，用来修改或设计其它结构来执行本专利技术的相同目的。本领域普通技术人员也应该认识到，这种等同的构造没有脱离由所附权利要求阐述的本专利技术精神和范围。被看作是本专利技术特征的新颖性特征，无论是其组织还是运算方法，与其它目的和优势一起，通过以下 的描述并结合附图，将会得到更好的理解。但是，需要强调的是，每个附图仅是用作描述和叙述，并不是意图限制本专利技术。附图说明为了更完整地理解本专利技术，现结合附图参照以下的描述，其中图1显示本专利技术实施例基于边界的深度处理的系统功能模块示意图2显示本专利技术实施例的能提供基于边界的深度处理功能的计算机系统；图3显示本专利技术实施例的边界检测逻辑提供边界检测的运行流程图4显示本专利技术实施例的一个可以用于拟合不同深度的样本间隔统计而用于归一化的多项式曲线；图5A和5B描述本专利技术实施例的从深度梯度和图像梯度中产生联合深度和图像梯度；图6显示本专利技术实施例的基于边界的插值逻辑提供高分辨率深度信息的运行流程图7显示本专利技术实施例的一个非边界块及其8个相邻块表示；图8A和SB显示本专利技术实施例的被分割成子区域的边界块；图9显示本专利技术实施例的边界块及其8割相邻块。专利技术详述图1是根据本专利技术实施例的基于边界的深度处理系统的高层(high level)功能模块示意图。运行时，所示实施例的系统100使用基于边界的处理方法从低分辨率(如 (600x400像素)深度信息110 (如由一个深度相机拍摄的低分辨率深度图111提供的)和高分辨率图像信息120 (如由一个图像照相机拍摄的高分辨率图像121提供的)中产生高分辨率(如> 1024x768像素)深度信息151。所示实施例系统100提供的基于边界的深度处理，是对深度信息进行中间结果的的(intermediate)上采样，然后进行边界检测，并进行基于边界的插值，以从低分辨率深度信息和高分辨率图像信息中产生高分辨率的深度信息。因此，系统100包括深度信息上采样逻辑130、边界检测逻辑140、和基于边界的插值逻辑150，它们相互连接以提供基于边界的深度处理。应当理解，以上逻辑可以以各种方式实施，包括硬件逻辑电路、软件、固件、以及其组合。当以软件实施时，本专利技术实施例的元素可以包括能在处理器系统(如图2所示的计算机系统200)上运行的代码段，以执行在此描述的工作。代码段可以存储在计算机可读介质中，如随机存取存储器(RAM) 203、只读存储器(ROM) 204、和/或存储设备206。另外，代码段可以通过计算机网络(如网络212)下载。根据本专利技术实施例的计算机系统200可以包括配置有程序代码(如包括上述的代码段)的通用处理器系统，以提供在此所述的功能性。因此，所示实施例计算机系统200包括中央处理单元(CPU) 201，其连接到系统总线202。CPU201可以是任何通用CPU，如来自英特尔公司的PENTIUM或CORE系列的处理器，或者来自AM联盟(苹果公司、IBM公司和 Motorola公司)的POWERPC系列处理器。但是，本专利技术`并不限制CPU201的结构，只要CPU201 支持在此描述的本专利技术的运作。所示实施例的总线202连接到RAM203 (如SRAM、DRAM、SDRAM、闪存等等)。R0M204 (如PR0M、EPR0M、EEPR0M)也连接到所示实施例的总线202。众所周知，RAM203和R0M204保存用户和系统数据以及程序。总线202也连接到输入/输出(I/O)控制器205、通信转接适 配器211、用户接口适配器208、和显示适配器209。I/O控制器205连接存储设备206 (如一个或多个硬盘、光盘(如⑶或DVD)、软盘、 和磁带)到该计算机系统。所示实施例的I/O控制器205也连接到打印机214，其允许系统 打印信息，如文件、图片等等。该打印机可以是传统打印机(如点阵、激光等等)、传真机、复 印机等等。通信转接适配器211用于连接计算机系统200到网络212，以提供通信连接往来外 部系统、设备、网络等。网络212可以包括公共交换电话网络(PSTN)、局域网(LAN)、城域网 (MAN)、广域网(WAN)、外联网、内联网、英特网、手机网、有线电视传输网络等等。所示实施例的用户接口适配器208连接各种用户输入设备到该计算机系统。例 如，键盘213、指示设备207、和麦克风216都可以通过用户接口适配器连接，以接受各种形 式的用户输入。类似地，扬声器215可以通过用户接口适配器连接，以提供用户接口输出。显示适配器209提供接口给显示器210。因此，CPU201可以控制各种信息的显示， 包括文字、图形、和图像，通过显示适配器209而显示在显示器210上。显示器210可以包 括阴极射线管(CRT)显示器、等离子显示器、液晶显示器(IXD)、投影仪等等。尽管在所示实 施例中没有清晰显示，但是显示器210可以提供数据输入，也可以提本文档来自技高网...

【技术保护点】
一个方法，包括：接收低分辨率深度信息；接收高分辨率图像信息；对所述低分辨率深度信息进行上采样，以提供和所述高分辨率图像信息具有相同分辨率的中间结果的上采样深度信息；根据所述中间结果的上采样深度信息和所述高分辨率图像信息产生一边界图；使用基于边界的插值和所述边界图，根据所述中间结果的上采样深度信息产生高分辨率深度信息。

【技术特征摘要】
2012.12.19 US 13/720,1611.ー个方法，包括 接收低分辨率深度信息； 接收高分辨率图像信息； 对所述低分辨率深度信息进行上采样，以提供和所述高分辨率图像信息具有相同分辨率的中间结果的上采样深度信息； 根据所述中间结果的上采样深度信息和所述高分辨率图像信息产生ー边界图； 使用基于边界的插值和所述边界图，根据所述中间结果的上采样深度信息产生高分辨率深度信息。2.根据权利要求1所述的方法，其中所述对所述低分辨率深度信息进行上采样，使用了ー个空间插值算法。3.根据权利要求1所述的方法，其中所述产生边界图包括 根据所述中间结果的上采样深度信息计算，计算深度梯度； 归ー化所述深度梯度； 根据所述高分辨率图像信息，计算图像梯度； 根据所述归ー化深度梯度和所述图像梯度，产生ー联合深度和图像梯度； 使用所述组合深度和图像梯度，检测边缘，其中一个或多个被检测到的边缘被用作为所述边界图中的边界。4.根据权利要求3所述的方法，还包括 处理所述检测到的边缘，用于确定所述边界图中的所述边界。5.根据权利要求4所述的方法，其中所述处理检测到的边缘的处理过程选自以下 通过方向性非最大抑制去除重复的边缘； 进行边缘连接； 清洁所检测到的边缘。6.根据权利要求3所述的方法，其中所述归ー化深度梯度包括 对具有不同采样间隔的样本，进行所述深度梯度归一化。7.根据权利要求3所述的方法，其中所述产生联合深度和图像梯度包括 根据所述归ー化的深度梯度和图像梯度，选择性地组合梯度信息，以提供所述联合深度和图像梯度。8.根据权利要求7所述的方法，其中所述选择性地组合包括 从所述归ー化的深度梯度中去除小的深度梯度和它们对应的图像梯度，然后产生所述联合深度和图像梯度。9.根据权利要求7所述的方法，其中所述选择性地组合包括 在所述联合深度和图像梯度中抑制大的深度梯度，以强调它们对应的图像梯度。10.根据权利要求7所述的方法，其中所述选择性地组合包括 根据所述深度梯度和图像梯度之间的方向一致性，组合深度梯度和对应的图像梯度。11.根据权利要求1所述的方法，其中所述产生高分辨率深度信息包括 对所述中间结果的上采样深度信息使用基于块的分析，对所述边界图中被确定为边界的一部分的块进行改善，对被确定为具有不可靠深度信息的块进行改善。12.根据权利要求11所述的方法，其中所述基于块的分析包括；使用所述边界图，确定ー个目标块是否是边界块。13.根据权利要求12所述的方法，其中如果所述目标块被确定为不是边界块 那么确定所述目标块是否有任何紧邻块是边界块或是不可靠块； 如果所述目标块被确定为没有任何紧邻块是边界块或是不可靠块，那么对所述目标块不进行深度信息改善； 如果所述目标块被确定为有紧邻块是边界块或是不可靠块，如果有两个或多个紧邻块被确定为具有可靠深度信息，那么对所述目标块进行深度信息改善。14.根据权利要求13所述的方法，其中所述对目标块进行深度信息改善包括 仅使用可靠紧邻块的深度信息，进行空间和深度双边插值。15.根据权利要求12所述的方法，其中如果所述目标块被确定为边界块 那么将所述块根据所述边界分割成子区域，并对每个子区域进行单独的深度信息改兹16.根据权利要求15所述的方法，还包括 确定ー个目标子区域是否有可靠的參考深度信息； 如果所述目标子区域被确定为具有可靠的參考深度信息，那么仅使用可靠的紧邻块的深度信息，进行空间和深度双边插值； 如果所述目标子区域被确定为不具有可靠的參考深度信息，那么对所述目标子区域的深度信息，进行空间和颜色双边插值。17.—个系统,包括 深度信息上采样逻辑，其对低分辨率深度信息进行上采样，提供中间结果的上采样深度ィ目息; 边界检测逻辑，其使用高分辨率图像信...

【专利技术属性】
技术研发人员：崔春晖，
申请(专利权)人：香港应用科技研究院有限公司，
类型：发明
国别省市：