深度图像增强方法技术

一种用于增强场景的深度图像的方法，包括：通过混合第一滤波深度图像与第二滤波深度图像或原始深度图像来计算增强深度图像。所述混合是通过应用混合图来实现的，所述混合图为每个像素限定所述第一滤波深度图像的对应像素和所述第二滤波深度图像或所述原始深度图像的对应像素对所述增强深度图像的贡献。对于所述深度图像中的不包含深度值或包含无效深度值的像素，所述混合图限定了所述第二滤波深度图像的对应像素的零贡献以及所述第一滤波图像的对应像素的100％贡献。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术总体上涉及图像处理的领域，具体而言，涉及在对应强度的图像可用时使 深度图像增强的领域。
技术介绍
基于3D成像（三维成像）的计算机视觉应用近年来已经获得科学界的越来越多 关注。这至少部分是由于在工业中对能够感测场景中的物体的形状和位置的自主系统的越 来越大的需求。 近年来，基于飞行时间（ToF)原理的3D相机已经能够在市场上买到。与2D相机 相比，它们为每个像素测量场景中的点到相机的径向距离，而2D相机仅提供场景的灰色或 彩色图像（以下被称为"强度图像"）。其它3D成像器基于三角测量。无源三角测量（场 景没有有源照明）被称为立体观测或立体视觉。有源系统采用激光或结构光技术。三角测 量方法通常计算强度更大，因为必须要为每个像素计算深度值。对于立体成像而言，这涉及 求解所谓的对应问题（识别两个半图像中的对应物体）。在使用结构光技术时，通常要处理 几种照明图案。虽然如此，基于立体视法或结构光的实时提供高分辨率深度图的3D成像器 已经同时变得可用。Microsoft的Kinect?是使用结构光技术的3D成像器的当前最常见 的示例。 无论使用哪种已知深度感测技术，都可以通过将深度图像与来自2D相机的强度 图像组合来获得益处。当今的ToF相机比普通的2D相机分辨率低得多，并且深度测量受到 噪声的影响。2D和3D ToF相机数据的融合可以用于克服3D相机的所述局限性。立体成 像器通常为深度图像提供可接受的分辨率，但它们具有另一个缺点，因为它们不能为仅被 相机的其中之一看到的像素可靠地分配深度值。此外，在对比度差的区域中，深度值的确定 较不可靠。两种效果都可能导致深度图像包含无深度值或深度值被认为不可靠的区域。结 构光成像器存在类似问题。为使它们能够感测任何深度，照明单元和相机必须由基线分开。 这将不可避免地导致闭塞或遮蔽效应。如从相机看到的，被照明单元遮蔽的区域不能被直 接归于任何深度值。 本专利技术提出了解决这些问题的方法。通过将深度图像与强度图像融合增强了深度 图像（也被称为"距离图像"）的准确度和分辨率。出于本文献的目的，如有必要，假设已经 进行了像素匹配。换言之，对于深度图像的每个像素，在强度图像中存在一个对应的像素， 反之亦然，其中如果像素涉及场景的同一部分（对其成像），则像素被认为是对应的。 本文中呈现的方法基于如下文章中呈现的方法的进一步发展：由F. Garcia、 D. Aouada、B. Mirbach、T. Solignac、B. Ottersten 于 2011 年在与先进的基于视频和信号 的监测有关的第8届IEEE国际会议的进程中发表的"A New Multi-Lateral Filter for Real-Time Depth Enhancement"。该文章中提出的方法涉及利用ToF相机采集的深度图像 的增强并且改善了联合双边上采样（JBU)滤波器，其由下式限定：【主权项】1. 一种增强场景的深度图像的方法，包括： 提供所述场景的所述深度图像和强度图像，所述深度图像的每个像素在所述强度图像 中具有对应像素； 通过向所述深度图像应用第一滤波器来计算第一滤波深度图像，所述第一滤波器包括 交叉双边滤波器，其对所述深度图像的像素进行平均，同时由所述强度图像中的对应像素 的相似性对进行平均的像素的贡献进行加权； 通过向所述深度图像应用第二滤波器来计算第二滤波深度图像，所述第二滤波器包括 双边滤波器，其对所述深度图像的像素进行平均，同时由所述强度图像中的对应像素的相 似性对进行平均的像素的贡献进行加权； 通过混合所述第一滤波深度图像与所述第二滤波深度图像来计算增强深度图像，所述 混合是通过应用混合图来实现的，所述混合图为所述增强深度图像的每个像素限定所述第 一滤波深度图像的对应像素对所述每个像素的贡献以及所述第二滤波深度图像的对应像 素对所述每个像素的贡献； 其特征在于 对于所述深度图像中的不包含深度值或包含无效深度值的像素，所述混合图限定了所 述第二滤波深度图像的对应像素的零贡献以及所述第一滤波图像的对应像素的100%贡 献。2. 根据权利要求1所述的方法，其中，所述第一滤波器被配置为排除不包含深度值或 包含无效深度值的像素的贡献。3. 根据权利要求1或2所述的方法，其中，所述第二滤波器被配置为排除不包含深度值 或包含无效深度值的像素的贡献。4. 根据权利要求1到3中的任一项所述的方法，其中，对于所述深度图像中的包含有效 深度值的像素，所述混合图限定了所述第一滤波深度图像的对应像素的贡献和所述第二滤 波深度图像的对应像素的贡献，所述贡献取决于对所述强度图像中的对应像素处的强度的 均匀性的测量。5. 根据权利要求4所述的方法，随着强度的均匀性增大，所述第一滤波深度图像的对 应像素的贡献减小并且所述第二滤波深度图像的对应像素的贡献增大。6. -种增强场景的深度图像的方法，包括： 提供所述场景的所述深度图像和强度图像，所述深度图像的每个像素在所述强度图像 中具有对应像素； 通过向所述深度图像应用滤波器来计算滤波深度图像，所述滤波器包括交叉双边滤波 器，其对所述深度图像的像素进行平均，同时由所述强度图像中的对应像素的相似性对进 行平均的像素的贡献进行加权； 通过混合所述滤波深度图像与所述深度图像来计算增强深度图像，所述混合是通过 应用混合图来实现的，所述混合图为所述增强深度图像的每个像素限定了所述滤波深度图 像的对应像素对所述每个像素的贡献以及所述深度图像的对应像素对所述每个像素的贡 献； 其特征在于 对于所述深度图像中的不包含深度值或包含无效深度值的像素，所述混合图限定了所 述深度图像的对应像素的零贡献以及所述滤波图像的对应像素的100%贡献。7. 根据权利要求6所述的方法，其中，所述滤波器被配置为排除不包含深度值或包含 无效深度值的像素的贡献。8. 根据权利要求6或7所述的方法，其中，对于所述深度图像中的包含有效深度值的像 素，所述混合图限定了所述滤波深度图像的对应像素的贡献和所述深度图像的对应像素的 贡献，所述贡献取决于对所述强度图像中的对应像素处的强度的均匀性的测量。9. 根据权利要求8所述的方法，随着强度的均匀性增大，所述滤波深度图像的对应像 素的贡献减小并且所述深度图像的对应像素的贡献增大。10. 根据权利要求1到9中的任一项所述的方法，其中，通过内插法将所述增强深度图 像上采样到较高图像分辨率。11. 一种包括计算机可实施的指令的计算机程序，所述指令在被计算机执行时使所述 计算机执行根据权利要求1到10中的任一项所述的方法。12. -种包括存储器和处理器的数据处理设施，所述存储器包含能够由所述处理器实 施的指令，所述指令在被所述处理器执行时使所述处理器执行根据权利要求1到10中的任 一项所述的方法。【专利摘要】一种用于增强场景的深度图像的方法，包括：通过混合第一滤波深度图像与第二滤波深度图像或原始深度图像来计算增强深度图像。所述混合是通过应用混合图来实现的，所述混合图为每个像素限定所述第一滤波深度图像的对应像素和所述第二滤波深度图像或所述原始深度图像的对应像素对所述增强深度图像的贡献。对于所述深度图像中的不包含深度值或包含无效深度值的像本文档来自技高网...

【技术保护点】
一种增强场景的深度图像的方法，包括：提供所述场景的所述深度图像和强度图像，所述深度图像的每个像素在所述强度图像中具有对应像素；通过向所述深度图像应用第一滤波器来计算第一滤波深度图像，所述第一滤波器包括交叉双边滤波器，其对所述深度图像的像素进行平均，同时由所述强度图像中的对应像素的相似性对进行平均的像素的贡献进行加权；通过向所述深度图像应用第二滤波器来计算第二滤波深度图像，所述第二滤波器包括双边滤波器，其对所述深度图像的像素进行平均，同时由所述强度图像中的对应像素的相似性对进行平均的像素的贡献进行加权；通过混合所述第一滤波深度图像与所述第二滤波深度图像来计算增强深度图像，所述混合是通过应用混合图来实现的，所述混合图为所述增强深度图像的每个像素限定所述第一滤波深度图像的对应像素对所述每个像素的贡献以及所述第二滤波深度图像的对应像素对所述每个像素的贡献；其特征在于对于所述深度图像中的不包含深度值或包含无效深度值的像素，所述混合图限定了所述第二滤波深度图像的对应像素的零贡献以及所述第一滤波图像的对应像素的100％贡献。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：B·米尔巴赫，T·索利尼亚克，F·加西亚贝切罗，D·奥达，
申请(专利权)人：IEE国际电子工程股份公司，
类型：发明
国别省市：卢森堡;LU