图像的深度图的生成制造技术

一种图像处理单元包括第一处理单元（１０１），其生成图像的深度指示图。该深度指示图可以例如是图像对象分离模板或预定的深度分布或背景深度图。第二处理单元（１０３）通过响应于该图像的图像特性滤波深度指示图而生成修改的深度指示图。图像的自适应滤波可以例如提供更准确的分离模板和／或可以修改预定的深度分布以反映该特定图像。第三处理单元（１０５）响应于所述修改的深度指示图生成图像的图像深度图。该图像深度图包括表示图像的至少一个图像区的深度的数据。本发明专利技术导致图像的改进的深度图的生成。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及图像的深度图的生成，并且具体地但非排他地涉及包括背景和突出(salient)的图像对象的数字图像的深度图的生成。
技术介绍
近年来，为了存储、操控和分发的目的，图像的数字化已经变得日 益重要。而且，图像的数字化允许复杂的操控和处理，该处理提供了先 前不能获得的机会。例如，近年来已经开始了对提供用于从图像中提取 深度信息的算法的重要研究。这种深度信息可以提供从二维(2D)图像 获得的三维(3D)信息。这种3D信息可以用在许多应用中并且可以例 如辅助图像的自动注释。作为另一个实例，3D信息可以用于生成增强的 图像，比如从2D图像生成的完整的或部分的3D图像。特别地，当前从单个图像重获(recovery)深度图是计算机视觉中 非常有活力的研究领域，且其应用包括3D显示器和自主型机器人。一 些研究特定地针对将现存的视频和静态图像转换为可以在自动立体显 示器上呈现的3D格式。然而，这些应用面临基本障碍2D到3D的转换任务从根本上说非 常困难。因此，大多数已知的方法是探索式的并且;f艮少的方法尝试重获 构成场景的各种对象(object)深度的绝对深度或确切排序。在先前的研究中，已经调查了各种深度线索(cue)，包括聚焦/离 焦、紋理、散射、遮蔽、以及透^L (perspective)。然而，这些方法 倾向于只能在限制性条件下实施并且产生劣质的不适用于例如可视化 任务的深度图。最近，已经在尝试机器学习系统，该系统能够基于训练图像和训练 图像的已知的深度数据(例如由用户提供)来调适(adapt)操作。然 而，这些方法倾向于需要图像/深度图对的大训练集，这些训练集倾向 于仅仅对于特定场景是可获得的。因此，用于生成图像的深度信息的改进的方法将是有利的，并且特 别地允许增加的灵活性、更容易的实现、减少的复杂性、改进的深度信息、和/或改进的性能的系统将是有利的。
技术实现思路
因此，本专利技术的目的是，单独地或以任何组合的方式减轻、緩和或 消除上述缺陷的一个或多个。根据本专利技术的一个方面，提供一种图像处理单元，其包括用于生 成图像的深度指示图的笫 一装置；用于通过响应于该图像的图像特性滤 波深度指示图生成修改的深度指示图的第二装置；用于响应于所述修改 的深度指示图生成图像的图像深度图的第三装置；该图像深度图包括表 示图像的至少一个图像区(region)的深度的数据。本专利技术导致生成的一种改进的图像深度图。特别地，可以实现深度 转变(transition)与图4象对象之间的改进的对应性和/或用于例如背 景区域(area)的改进的深度数据。在许多实施例中，可以获得更容易 的实现方式，特别是具有低计算资源要求的实现方式。本专利技术可以为更 多种类的图像提供高效的图像深度图生成。例如，所述方法可以适用于 具有不规则形状的图像。根据本专利技术的可选特征，第二装置被布置为响应于图像的第一像 元(picture element)的图像特性和在接近第一^象元的图像区中该图 像的至少 一 个像元的至少 一 个图像特性来修改第 一像元的深度指示图 的值。这可以导致图像深度图的改进的和/或更容易的生成。特别地，所 述特征可以提供图像深度图中的深度转变与图像对象的边界之间的改 进的对应性和/或将从预定的深度分布(depth profile)确定的例如背 景区的改进的深度信息。根据本专利技术的可选特征，第二装置被布置为响应于邻近的图像区 中第二像元的深度指示图中的值来修改第 一像元的深度指示图的值。这可以导致图像深度图的改进的和/或更容易的生成。所述特征可 以特别提供图像深度图中的深度转变与图像对象的边界之间的改进的 对应性和/或将从预定的深度分布确定的例如背景区的改进的深度信 息。所述修改可以是迭代性的，并且可以基于在先前迭代中获得的值来 确定新的修改的值。根据本专利技术的可选特征，所述深度指示图是所述图像的图像对象分6离模板(mask),该图像对象分离模板指示图像对象和背景区域的分离。本专利技术可以提供例如具有图像深度图中的深度转变与图像对象的 边界之间的改进的对应性的改进的深度图。该图像对象分离模板可以是突出的模板，其指示图像的哪些区域被 认为是突出对象和哪个区域被认为是背景(非突出的)。背景区域可以 是包括不相交背景区的不相交区域。突出对象可以是可能的不相交区的 集群(cluster )。根据本专利技术的可选特征，笫一装置被布置为响应于像元的颜色差 异分析(variance analysis)分离图像对象和背景。虽然由于颜色差 异分析的有效性其是优选的，但是也可以替代地或附加地应用其他分析 方法，比如强度差异分析和/或紋理差异分析、或本领域技术人员已知 的生成突出图的其他方法。这可以导致图像对象(比如突出对象)的改进的检测，尤其导致大 粒度图像对象边缘的生成，该边缘是稳健的并且/或者适合于通过响应 于该图像的图像特'性的滤波而精细化。根据本专利技术的可选特征，图像对象分离模板指示图像对象与背景区 域之间的二值(binary )边界。这导致更容易的操作和/或改进的性能。现在对于每一个像素 (pixel),图像对象分离模板可以指示它属于一个特定图像对象或指 示它属于背景。根据本专利技术的可选特征，第二装置被布置为通过将阈值应用到深 度指示图的滤波后的值来生成修改的深度指示图作为对象分离模板。这可以方便操作和/或提高性能，并且特别地减少计算负担并且/或 者在滤波之后提供改进的对象分离模板。根据本专利技术的可选特征，笫三装置被布置为响应于预定的深度分 布生成背景区域的背景深度图。这可以导致适于与滤波的对象分离模板 一 起使用的背景深度图的 实用的和低复杂度的生成，由此导致生成改进的深度图是可能的。根据本专利技术的可选特征，第三装置被布置为通过响应于图像的图 像特性滤波预定深度分布来修改预定该深度分布。这使得生成改进的深度图是可能的。特别地，对象分离模板和预定 深度分布的滤波将生成深度图，其具有图像深度图中的深度转变与图像对象的边界之间的改进的对应性以及用于背景区域的改进的深度数据。根据本专利技术的可选特征，第三装置被布置为响应于用于相邻区域 的背景深度图的深度值向图像对象分配深度值。这可以导致图像深度图的改进的和/或更容易的生成。特别地，它 使生成深度图成为可能，该深度图具有图像对象的准确的深度指示，所 述图像对象具有准确的和可能清晰的边界，且在图像对象的深度数据和 背景的深度数据之间具有 一致性。根据本专利技术的可选特征，第三装置被布置为响应于在与一个像元 相邻的区域中的像元的分配(assign )的深度值来分配该〗象元的深度值， 所述分配的深度值在权重上取决于它们是被分配给图像对象的像元还 是被分配给背景区域的像元。这可以改进针对图像对象生成的深度信息。根据本专利技术的可选特征，第三装置包括用于响应于深度级算法向 图像对象分配深度值的装置；以及用于响应于分配给图像对象的深度级修改背景深度图的装置。这用来改进要被生成的深度信息。例如，可以获得背景区的改进的 深度信息。例如可以响应于深度线索来分配深度值，该深度线索独立于 背景深度图，比如视差深度线索。根据本专利技术的可选特征，深度指示图是深度图。深度图可以包括用于图像(或其子集)的每一个像元的相对的或绝 对的深度值。该深度图可以例如是背本文档来自技高网...

【技术保护点】
一种图像处理单元，包括：　第一装置（１０１），用于生成图像的深度指示图；　第二装置（１０３），用于通过响应于所述图像的图像特性滤波所述深度指示图来生成修改的深度指示图；　第三装置（１０５），用于响应于所述修改的深度指示图生 成图像的图像深度图；该图像深度图包括表示所述图像的至少一个图像区的深度的数据。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：F博戈贝尔，
申请(专利权)人：皇家飞利浦电子股份有限公司，
类型：发明
国别省市：NL[荷兰]