改进的变换和编码技术制造技术

一种对一图像序列建立至少一个深度图的方法，包括以下步骤：接收所述图像序列中的多个点的深度数据；利用所述深度数据和分类器来确定作为图像特性和相对位置的函数的深度特性；使用所述图像特性对所述图像序列的至少一个帧建立深度图。（*该技术在2023年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术针对用于从2D图像得出深度图的改进的技术，特别是，本专利技术涉及一种从与一图像序列相关联的一组稀疏的3D点中恢复密集深度图(densedepth map)的方法。
技术介绍
从运动恢复结构(Structure-from-MotionSfM)技术是用于恢复投影到摄像机的平面2D膜底面上的场景的3D信息的方法的集合。从SfM算法得出的结构信息一般采用一组投影矩阵(projection matrices)的形式，每个图像帧一个投影矩阵，表示图像平面中的特定的2D点与其对应的3D点之间的关系。SfM算法依赖于跟踪特定的图像特征以确定有关场景的这种结构信息。一般来说，仅仅能精确地跟踪图像的一小部分——这些点通常位于边缘和角落上，在这些地方，明显的强度不连续性提供了明确的跟踪线索。类似地，可使用立体的或多视觉(multi-ocular)不一致分析(disparityanalysis)从2D图像确定3D点。如用SfM分析一样，只能对位于有足够对比度可精确确定与第二图像对应关系的位置的小部分图像建立3D点。在许多应用中，包括但不限制于立体图像透射图(stereoscopic imagerendering)、机器人导航和特定效果动画制作应用，这种稀疏3D点是不够的。这些应用要求图像中的每个2D点与一3D点相关联的密集深度图。用于将稀疏3D点变换到密集深度图的现有技术依赖于稀疏3D数据的空间内插或假设检验方法，例如RANSAC算法。所有这些方法仅使用每个单独的图像帧上可用的稀疏3D点数据。这导致两个主要的缺陷——首先，在任一单个图像中可用的稀疏点的数量可能不足以精确地导出密集深度图，其次，从一帧到下一帧的深度图的连续性可能是拙劣的。本专利技术揭示了一种针对这些缺陷的用于从稀疏3D数据导出密集深度图的方法。申请人在共同待批的PCT申请号PCT/AU01/00975中揭示了一种用于从一个或多个图像产生深度图的方法，该申请的内容通过引用而被揭示于此。该方法涉及两步处理。在第一步中，使用与单个图像相关联的稀疏深度数据来为该图像产生深度图。在第二阶段中，使用在第一阶段中产生的结果产生一图像序列中的各图像的深度图。虽然该方法在理想情况下起作用，但是对处理具有许多限制。在申请人的在先申请中，必须选择图像序列中的一定数量的关键帧。对于这些关键帧的每一帧，必须知道该关键帧中的足够数量的像素的深度数据，使得可以产生用以产生对应的深度图的方程。也就是说，给出关键帧中的足够数量的像素的深度数据，可以得出一函数，使得可以确定每一其它像素的深度。一旦对关键帧产生了这些函数，那么就随后可以使用这些函数来产生用于剩余的帧的函数。申请人在先处理的局限之一是必须要求两个阶段。将理解到，如果由于某种原因而在第一阶段中引入了差错，那么该差错就会在整个第二阶段中传递。在这种情况下，最后得出的深度图可能是不令人满意的。更为关注的是，为了令人满意地完成第一阶段，必须知道关键帧中的足够数量的像素的深度，以便求解方程来产生该关键帧的深度图。例如，如果一关键帧具有350,000个像素，那么理想地应当知道17,500个像素(或像素总数的5％)的深度，以便能生成深度图的函数。如果深度已知的像素数量不够，那么所产生的深度图的质量将不够质量。如果不能为一关键帧产生精确的深度图，则不可能成功地完成第二阶段。因此，需要一种产生深度图的简化的处理过程。专利技术目的因此，本专利技术的一个目的是提供一种从2D图像序列产生深度图的改进的系统，不要求两阶段处理，也不依赖于已知一关键帧中必需数量的像素的深度。专利技术概述考虑上述目的，本专利技术的一个方面中提供一种对一图像序列建立至少一个深度图的方法，包括以下步骤接收多个帧的图像数据；接收所述多个帧中至少一个帧的多个点的深度数据；使用所述图像数据和所述深度数据来确定一算法，以确定作为图像数据的函数的深度特性；使用所述算法对所述至少一个帧确定深度图。在本专利技术的进一步的方面中，提供一种对包括多个帧的2D图像序列建立至少一个深度图的方法，每个帧包括多个点，所述方法包括以下步骤接收至少一个帧中的多个点的深度数据；确定具有所述深度数据的所述点的图像数据；将所述深度数据和所述图像数据输入分类器，以对所述图像数据和所述深度数据之间的关系进行编码；使用经编码的关系来得出2D图像的至少一个帧的深度图。在本专利技术的又一方面中，提供一种对一图像序列建立深度图的方法，包括以下步骤接收所述图像序列中的多个点的深度数据；利用所述深度数据训练分类器，以确定作为图像特性和相对位置的函数的深度特性；使用所述图像特性对所述图像序列的每个帧建立深度图。在本专利技术的又一方面中，提供一种对一图像序列建立深度图的方法，包括以下步骤将所述图像序列划分成多个图像像片；对于每个图像像片，接收多个点的深度数据，并使用所述深度数据训练各自的分类器以建立初始算法，以确定作为图像特性和相对位置的函数的深度特性；通过从多个所述像片组合至少两个初始算法建立至少一个组合算法；使用所述至少一个组合算法对所述图像序列的每个帧建立深度图。在本专利技术的又一方面中提供一种对一图像序列建立至少一个深度图的方法，包括以下步骤将所述图像序列划分成多个图像像片；接收至少一个图像像片中的多个点的深度数据；使用所述深度数据和分类器来确定作为图像特性和相对位置的函数的深度特性；使用所述图像特性对所述至少一个图像像片的至少一个帧建立深度图。图像数据可包括每个点或像素的RGB值，并还可包括xy位置。本专利技术还可包括对图像中的若干点确定深度数据的初始化步骤。可人工地、自动地或人工和自动手段的组合来确定深度数据。当把图像序列划分成一系列像片时，本专利技术的较佳实施例将组合每个帧的两侧的两个分类器的输出。附图简述附图说明图1说明了申请人的共同待批的专利申请的工作方式。图2说明了本专利技术的操作。图3说明了在本专利技术的一个实施例中的分类器的使用。图4说明了通过使用相邻的分类器的本专利技术的较佳实施例。专利技术详述深度图表示从某一特定角度观看到的场景的3D轮廓。当密集深度图与2D图像相关联时，它对图像中的每个像素对用于捕捉图像的摄像机与所观察到的对象之间的距离进行编码。本专利技术的一个目的是仅给定稀疏的一组3D点就恢复出深度图，这可从下述的手段之一获得。为了实现这个目的，包含若干图像帧的图像序列可分解成一系列的像片(shot)。一张像片理想地包含一个或多个图像帧，其中的帧间差异相对较小。图像序列中的像片边界的频率和位置可取决于序列中的运动。可由操作者人工地识别或者可使用像片检测算法来自动地识别像片边界。像片检测算法采用图像帧序列作为输入，输出一个或多个像片边界。像片边界有效地将图像序列划分成一个或多个组，使得任一组中的连续图像之间的差异相对较小。自动像片检测算法通常基于图像差异。例如，为了确定是否要在序列的两个连续的图像之间插入像片边界，要计算该两个图像的每个像素之间的总差异。如果该差异超过预定的阈值，则插入像片边界。3D点可定义成具有关联深度值的2D点，关联深度值表示点离摄像机的距离，并可根据下述过程中的任一个或任何组合来产生1.从运动恢复结构算法这种算法最初将识别首幅图像中的若干特征点，并试图在后续的图像中定位相同的特征点。诸如对象的角落和边缘之类的高对比区域一般是最可本文档来自技高网...

【技术保护点】
一种对一图像序列建立至少一个深度图的方法，其特征在于，包括以下步骤：　　　　接收所述图像序列中的多个点的深度数据；　　　　利用所述深度数据和分类器来确定作为图像特性和相对位置的函数的深度特性；　　　　使用所述图像特性对所述图像序列的至少一个帧建立深度图。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：SR弗克斯，JC弗拉克，PVH哈曼，
申请(专利权)人：动态数字视距研究有限公司，
类型：发明
国别省市：AU[澳大利亚]