生成目标透视模型的方法及其透视模型估计装置制造方法及图纸

几种生成目标透视模型的方法及其透视模型估计装置，其中一种生成目标透视模型的方法包含：接收第一输入图像；利用基于区域分析单元分析该第一输入图像中的多个区域以提取该多个区域的图像特征；以及至少根据该图像特征确定该目标透视模型。本发明专利技术的生成目标透视模型的方法及其透视模型估计装置可在生成目标透视模型时具有较低的计算复杂度并且避免了深度图像的颤动。

【技术实现步骤摘要】
生成目标透视模型的方法及其透视模型估计装置
本专利技术有关于深度图像产生(depth map generation),并且特别有关于利用基于区域分析(region-based analysis)及/或时间平滑(temporal smoothing)确定透视模型(perspective model)的方法及其装置。
技术介绍
由于三维立体(three-dimensional, 3D)电影的成功(例如《阿凡达》)，3D播放变得越来越受欢迎。几乎所有的电视制机(television，TV)制造商都将3D功能加入到其高端TV产品中。一个重要的所需3D技术是2D至3D(2D_to_3D)的转换技术，其将传统的2D视频转换为3D视频。说其重要是因为现在大部分的内容仍为传统的2D格式。对于2D单目视频输入(monocular video input),首先估计物体以及其几何透视信息并对其建模,然后生成深度图像(depth map)。根据生成的深度图像,可利用基于深度图像绘制(depth imagebased rendering, DIBR)以将原始2D单目视频转换为分别对应左右眼的立体视频。在上述传统的处理过程中，最重要的问题是如何生成深度图像。为了正确地生成输入2D视频的深度图像，可利用各种线索来估计深度信息。许多传统的深度图像生成方法是利用深度线索的不同组合来取得上述深度图像。透视信息被认为产生初始透视/全局深度图像。大部分传统方法需要表示场景的透视视角的初始透视/全局深度图像。然而，传统的初始深度图像通常只提供由下至上(bottom-top)的透视，其不总是代表整个环境的透视，因此需要灭线(vanishing line)或特征点(featurepoint)来建立整个环境的更复杂的透视模型。一个传统的算法是通过霍夫变换(Houghtransform)实施上述灭线/特征点的检测。然而，上述检测的实施也需要较多时间以及全帧像素的计算操作。其他的传统算法通常产生不稳定的在帧之间跳变的灭线/特征点，其将导致观察深度图像时感觉到颤动(judder)。
技术实现思路
有鉴于此，本专利技术提供生成目标透视模型的方法及其透视模型估计装置。一种生成目标透视模型的方法，其中生成深度图像参考该目标透视模型，该生成目标透视模型的方法包含:接收第一输入图像；利用基于区域分析单元分析该第一输入图像中的多个区域以提取该多个区域的图像特征；以及至少根据该图像特征确定该目标透视模型。一种生成目标透视模型的透视模型估计装置，其中生成深度图像参考该目标透视模型，该生成目标透视模型的透视模型估计装置包含:基于区域分析单元，安排以接收第一输入图像，以及分析该第一输入图像中的多个区域以提取该多个区域的图像特征；以及透视模型生成单元，安排以至少根据该图像特征确定该目标透视模型。一种生成目标透视模型的方法，其中生成深度图像参考该目标透视模型，该生成目标透视模型的方法包含:接收第一输入图像；确定第一透视模型以响应该第一输入图像；以及根据该第一透视模型与至少一个第二透视模型的加权和，利用透视模型生成单元生成该目标透视模型。本专利技术的生成目标透视模型的方法及其透视模型估计装置可在生成目标透视模型时具有较低的计算复杂度并且避免了深度图像的颤动。附图说明图1是根据本专利技术第一实施例描述的深度图像生成器示意图。图2是基于区域分析单元执行的基于区域分析的结果示意图。图3是根据本专利技术实施例描述的目标透视模型示意图。图4是根据本专利技术第二实施例描述的深度图像生成器示意图。图5是描述时间平滑单元执行的时间平滑操作示意图。图6是描述透视模型生成单元的可选择设计示意图。图7是描述另一时间平滑操作示意图。图8是描述透视模型生成单元的另一可选择设计示意图。图9是描述透视模型生成单元800利用类施密特触发器滤波器的示意图。图10是根据本专利技术实施例描述的深度图像参考的生成目标透视模型的方法流程图。具体实施方式在说明书及权利要求书当中使用了某些词汇来指称特定的元件。所属
的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求书并不以名称的差异作为区分元件的方式，而是以元件在功能上的差异作为区分的准贝U。在通篇说明书及权利要求项中所提及的“包含”为一开放式的用语，故应解释成“包含但不限定于”。此外，“耦接”一词在此包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或透过其它装置或连接手段间接地电气连接至第二装置。接下来的描述是实现本专利技术的较佳实施例，其是为了描述本专利技术原理的目的，并非对本专利技术的限制。可以理解地是，本专利技术实施例可由软件、硬件、固件或其任意组合来实现。本专利技术的主要目的是利用基于区域分析及/或时间平滑以生成深度图像参考的透视/全局模型。因此，本专利技术是利用快速且有效的透视/全局模型估计方法来生成表示场景透视的深度图像。此外，本专利技术利用简化算法输出稳定的透视/全局模型。由于上述方法利用基于区域分析，所以透视/全局模型的生成具有较低的计算复杂度。另外，应用于上述透视/全局模型的时间平滑能够改善透视/全局模型从而避免深度图像的颤动。详细的内容将在下面段落中进行描述。图1是根据本专利技术第一实施例描述的深度图像生成器示意图。深度图像生成器100包含透视模型估计装置102以及与其耦接的深度图像绘制单元104。可安排透视模型估计装置102为输入图像MG1生成目标/最终透视模型Gfinal,以及安排深度图像绘制单元104参照目标透视模型Gfinal产生输入图像MG1的相应深度图像MAPdepth。如图1所示，透视模型估计装置102包含基于区域分析单元112以及与其耦接的透视模型生成单元113，其中本实施例的透视模型生成单元113可利用透视映射单元114来简化实施。可安排基于区域分析单元112接收输入图像MG1,并且分析输入图像MG1的多个区域以提取多个区域的图像特征(即局部特征)。请参考图2，图2是基于区域分析单元112执行的基于区域分析的结果示意图。在本实施例中，基于区域分析单元112将整个输入图像MG1划分为多个区域201。按照本示例的方式(但不局限于此)，每个区域201的尺寸可自动设定为一个宏块(macroblock)的大小。可替换地，用户可手动设定每个区域201的大小。例如，待分析的输入图像MG1中的区域可由用户自定蒙版设置或用户自定兴趣区域设置来决定。在确定完区域201后，基于区域分析单元112分析区域201以提取区域201的图像特征N11-N5815例如，每个图像特征可为在每个区域中找到的边缘数量。因此，在一个示例设计中，可配置基于区域分析单元112来在每个区域201中执行边缘检测，并且统计每个区域201中边缘的数量以设定每个区域的图像特征。在取得区域201的图像特征&1-乂8后，透视模型生成单元113的透视映射单元114根据图像特征N11-N58确定目标透视模型Gfinal。在本实施例中，透视映射单元114从输入图像MG1的区域201中选择具有特定图像特征的特定区域，并且参考上述已选择的特定区域确定目标透视模型Gfinal。例如，已选择的特定区域的特定图像特征是区域图像特征中的最大图像特本文档来自技高网...

【技术保护点】
一种生成目标透视模型的方法，其中生成深度图像参考该目标透视模型，该生成目标透视模型的方法包含：接收第一输入图像；利用基于区域分析单元分析该第一输入图像中的多个区域以提取该多个区域的图像特征；以及至少根据该图像特征确定该目标透视模型。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：张毓麟，郑朝钟，张德浩，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：