生成图像的深度图的方法及相关存储介质技术

提供生成图像的深度图的方法及相关存储介质。该方法包括：访问包括多个像素的图像，每个像素具有图像中的颜色和位置；基于像素的颜色来确定图像的颜色深度图；基于像素的位置和多个其他图像中相似位置的像素的历史深度信息确定图像的空间深度图；基于图像中的像素运动确定图像的运动深度图；确定颜色深度图权重、空间深度图权重和运动深度图权重，基于多个其他图像中相似位置中的像素的历史深度方差信息确定描述历史深度信息的差异的空间深度图权重；和从由颜色深度图权重加权的颜色深度图、由空间深度图权重加权的空间深度图和由运动深度图权重加权的运动深度图的组合来生成图像的组合深度图。

Method for generating depth map of image and related storage medium

Method for providing depth map of generated image and related storage medium. The method includes: access image including a plurality of pixels, each pixel has a color and location in the image; to determine the depth of color image based on pixel color space; determine the depth map image of the historical depth information similar to the pixel locations of pixels and a plurality of other images based on pixel image motion; to determine the motion depth map based on image color depth map; determine the weight, weight and space depth map movement depth map to determine the spatial weight, weight difference between the depth map describing the history of the depth information of the historical depth variance information similar to a number of other pixels in the image based on color; and from the depth map by color depth map weighted by the combined motion depth map space depth map space depth map weighted and weighted by the motion depth map to generate images Combination depth map.

【技术实现步骤摘要】
生成图像的深度图的方法及相关存储介质本案是申请日为2013年10月28日、申请号为201380055544.1、专利技术名称为“基于组合的深度提示从单视场图像生成深度图”的专利技术专利申请的分案申请。
本公开涉及视频处理，并且具体地，涉及单视场图像向立体3D图像的转换。
技术介绍
立体或者“3D”视频通过仿真立体视觉增强深度感知的错觉，从而通过视差的仿真创造了深度的错觉。然而，延缓立体视频的普遍采用的一个方面是立体格式的视频的可用性。传统上讲，生成立体视频的主要方法是使用从不同视点设置角度的两台不同的相机进行立体拍摄以捕获深度信息。由于与立体拍摄相关联的难度和成本，至今比较少的立体视频已经被生成。此外，尽管目前有可能从单视场图像创建立体视频，但是一些现有技术依赖于对象分割以识别图像内的对象，然后近似来确定对象相对于图像平面的深度。对象分割可能错误地确定对象的边界，引起错误的深度赋值，错误的深度赋值使得观看者很难辨别图像中的什么对象突出而什么对象凹陷。因此，现有技术通常不能够以一致并精确的方式从描绘图像中的对象的深度的单视场图像创建立体图像。
技术实现思路
基于用于图像的颜色深度图、空间深度图和运动深度图的加权组合针对单视场图像生成了组合的深度图，其中图中的每个图描述图像中的每个像素相对于图像平面的深度。在一个实施例中，单个深度图中的每个深度图与用于计算组合的深度图的权重相关联。权重可以自适应地说明不同单视场图像之间的变化。在一些情况下，深度图可以与权重集相关联，每个权重对应于图像的一部分，权重集包括每个单独的像素或者像素组的权重。颜色深度图基于像素的颜色来描述图像中的每个像素的深度。基于确定具有相似颜色的像素很有可能具有相似的深度来生成颜色深度图，颜色深度图提供将像素的颜色与其深度的确定关联的颜色深度函数。在一个实施例中，基于图像中颜色的分布来确定用于颜色深度图的权重。根据颜色对比度来缩放颜色深度图权重，该颜色对比度表示用于基于颜色来量化深度的置信度。通过对跨众多典型单视场图像的每个位置处的像素的深度取平均值来生成空间深度图。在生成空间深度图中，指示每个像素位置处的像素深度的方差的方差图也可以被生成。基于由方差图指示的方差来确定空间深度图权重。针对待分析的每个像素位置，访问了方差图并且反向于每个位置处的方差来缩放空间深度图权重。运动深度图使用具有较快运动的像素更靠近图像的前景的判定基于它们的局部运动来确定像素的深度。通过从两帧之间的像素的总体运动减去相机运动来计算局部运动。运动深度函数将所计算的局部运动与像素深度的图相关联。基于图像中的运动量来确定用于运动深度图的权重。图像中的具有局部运动的像素的百分比被确定，并且运动深度图权重按照移动像素的百分比的函数被增加或者减少。具体地，根据本专利技术，提供一种用于生成图像的深度图的方法，所述方法包括：访问所述图像，所述图像包括多个像素，其中每个像素具有所述图像中的颜色和位置；基于图像中的像素的颜色来确定图像的颜色深度图；基于像素的位置和用于多个其他图像中相似位置的像素的历史深度信息来确定图像的空间深度图；基于图像中的像素运动确定图像的运动深度图；确定颜色深度图权重、空间深度图权重和运动深度图权重，基于多个其他图像中相似位置中的像素的历史深度方差信息确定空间深度图权重，历史深度方差信息描述历史深度信息的差异；和从由颜色深度图权重加权的颜色深度图、由空间深度图权重加权的空间深度图和由运动深度图权重加权的运动深度图的组合来生成图像的组合深度图。根据本专利技术，还提供一种存储用于生成图像的深度图的计算机程序指令的非暂时计算机可读存储介质，所述计算机程序指令可执行以执行包括以下步骤的步骤：访问所述图像，所述图像包括多个像素，其中每个像素具有所述图像中的颜色和位置；基于图像中的像素的颜色来确定图像的颜色深度图；基于像素的位置和用于多个其他图像中相似位置的像素的历史深度信息来确定图像的空间深度图；基于图像中的像素运动确定图像的运动深度图；确定颜色深度图权重、空间深度图权重和运动深度图权重，基于多个其他图像中相似位置中的像素的历史深度方差信息确定空间深度图权重，历史深度方差信息描述历史深度信息的差异；和从由颜色深度图权重加权的颜色深度图、由空间深度图权重加权的空间深度图和由运动深度图权重加权的运动深度图的组合来生成图像的组合深度图。根据本专利技术，还提供一种用于生成图像的深度图的方法，所述方法包括：访问所述图像，所述图像包括多个像素，其中每个像素具有所述图像中的颜色和位置；基于图像中的像素的颜色来确定图像的颜色深度图；基于像素的位置和用于多个其他图像中相似位置的像素的历史深度信息来确定图像的空间深度图；基于图像中的像素运动确定图像的运动深度图；确定颜色深度图权重、空间深度图权重和运动深度图权重，基于具有局部运动的图像中的像素的百分比确定运动深度图权重；和从由颜色深度图权重加权的颜色深度图、由空间深度图权重加权的空间深度图和由运动深度图权重加权的运动深度图的组合来生成图像的组合深度图。在本
技术实现思路
和以下详细描述中描述的特征和优点不是包含所有的。鉴于附图、说明书及其权利要求，很多附加的特征和优点将对于本领域技术人员是显而易见的。附图说明图1图示了根据一个实施例的生成图像的组合的深度图的概况。图2是根据一个实施例的深度图生成模块的框图。图3是图示根据一个实施例的用于生成运动深度图的过程的流程图。图4是图示根据一个实施例的用于生成图像的组合的深度图的过程的流程图。附图仅为了说明的目的而描绘本专利技术的各个实施例。本领域技术人员从以下讨论中将容易认识到本文所图示的结构和方法的备选实施例可以在不偏离本文所描述的本专利技术的原理的情况下被使用。具体实施方式概况图1图示了用于生成图像的组合的深度图的过程的概况。视频帧102是单视场图像，该单视场图像在一个实施例中是由单视场相机拍摄的视频的帧。视频帧102具有多个像素，并且可以描绘一个或者多个对象。因为视频帧102由单视场相机捕获，所以视频帧102的像素在相同平面上，该相同平面在本文中称为图像平面。像素并不明确地描述由视频帧102描绘的对象的原始深度关系。然而，视频帧102的像素的原始深度关系的表示可以通过生成用于视频帧102的各种深度图来创建。颜色深度图104使用像素的颜色作为它们的深度的指标来确定视频帧102中的像素的深度。基于图像中某些位置的对象将具有特定深度的假设，空间深度图106使用图像中的像素的位置来确定深度。运动深度图108使用诸如帧I-1与帧I之间的两帧之间的运动来确定像素深度。颜色深度图104、空间深度图106和运动深度图108中的每个深度图提供逐像素深度值，像素深度值描述表示像素垂直于视频帧102的平面突出或者凹陷的量。在一个实施例中，较大的深度值指示像素靠近帧的背面，而小的或者负的深度指示像素靠近平面的前面。使用图像的多种特性以确定像素深度的改善的深度图可以通过组合若干深度图来生成。组合的深度图110是颜色深度图104、空间深度图106和运动深度图108的线性组合。在一个实施例中，组合的深度图110以逐像素为基础来计算。例如，给定由颜色深度图104指示的深度Dcolor、由空间深度图106指示的深度Dspatial以及由运动深度图108指示本文档来自技高网...

【技术保护点】
一种用于生成图像的深度图的方法，所述方法包括：访问所述图像，所述图像包括多个像素，其中每个像素具有所述图像中的颜色和位置；基于图像中的像素的颜色来确定图像的颜色深度图；基于像素的位置和用于多个其他图像中相似位置的像素的历史深度信息来确定图像的空间深度图；基于图像中的像素运动确定图像的运动深度图；确定颜色深度图权重、空间深度图权重和运动深度图权重，基于多个其他图像中相似位置中的像素的历史深度方差信息确定空间深度图权重，历史深度方差信息描述历史深度信息的差异；和从由颜色深度图权重加权的颜色深度图、由空间深度图权重加权的空间深度图和由运动深度图权重加权的运动深度图的组合来生成图像的组合深度图。

【技术特征摘要】
2012.11.01 US 13/666,5661.一种用于生成图像的深度图的方法，所述方法包括：访问所述图像，所述图像包括多个像素，其中每个像素具有所述图像中的颜色和位置；基于图像中的像素的颜色来确定图像的颜色深度图；基于像素的位置和用于多个其他图像中相似位置的像素的历史深度信息来确定图像的空间深度图；基于图像中的像素运动确定图像的运动深度图；确定颜色深度图权重、空间深度图权重和运动深度图权重，基于多个其他图像中相似位置中的像素的历史深度方差信息确定空间深度图权重，历史深度方差信息描述历史深度信息的差异；和从由颜色深度图权重加权的颜色深度图、由空间深度图权重加权的空间深度图和由运动深度图权重加权的运动深度图的组合来生成图像的组合深度图。2.根据权利要求1所述的方法，其中确定所述颜色深度图权重包括：确定描述像素的颜色分布的直方图；和基于由直方图描述的颜色的分布来确定颜色深度图权重。3.根据权利要求2所述的方法，其中基于由所述直方图描述的颜色的分布来确定所述颜色深度图权重包括：确定与直方图相关联的熵，所述熵基于颜色分布；确定所述熵和与所述图像相关联的最大熵的比值，所述比值描述所述颜色的相对分布；和根据比值确定颜色深度图权重，颜色深度图权重直接与所述比值成正比例。4.根据权利要求1所述的方法，其中确定所述运动深度图权重包括确定具有局部运动的图像中的像素的百分比，所述运动深度图权重基于具有局部运动的像素的百分比。5.根据权利要求4所述的方法，还包括：基于具有局部运动的第二图像中的像素的百分比来确定第二图像的运动深度图权重，第二图像在视频序列中的第一图像之前；确定第一乘数，所述第一乘数具有大于1的值；确定第二乘数，所述第二乘数具有小于1的值；和将具有局部运动的第一图像中的像素的百分比与运动阈值进行比较；其中确定所述第一图像的运动深度图权重包括：响应于确定具有局部运动的第一图像中的像素的百分比高于运动阈值，将第二图像的运动深度图权重乘以第一乘数；和响应于确定具有局部运动的第一图像中的像素的百分比低于运动阈值，将第二图像的运动深度图权重乘以第二乘数。6.根据权利要求1所述的方法，其中基于所述历史深度方差信息确定所述空间深度图权重包括：检索与图像中的位置相关联的历史深度方差信息；确定第一乘数，所述第一乘数具有大于1的值；确定第二乘数，所述第二乘数具有小于1的值；将与位置相关联的历史深度方差信息与方差阈值进行比较；其中确定所述空间深度图权重包括：响应于确定与所述位置相关联的历史深度方差信息高于所述方差阈值，将所述空间深度图权重乘以所述第一乘数；和响应于确定与所述位置相关联的历史深度方差信息低于所述方差阈值，将所述空间深度图权重乘以所述第二乘数。7.一种存储用于生成图像的深度图的计算机程序指令的非暂时计算机可读存储介质，所述计算机程序指令可执行以执行包括以下步骤的步骤：访问所述图像，所述图像包括多个像素，其中每个像素具有所述图像中的颜色和位置；基于图像中的像素的颜色来确定图像的颜色深度图；基于像素的位置和用于多个其他图像中相似位置的像素的历史深度信息来确定图像的空间深度图；基于图像中的像素运动确定图像的运动深度图；确定颜色深度图权重、空间深度图权重和运动深度图权重，基于多个其他图像中相似位置中的像素的历史深度方差信息确定空间深度图权重，历史深度方差信息描述历史深度信息的差异；和从由颜色深度图权重加权的颜色深度图、由空间深度图权重加权的空间深度图和由运动深度图权重加权的运动深度图的组合来生成图像的组合深度图。8.根据权利要求7所述的非暂时计算机可读存储介质，其中确定所述颜色深度图权重包括：确定描述像素的颜色分布的直方图；和基于由直方图描述的颜色的分布来确定颜色深度图权重。9.根据权利要求8所述的非暂时计算机可读存储介质，其中，基于由所述直方图描述的颜色的分布来确定所述颜色深度图权重包括：确定与直方图相关联的熵，所述熵基于颜色分布；确定所述熵和与所述图像相关联的最大熵的比值，所述比值描述所述颜色的相对分布；和根据比值确定颜色深度图权重，颜色深度图权重直接与所述比值成比例。10.根据权利要求7所述...

【专利技术属性】
技术研发人员：吴琛，D穆克赫吉，M王，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国,US