使用与示例相似图像相关联的示例近似深度映射图对输入图像生成深度映射图制造技术

一种图像转换器接收要转换为第一三维图像的二维图像。该图像转换器基于与第二三维图像相关联的近似深度映射图计算特征至深度映射函数。该图像转换器将该特征至深度映射函数应用于该二维图像的多个像素以对该多个像素中的每一个确定深度值并且基于该二维图像的多个像素的深度值生成第一三维图像。

【技术实现步骤摘要】
【国外来华专利技术】
本公开设及图像处理的领域，具体地设及单视场视觉内容到立体3D的转换。
技术介绍
显示技术的发展已经使得能够将=维（3D)深度的立体感知转换为视图的显示设 备日益普及。运些3D显示器可W在高清（皿）电视机、游戏设备和其它计算设备中找到。3D 显示器的增长数量已经带动了对于附加的3D视觉内容（例如图像、视频）的需求。常规地， 创建3D内容是困难且耗时的过程。例如，内容创建者将使用两个相机捕捉对象，将来自每 个相机的视频或图像进行组合，并且使用特殊软件来使得3D效果看上去准确。运通常包括 冗长、高度技术化且耗费人工的处理。另外，在需要时间和资源对大量图像或视频进行转换 的情况下，用于将二维（2D)图像和视频转换为3D的常规技术可能无法进行缩放。此外，常 规技术局限于对具体类型的图像和视频进行转换而无法用于一般的2D至3D的转换任务。
技术实现思路
W下为本公开的简要概述，W提供对于本公开的一些方面的基本理解。该专利技术内 容不是本公开的扩展性综述。其不意在标示本公开的关键或必要要素，也不对本公开的特 定实施方式的任何范围或者权利要求的任何范围加W限定。其目的仅在于W简化形式给出 本公开的一些概念，作为随后给出的更为详细的描述的前序。 在一个实施方式中，一种图像转换器接收要转换为第一=维图像的二维图像。该 图像转换器基于与第二=维图像相关联的近似深度映射图计算特征至深度映射函数。该图 像转换器将该特征至深度映射函数应用于该二维图像的多个像素W对于该多个像素中的 每一个确定深度值并且基于该二维图像的多个像素的深度值生成第一=维图像。 阳〇化]在一个实施方式中，一种方法包括接收要转换为第一=维图像的二维图像；基于 与第二=维图像相关联的近似深度映射图计算特征至深度映射函数；将该特征至深度映射 函数应用于该二维图像的多个像素W对于该多个像素中的每一个确定深度值；并且基于该 二维图像的多个像素的深度值生成第一=维图像。【附图说明】 在附图的图中通过示例而非限制对本公开进行图示。 图1是图示可W在其中实施本公开的方面的示例性网络架构的框图。 图2A是图示根据一个实施方式的用于使用与示例相似图像相关联的近似深度映 射图来生成深度映射图的图像转换器的框图。 图2B是图示根据一个实施方式的针对特征至深度映射被划分为分区的图像的 图。 图3是图示根据一个实施方式的图像转换处理流程的框图。 图4是图示根据一个实施方式的特征至深度映射函数的图。 图5是图示根据一个实施方式计算的深度映射图的图。 图6是图示根据一个实施方式的用于图像转换的方法的流程图。 图7是图示根据一个实施方式的用于计算特征至深度映射函数的方法的流程图。 图8A是图示根据一个实施方式的用于向输入图像应用特征至深度映射函数的方 法的流程图。 图8B是图示根据一个实施方式的颜色深度合并块化in)之间的一维线性插值的 图。 图9是图示依据本公开的一个方面的计算机系统的一个实施方式的框图。【具体实施方式】 描述了用于对于二维（2D)输入图像生成深度映射图的实施方式。深度映射图可W被用来将2D输入图像转换为=维（3D)输出图像。2D输入图像可W由用户提供或者从 可用图像的数据库选择。运里所描述的图像转换器可W访问存储3D图像的另一个数据库。 运些3D图像可W最初W3D进行捕捉或者可W先前从2D转换为3D。该图像转换器可W从 数据库中识别出在视觉上类似于2D输入图像的3D示例图像。视觉上相似的图像可W与2D 输入图像共享多个特征，诸如相似颜色、相似主题、可能在相似位置拍摄等等。虽然运里为 了解释的清楚而提供了特别与作为示例的图像相关的细节，但是应当意识到的是，如可应 用的，运样的细节同样可W应用于其它类型的媒体，例如视频、文档、文本（例如推文）、动 画内容等。 由于视觉上相似的示例图像是3D图像，所W对于该图像可W知道深度信息。如果 深度信息不是已知的或者可轻易获取的，则可W使用深度插值技术来计算。深度信息可W W深度映射图的形式进行存储。深度映射图可W包括3D示例图像中的每个像素的深度值， 其用来为该图像擅染3D效果。由于深度映射图与3D示例图像相关联，所W其将不直接与 2D输入图像相关。因此，该深度映射图可W被称作关于2D输入图像的近似深度映射图。然 而，由于3D示例图像在视觉上类似于2D输入图像，所W该近似深度映射图可W作为对2D 输入图像生成最终深度映射图的良好起点。 使用3D示例图像和近似深度映射图，在一个实施方式中，图像转换器能够生成特 征至深度映射函数，其将3D示例图像中的每个像素或像素群组的诸如颜色的特征值与深 度值相关。该图像转换器可W将该函数应用于2D输入图像的已知特征值W对2D输入图像 的每个像素生成深度值。运些深度值可W对2D输入图像形成最终的深度映射图。使用该 最终的深度映射图，图像转换器能够基于2D输入图像擅染3D输出图像。因此，能够将2D 输入图像有效地转换为3D输出图像。 运里所描述的转换技术的实施方式提供了 2D视觉内容到3D的全自动转换。运能 够允许个人避免捕捉3D图像或者将现有2D图像手工转换为3D的高成本且耗时的过程。使 用对应于视觉上类似于输入图像的图像的特征至深度映射函数允许更为准确地预测图像 的深度值。进而，运能够导致更为准确且真实的3D输出图像擅染。此外，利用大的图像数 据库进行比较提高了能够找到一个或多个视觉上相似的图像的概率，促成了许多类型的视 觉内容的转换。在一个实施方式中，有数百万的图像可供比较。 图I是图示可W在其中实施本公开的多个方面的示例性网络架构的框图。根据一 个实施方式，网络架构100可W包括通过一个或多个网络140与一个或多个用户设备130、 132、134进行通信的一个或多个服务器102。网络140可W是局域网（LAN)、无线网络、电话 网络、移动通信网络、诸如互联网的广域网（WAN)、或者类似通信系统。用户设备130、132、 134可W是任意类型的计算设备，包括服务器计算机、网关计算机、台式计算机、膝上计算 机、移动通信设备、蜂窝电话、智能电话、手持计算机、平板电脑或类似计算设备。用户设备 130、132、134可W利用不同特征进行各种配置而使得能够观看诸如图像、视频等的视觉内 容。 服务器102可W包括网络可访问的基于服务器的功能、各种数据存储和/或其它 数据处理设备。服务器102可W由单个机器或机器集群来实施。服务器102例如可W包括 图9的计算机系统900。在一个实施方式中，服务器102包括图像转换器110和存储设备 120。在另一个实施方式中，存储设备120可W在服务器102外并且可W通过网络或其它连 接而连接至服务器102。在其它实施方式中，服务器102可W包括运里并没有示出W免对 本公开造成混淆的不同和/或另外的组件。存储设备120可W包括一个或多个大容量存 储设备，例如可W包括闪存、磁盘或光盘或带式驱动器、只读存储器（ROM)、随机存取存储器 (RAM)、可擦除可编程存储器（例如，EPROM或邸PROM)、闪存或者任意其它类型的存储介质。 在一个实施方式中，存储设备120包括图像数据存储，其包括多个3D图像W及多 个2D图像或视频。对于至少一些2D或3D图像，相关本文档来自技高网...

【技术保护点】
一种方法，包括：接收要转换为第一三维图像的二维图像；由处理设备基于与第二三维图像相关联的近似深度映射图计算特征至深度映射函数；将所述特征至深度映射函数应用于所述二维图像的多个像素以对所述多个像素中的每一个确定深度值；以及基于所述二维图像的所述多个像素的深度值生成所述第一三维图像。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：德巴尔加·慕克吉，吴琛，王盟，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国;US