根据单个图像估计深度制造技术

在训练阶段期间，机器访问具有对应深度信息的参考图像。机器根据该信息来计算视觉描述符和对应的深度描述符。然后，机器生成将这些视觉描述符与它们的对应深度描述符进行相关的映射。在训练阶段之后，机器可以基于缺少深度信息的单个查询图像来执行深度估计。机器可以根据单个查询图像来计算一个或多个视觉描述符，并且根据生成的映射来获得针对每个视觉描述符的对应深度描述符。基于获得的深度描述符，机器创建与所提交的单个查询图像相对应的深度信息。

【技术实现步骤摘要】
根据单个图像估计深度本申请是申请日为2014年9月4日的中国专利申请No.201480038069.1(根据单个图像估计深度)的分案申请。相关申请本国际申请要求2014年5月27日提交的美国专利申请No.14/288,233(代理人案卷号No.2043.E73US1)以及2013年9月5日提交的美国临时专利申请No.61/874,096(代理人案卷号No.2043.E73PRV)的优先权，这些申请的全部以引用的方式并入本文。
本文中公开的主题大体上涉及图像的处理。具体地，本公开涉及用于促进图像处理和根据图像处理获得的图像数据的使用的系统和方法。
技术介绍
特别是从用户观察图像或促进电子商务(“e-commerce”)的角度来看，可以使用图像来以更高效地或者以文本不能实现的方式来传递信息。然而，为了基于图像中包含的大量信息来使用图像，执行图像处理以提取、鉴别或以其他方式识别图像的属性。一旦提取出了图像数据，图像数据就可以在各种应用中使用。取决于具体应用，可以优先于其他图像来实现某些类型的图像的处理。附图说明在附图的图中以示例的方式而非限制的方式示出了一些实施例。图1是示出了根据一些示例实施例的适合于根据单个图像来估计深度的网络环境的网络图。图2是示出了根据一些示例实施例的适合于根据单个图像来估计深度的图像处理机的组件的框图。图3是示出了根据一些示例实施例的使用图像处理机来根据单个图像估计深度的工作流的框图。图4-6是示出了根据一些示例实施例的图像处理机在执行根据单个图像估计深度的方法时的操作的流程图。图7是示出了根据一些示例实施例的、能够从机器可读介质中读取指令并执行本文中讨论的方法中的任意一个或多个方法的机器的组件的框图。具体实施方式实例方法和系统涉及根据单个图像估计深度。示例仅仅作为可能的变化的典型例子。除非另行明确声明，否则组件和功能是可选的并可以组合或细分，并且操作可以在次序上变化或者可以组合或者细分。在以下描述中，出于解释的目的，对多个具体细节进行阐述，以提供对示例实施例的透彻理解。然而对于本领域技术人员将显而易见的是：本主题可以在没有这些具体细节的情况下实施。机器可以(例如通过硬件、软件或二者)被配置为执行包括根据单个图像来估计深度信息的图像处理任务。这样的机器可以形成用于执行这样的图像处理任务的系统的全部或一部分。在训练阶段期间，机器访问存储了具有对应深度信息的图像的参考集的参考数据库(例如训练数据库)。基于该访问到的信息，机器计算在图像中(例如根据彩色像素数据来计算)和在深度信息中表现的特征的描述符。这些描述符可以被看做是包含这些特征的图像部分或深度图部分的高度压缩的版本。具体地，机器计算视觉描述符(例如根据参考图像中的彩色像素来计算)并且计算它们的对应的深度描述符(例如根据对应的深度信息来计算)。然后，机器生成将这些视觉描述符与它们对应的深度描述符进行相关的数据结构(例如存储在存储器或其它机器可读介质中的矩阵)。这些数据的生成可以被称作构建跨域图，该跨域图用于将视觉描述符的词典翻译成对应的深度描述符的词典，或反之。在训练阶段之后，机器可以在后训练阶段(例如使用阶段或运行时间阶段)中操作，在该阶段中，机器被配置为基于缺少深度信息的单个图像(例如查询图像)来执行深度估计。具体地，机器可以分析(例如在针对深度信息的查询中提交的或在估计深度信息的请求中提交的)单个图像，并且计算一个或多个视觉描述符(例如根据提交的单个图像中的彩色像素来计算)。然后，机器可以通过访问之前生成的数据结构(例如矩阵)来获取针对每个视觉描述符的对应深度描述符。基于从数据结构中获取的一个或多个深度描述符，机器可以创建与提交的单个图像相对应的深度信息。机器可以响应于查询或请求来提供该深度信息(例如作为深度图或深度图像)。此后，机器可以向任何机器或软件应用(例如运输应用、视觉化应用、或者它们的任何合适的组合)提供该深度信息。在训练阶段期间，参考数据库可以存储彩色图像(例如三色图像)，该彩色图像是包含像素的二维图像，并且这些像素可通过每个像素三个颜色值来在色彩空间中定义(例如三个三色值，例如红绿蓝(RGB)图像中的红色值、绿色值和蓝色值)。在一些示例实施例中，彩色图像中的一个或多个具有通过每个像素四个颜色值来定义的像素(例如青-洋红-黄-黑(CMYK)图像中的青色值、洋红色值、黄色值以及黑色值)。在其它示例实施例中，针对每个像素的第四颜色值是透明度值(例如红绿蓝alpha(RGBA)图像中的alpha值)。在任意事件中，彩色图像可以与对应的深度图(例如深度图像)一起存储在参考数据库中，该深度图是二维图像或其它数组。这些深度图中的每一个可以包含针对对应彩色图像中的像素的深度(D)值。根据各种示例实施例，图像信息包括亮度信息(例如亮度(luma)(Y)值)，亮度信息可以由多个颜色值(例如红绿蓝(RGB)像素中的红色值、绿色值、以及蓝色值)共同定义，并且不需要由单个颜色值(例如YUV像素中的亮度值)来定义。备选地，由于深度值可以被当做深度像素，参考数据库可以存储将颜色和深度信息二者相结合的参考图像。例如，参考数据库可以存储红-绿-蓝-深度(RGB-D)图像，其中每个RGB-D图像包括针对红、绿、蓝和深度值的通道(例如分别的数组)。为清楚起见，下文的讨论主要集中于RGB色彩空间(例如RGB图像)中的彩色图像。然而，本文中讨论的系统和方法适于其它色彩空间中的彩色图像。作为说明性的示例，假设在训练阶段使用RGB-D图像的数据库，其中每个图像包括红绿蓝(RGB)和深度(D)通道二者，机器学习从RGB描述符的词典向深度描述符的词典的转换。每个词典可以是整个描述符数据库，或者可以通过将描述符聚类(cluster)来进行二次采样。每个训练图像可以被表示为RGB空间和深度空间中基本元素的稀疏线性组合，其可以分别被称为RGB投影和深度投影。然后，可以估计训练数据库中的所有图像的RGB投影与深度投影之间的转换。说明性的示例继续进行，假设使用测试时的查询图像，只有该图像的RGB信息可以是可用的。估计查询图像的RGB投影，接下来是应用转换，该转换估计、预测或以其他方式获取对应的深度投影。深度投影与深度词典相结合以创建对应的深度图。可使用查询图像的分段来对产生的深度图进行后期处理，以确保查询图像中描绘的物体之间的深度转变是锐利的。由此，当查询RGB图像到达时，学习到的映射函数能够用于将其RGB像素值转换成深度像素值。根据物体的单个图像快照估计的深度图可以被用于测量这些物体的尺寸。这在受益于实时测量的运输和产品中得到应用。深度图可以与根据查询图像的头部信息获取的相机参数相结合，以计算物体上的点的三维(3D)坐标。这些点之间的测量到的距离对应于自然物体的物理尺寸的测量。这样的估计出的物体尺寸可以向运输应用提供，以促进一个或多个运输任务(例如针对将要运输的物品来选择合适的运输容器)。根据单个图像快照估计的深度图可以被用于创建可视化(例如3D飞行图像)，该可视化用于对物品查看页面中的电子商务库存进行增强浏览。深度图可以与根据查询图像的头部信息获取的相机参数相结合，以生成对查询图像中描绘的场景和场景中的物体进行建模的3D点云。可以向再现引擎提供该3D本文档来自技高网...

【技术保护点】
1.一种根据单个图像估计深度的方法，包括：访问参考数据库中的参考图像以及对应的参考深度图，第一参考图像对应于第一参考深度图，并且所述第一参考图像包括由至少三个颜色值定义的彩色像素，所述第一参考深度图包括与所述第一参考图像中的所述彩色像素相对应的深度值；根据所访问的参考图像以及所述参考图像的对应参考深度图来计算视觉描述符和对应的深度描述符；生成将计算出的视觉描述符与其计算出的对应的深度描述符进行相关的矩阵，由机器的处理器来执行所述矩阵的生成；接收描绘自然物品的表面的查询图像；根据接收到的查询图像计算视觉描述符；根据所生成的矩阵获取与计算出的视觉描述符相对应的深度描述符；基于与根据所述查询图像计算出的视觉描述符相对应的获取到的深度描述符来创建与所述查询图像相对应的深度图；将描绘所述表面的所述查询图像细分为超像素；通过基于所述超像素中的彩色像素的深度值的总和并且基于所述超像素中的彩色像素的深度值的基数修改由所述超像素中的超像素表示的平面的定向，来修改所述查询图像的所创建的深度图；以及基于已修改的深度图计算所述自然物品的尺寸集合。

【技术特征摘要】
2013.09.05 US 61/874,096;2014.05.27 US 14/288,2331.一种根据单个图像估计深度的方法，包括：访问参考数据库中的参考图像以及对应的参考深度图，第一参考图像对应于第一参考深度图，并且所述第一参考图像包括由至少三个颜色值定义的彩色像素，所述第一参考深度图包括与所述第一参考图像中的所述彩色像素相对应的深度值；根据所访问的参考图像以及所述参考图像的对应参考深度图来计算视觉描述符和对应的深度描述符；生成将计算出的视觉描述符与其计算出的对应的深度描述符进行相关的矩阵，由机器的处理器来执行所述矩阵的生成；接收描绘自然物品的表面的查询图像；根据接收到的查询图像计算视觉描述符；根据所生成的矩阵获取与计算出的视觉描述符相对应的深度描述符；基于与根据所述查询图像计算出的视觉描述符相对应的获取到的深度描述符来创建与所述查询图像相对应的深度图；将描绘所述表面的所述查询图像细分为超像素；通过基于所述超像素中的彩色像素的深度值的总和并且基于所述超像素中的彩色像素的深度值的基数修改由所述超像素中的超像素表示的平面的定向，来修改所述查询图像的所创建的深度图；以及基于已修改的深度图计算所述自然物品的尺寸集合。2.根据权利要求1所述的方法，其中：所述接收描绘自然物品的表面的查询图像包括：接收没有任何对应深度图的查询图像。3.根据权利要求1所述的方法，其中：所述参考图像和所述查询图像是只包含红-绿-蓝“RGB”值并缺少深度值的RGB图像。4.根据权利要求1所述的方法，其中：所述参考图像是参考RGB图像；并且对所述参考图像和对应的深度图的访问包括：访问所述参考数据库中的参考红-绿-蓝-深度“RGB-D”图像，每个参考RGB-D图像包括所述参考RGB图像中的一个及其对应的参考深度图。5.根据权利要求1所述的方法，其中：所述查询图像的接收对所述查询图像进行接收来作为仅根据所述查询图像来估计深度信息的请求的一部分；以及所述与所述查询图像相对应的深度图的创建响应于估计深度信息的请求。6.根据权利要求1所述的方法，其中：对所述与所述查询图像相对应的深度图的修改包括：将不变的深度值分配给所述查询图像中的所述超像素中的每个像素。7.根据权利要求1所述的方法，其中：对由所述查询图像中的超像素表示的平面的定向的修改根据于随机抽样一致“RANSAC”算法。8.根据权利要求1所述的方法，其中：与所述第一参考图像相对应的所述第一参考深度图是包括深度像素的第一参考深度图像，所述深度像素由所述深度值定义并与所述第一参考图像中的所述彩色像素相对应。9.根据权利要求1所述的方法，其中：所述查询图像包括相机信息；所述与所述查询图像相对应的深度图包括其表面描绘在所述查询图像中的自然物品的表面的三维表示，并且所述方法还包括基于所述查询图像中包括的所述相机信息且基于与描绘所述自然物品的所述查询图像相对应的深度图，生成所述自然物品的表面的三维模型。10.根据权利要求9所述的方法，还包括：向三维再现引擎提供生成的三维模型，以创建所述自然物品的表面的三维可视化。11.根据权利要求9所述的方法，其中：所述生成的三维模型是三维点云，所述三维点云中包括表示所述自然物品的表面的点；并且所述方法还包括：基于生成的三维点云来计算所述自然物品的表面的长度。12.根据权利要求11所述的方法，其中：在所述查询图像中描绘的所述自然物品是可运输自然物品；并且所述方法还包括向运输应用提供计算出的所述可运输自然物品的表面的长度。13.一种用于根据单个图像估计深度的系统，包括：一个或多个处理器；数据库训练器模块，被配置为：访问参考数据库中的参考图像以及对应的参考深度图，第一参考图像对应...

【专利技术属性】
技术研发人员：阿努拉格·巴德瓦耶，默罕默德·哈里斯·拜格，鲁宾逊·皮拉姆苏，维格里希·贾格迪希，邸韡，
申请(专利权)人：电子湾有限公司，
类型：发明
国别省市：美国,US