基于多个模型显示对象制造技术

提供了一种系统和方法，用于显示来自与捕获对象的图像(210、220)的有利点不同的有利点(230)的对象(240)的表面。在一些方面中，可以通过组合来自多个源图像(215、225)的视觉特性并且相对于其他源图像将更大的权重应用于一些源图像的视觉特性来生成图像(710)用于显示。权重可以基于表面(310)相对于捕获图像的位置(320)的取向和将显示对象的位置(430)。

【技术实现步骤摘要】
【国外来华专利技术】基于多个模型显示对象相关申请的相交引用本申请是于2015年10月7日提交的美国专利申请No.14/877,368的继续申请，其公开内容通过引用结合于此。
技术介绍
对象的某些全景图像关联于与捕获图像的地理位置和取向有关的信息。例如，图像的每个像素可以与识别捕获图像的地理位置到对象(如果有的话)的表面(其外观由像素的视觉特性表示)的部分的角度的数据相关联。每个像素还可以与深度数据相关联，深度数据识别从捕获位置到由像素表示的表面的部分的距离。基于深度数据可以生成出现在图像中的表面的位置的三维模型。模型可以包括其顶点与表面位置相对应的多边形。通过使用光线追踪将全景图像的视觉特性投影到模型上可以使多边形具有纹理。用户可以选择可以将模型显示给用户的有利点。
技术实现思路
本公开的方面提供了一种系统，该系统包括一个或多个处理器、存储器，该存储器存储对象的表面相对于有利点的取向和视觉特性的模型以及可由该一个或多个处理器执行的指令。视觉特性可以包括表示来自第一有利点的表面的外观的第一组视觉特性和表示来自第二有利点的表面的外观的第二组视觉特性。指令可以包括：从与第一有利点和第二有利点不同的所请求的有利点接收对对象的图像的请求；识别来自第一组视觉特性的第一视觉特性和来自第二组视觉特性的第二视觉特性；基于表面相对于所请求的有利点和第一有利点的取向来确定第一视觉特性的第一权重值；基于表面相对于所请求的有利点和第二有利点的取向来确定第二视觉特性的第二权重值；基于第一和第二视觉特性以及第一和第二权重值确定所请求的图像的视觉特性；并提供所请求的图像。本公开的方面还提供一种提供用于显示的图像的方法。该方法可以包括：从所请求的有利点接收对对象的图像的请求；访问对象的表面相对于有利点的取向和视觉特性的模型，其中视觉特性包括表示来自第一有利点的表面的外观的第一组视觉特性和表示来自第二有利点的表面的外观的第二组视觉特性，第一和第二有利点与所请求的有利点不同；识别来自第一组视觉特性的第一视觉特性和来自第二组视觉特性的第二视觉特性；基于表面相对于所请求的有利点和第一有利点的取向确定第一视觉特性的第一权重值；基于表面相对于所请求的有利点和第二有利点的取向确定第二视觉特性的第二权重值；基于第一和第二视觉特性以及第一和第二权重值确定所请求的图像的视觉特性；并提供所请求的图像以供显示。本公开的方面还提供了在其上存储程序的计算设备可读指令的非暂时性计算设备可读存储介质。指令在由一个或多个计算设备执行时可以使一个或多个计算设备执行方法，所述方法包括：从请求的有利点接收对对象的图像的请求；访问对象的表面相对于有利点的取向和视觉特性的模型，其中视觉特性包括表示来自第一有利点的表面的外观的第一组视觉特性以及表示来自第二视觉特性的表面的外观的第二组视觉特性，并且其中第一和第二有利点与所请求的有利点不同；识别来自第一组视觉特性的第一视觉特性和来自第二组视觉特性的第二视觉特性；基于表面相对于所请求的有利点和第一有利点的取向确定第一视觉特性的第一权重值；基于表面相对于所请求的有利点和第二有利点的取向确定第二视觉特性的第二权重值；基于第一和第二视觉特性以及第一和第二权重值确定所请求的图像的视觉特性；并提供所请求的图像以供显示。附图说明图1是根据本公开的方面的系统的功能图。图2是对象相对于可捕获和显示对象的有利点的图。图3是基于有利点和表面的取向生成的椭圆的图。图4是纹素椭圆和像素椭圆的图。图5是遮挡表面相对于可捕获和显示对象的有利点的图。图6是外部表面相对于可捕获和显示对象的有利点的图。图7是可以向用户显示的图像的示例。图8是根据本公开的方面的示例流程图。具体实施方式概述本技术涉及从与捕获对象的图像的有利点不同的有利点显示对象。例如，两个或更多个全景图像可以从两个不同的有利点捕获对象，并且用户可以从两个捕获点之间的位置请求对象的图像。系统可以通过将图像的相应片段与该片段是对象的相应表面的视觉准确表示的似然性成比例地一起混合来生成用户请求的图像。举例来说，当生成用户请求的图像时，系统可以基于捕获位置和用户请求的点与要显示的对象的表面的取向的关系来计算质量值。当片段被混合时，可以将更多的权重应用于具有比其它片段更好的质量值的片段。作为说明，图2示出了捕获汽车的两个源图像的两个不同的有利点。在该示例中，捕获汽车的前方的角度在第一源图像中是相对正交的，而在第二源图像中是相对尖锐的。相反，捕获汽车的侧面的角度在第一图像中是相对尖锐的，而在第二图像中是相对正交的。该图还示出了用户选择观看汽车的有利点。为了从用户选择的有利点显示对象，系统可以生成在每个源图像中捕获的所有表面的三维(3D)模型。例如，激光测距仪可以已经被用来准备深度图，而这个图又被用来准备源模型，源模型包括多边形网格，其顶点与沿着对象表面的点的位置相对应。与每个源图像相关联的源模型也可以识别捕获点相对于模型的位置，并且系统可以使用该位置以将源图像中捕获的视觉信息投影到模型上。与一个源图像相关联的3D模型可以与相对于表面位置的与另一个源图像相关联的3D模型基本相同，但是投影到模型上的纹理的视觉特性可以根据捕获表面的角度而不同。当确定要向用户显示的图像的像素的视觉特性时，系统可以使用光线追踪以及用户请求的有利点的位置来识别延伸穿过每个显示的像素的光线与模型的纹理(例如，纹素)相交的位置。系统可以将来自不同源图像的纹素混合在一起以确定所显示的像素的视觉特性(例如，色调、饱和度和亮度)。当来自源图像的模型的纹素被混合在一起时，可以向来自一个源图像的纹素应用超过来自另一个源图像的纹素的更大权重。权重可以基于质量值，该质量值反映了纹素是要被显示的对象的视觉特性的准确表示的似然性。在至少一个方面中，质量值可以取决于所显示的像素的分辨率相对于纹素的分辨率。例如，当每个显示的像素存在单个纹素时，可以定义发生最佳质量。相反地，当存在与单个像素相关联的许多纹素时(在直接捕获表面的纹理但以掠射角度观看时，可能发生)，或者存在与单个像素关联的许多像素时(如果表面的纹理以掠射角度捕获但直接观看，则可能发生)，可以定义发生低质量。纹素的质量值可以基于用户定义和捕获有利点相对于要显示的表面的取向的位置来计算。作为说明，图3示出了两个点的位置：有利点和将向用户显示的模型表面上的点。该图还示出了表示锥体和平面相交的椭圆。该平面反映了表面相对于有利点的取向，例如由包含纹素的源模型多边形的顶点所定义的平面。锥体以从有利点延伸到表面点(“有利/表面线”)的线为中心。椭圆伸展的程度与表面的取向和从有利点观看表面的角度有关。如果有利/表面线完美正交于表面的取向，则椭圆将是圆。当有利/有面线的立体角相对于表面的取向变得更尖锐时，椭圆将变得更拉伸，并且椭圆的长轴相对于短轴的比率将增加。可以基于在与捕获点相关联的椭圆(“纹素椭圆”)和与用户请求的有利点(“像素椭圆”)相关联的椭圆之间的差来确定纹素的质量值。图4提供了纹素椭圆和像素椭圆的示例。质量值可以根据像素椭圆的半径相对于在两个半径之间产生最大长度差的角度处的纹理椭圆的半径的比率来计算。一旦已经为每个纹素计算了质量值，就可以将质量值应用为在混合期间的权重。例如，如果使用三个源图像来识别三个纹素T1、T2和T3，则输本文档来自技高网...

【技术保护点】
一种系统，包括：一个或多个处理器，存储器，所述存储器存储对象的表面相对于有利点的取向和视觉特性的模型，其中所述视觉特性包括表示来自第一有利点的表面的外观的第一组视觉特性以及表示来自第二有利点的表面的外观的第二组视觉特性，以及指令，所述指令可由所述一个或多个处理器执行，包括：从与所述第一有利点和所述第二有利点不同的所请求的有利点接收对所述对象的图像的请求；从所述第一组视觉特性中识别第一视觉特性，并且从所述第二组视觉特性中识别第二视觉特性，基于所述表面相对于所请求的有利点和所述第一有利点的取向，确定所述第一视觉特性的第一权重值，基于所述表面相对于所请求的有利点和所述第二有利点的取向，确定所述第二视觉特性的第二权重值，基于所述第一视觉特性和所述第二视觉特性以及所述第一权重值和所述第二权重值，确定所请求的图像的视觉特性；以及提供所请求的图像。

【技术特征摘要】
【国外来华专利技术】2015.10.07 US 14/877,3681.一种系统，包括：一个或多个处理器，存储器，所述存储器存储对象的表面相对于有利点的取向和视觉特性的模型，其中所述视觉特性包括表示来自第一有利点的表面的外观的第一组视觉特性以及表示来自第二有利点的表面的外观的第二组视觉特性，以及指令，所述指令可由所述一个或多个处理器执行，包括：从与所述第一有利点和所述第二有利点不同的所请求的有利点接收对所述对象的图像的请求；从所述第一组视觉特性中识别第一视觉特性，并且从所述第二组视觉特性中识别第二视觉特性，基于所述表面相对于所请求的有利点和所述第一有利点的取向，确定所述第一视觉特性的第一权重值，基于所述表面相对于所请求的有利点和所述第二有利点的取向，确定所述第二视觉特性的第二权重值，基于所述第一视觉特性和所述第二视觉特性以及所述第一权重值和所述第二权重值，确定所请求的图像的视觉特性；以及提供所请求的图像。2.根据权利要求1所述的系统，其中从用户接收所述请求并且提供所请求的图像包括：向所述用户显示所请求的图像。3.根据权利要求1所述的系统，其中确定所请求的图像的视觉特性包括：确定比所述第二特性更类似于所述第一特性的视觉特性，并且相似度基于所述第一权重值相对于所述第二权重值。4.根据权利要求3所述的系统，其中：存储在所述存储器中的所述模型包括第一模型和第二模型；所述第一组视觉特性是通过将从所述第一有利点捕获的图像数据投影到所述第一模型上而生成的纹素；以及所述第二组视觉特性是通过将从所述第二有利点捕获的图像数据投影到所述第二模型上而生成的纹素。5.根据权利要求1所述的系统，其中所述视觉特性与颜色相关联，并且其中确定所请求的图像的视觉特性包括：通过与所述第一权重值相对于所述第二权重值成比例地将与所述第一视觉特性相关联的颜色和与所述第二视觉特性相关联的颜色进行阿尔法混合来确定颜色。6.根据权利要求1所述的系统，其中所述表面的取向限定平面，并且：所述指令还包括选择所述平面上的点；确定第一权重值包括：基于在所述平面与从所述第一有利点延伸到所选点的线之间的立体角以及所述平面与从所请求的有利点延伸到所选点的线之间的立体角的关系来确定值；以及确定第二权重值包括：基于在所述平面与从所述第二有利点延伸到所选点的线之间的立体角以及所述平面与从所请求的有利点延伸到所选点的线之间的立体角的关系来确定值。7.根据权利要求6所述的系统，其中所述指令还包括：选择所请求的图像的像素并且确定与所选像素相关联的方向，并且其中：选择所述平面上的点包括：选择与所述像素相关联的方向与所述平面相交的点；和确定所请求的图像的视觉特性包括：确定所选像素的视觉特性。8.根据权利要求6所述的系统，其中确定第一权重值包括：基于第一椭圆的半径和所述第二椭圆的对应半径来确定值，其中所述第一椭圆是由所述平面与围绕从所述第一有利点延伸到所选点的所述线为中心的锥体的相交来限定，并且其中所述第二椭圆是由所述平面与围绕从所请求的有利点延伸到所选点的所述线为中心的锥体的相交来限定。9.根据权利要求8所述的系统，其中确定第一权重值还包括：基于在所选角度下所述第一椭圆半径的估计相对于所述第二椭圆半径的估计来确定比率。10.一种提供图像以用于显示的方法，包括：从所请求的有利点接收对对象的图像的请求；访问所述对象的表面相对于有利点的取向和视觉特性的模型，其中所述视觉特性包括表示来自第一有利点的表面的外观的第一组视觉特性和表示来自第二有利点的表面的外观的第二组视觉特性，并且其中所述第一有利点和所述第二有利点与所请求的有利点不同；从所述第一组视觉特性中识别第一视觉特性，并且从所述第二组视觉特性中识别第二视觉特性...

【专利技术属性】
技术研发人员：雅纳·马蒂亚斯·孔特卡宁，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US