3D模型的集成制造技术

在各种示例实施方式中，公开了用于三维模型的集成的系统和方法。在一个示例实施方式中，一种方法包括：接收多个图像；选择图像上的点并对所述点进行三角测量以生成多个深度图；通过组合多个深度图来生成三维网格；通过将多个图像投影到使用所述点的网格上来生成物品的三维模型；使用图像中的颜色的颜色漫反射特性来校准在模型中使用的颜色；以及提供用户界面，该用于界面允许用户选择三维模型上的一个或更多个用户点并提供与所选择的用户点相关联的附加信息。

Integration of 3D models

In various exemplary embodiments, systems and methods for integration of 3D models are disclosed. In an example embodiment, a method includes: receiving a plurality of images; selecting a point on the image and triangulating the point to generate a plurality of depth maps; generating a three-dimensional mesh by combining a plurality of depth maps; generating a three-dimensional model of an article by projecting a plurality of images onto a mesh using the point; using the color diffuse property of the color in the image Calibrates the colors used in the model; and provides a user interface that allows the user to select one or more user points on the 3D model and provides additional information associated with the selected user points.

【技术实现步骤摘要】
【国外来华专利技术】3D模型的集成优先权该PCT申请要求2017年9月20日提交的题为“INTEGRATIONOF3DMODELS”的美国专利申请序列号第15/709,997号的申请日期的权益，并且该申请要求于2017年3月8日提交的题为“COMMERCIALINTEGRATIONOF3DMODELS”的美国临时申请第62/468,748号的权益，上述申请中的每个的全部内容通过引用并入本文。
本公开内容的实施方式涉及在处理流程中的数字三维(3D)模型的集成，并且更具体地但不作为限制，涉及在各种情况下的3D模型的使用。
技术介绍
传统上，当用户期望电子地描述或以其他方式记录物品时，用户提供物品的二维(2D)照片。在一些示例中，期望向另一用户描述物品的用户将物品的照片发布到网络服务器，使得另一用户可以通过从网络服务器检索照片来查看它们。此外，当其他用户分析该物品时，他们查看该物品的许多照片以确定该物品的条件或其他物理特性。然而，在许多情况下，由于2D相片的技术限制，另一用户不能够使用相片收集关于该物品的足够信息。在其他情况下，用户发布未能揭示关于该物品的某些问题(例如，划痕、变色、损坏、修改或其他非传统的改变)的不充分的图像。在其他示例中，用户不能或没有充分地描述与该物品相关联的特定缺陷。附图说明附图中的各个附图仅示出了本公开内容的示例实施方式，并且不能被认为是限制其范围。图1是示出了根据一些示例实施方式的系统的框图。图2是描绘了根据一个示例实施方式的3D集成系统的图示。>图3是描绘了根据另一示例实施方式的用于3D模型的用户界面的图示。图4是示出了根据一个示例实施方式的用于集成3D模型的方法的流程图。图5是示出了根据一个示例实施方式的用于集成3D模型的另一方法的流程图。图6是示出了根据另一示例实施方式的用于集成3D模型的方法的流程图。图7是示出了根据一个示例实施方式的用于集成3D模型的方法的流程图。图8是示出了根据一个示例实施方式的用于集成3D模型的另一方法的流程图。图9是示出了根据一些示例实施方式的可以安装在机器上的软件架构的示例的框图。图10示出了根据示例实施方式的计算机系统的形式的机器的图形表示，在该计算机系统中可以执行一组指令以使机器执行本文所讨论的方法中的任何一种或更多种。本文提供的标题仅仅是为了方便，并且不一定影响所使用的术语的范围或含义。具体实施方式以下的描述包括体现本公开内容的说明性实施方式的系统、方法、技术、指令序列和计算机器程序产品。在以下描述中，出于说明的目的，阐述了许多具体细节以便提供对本专利技术主题的各种实施方式的理解。然而，对于本领域技术人员来说将明显的是，可以在没有这些具体细节的情况下实践本专利技术主题的实施方式。通常，不一定详细示出了公知的指令实例、协议、结构和技术。在某些实施方式中，如本文所述的系统被特别地配置成从用户检索多个图像(例如，作为静止图像或视频)。在一个示例实施方式中，3D集成系统(图2：146)请求不同的视角的物品的20个或更多个图像。然后，3D集成系统146使用该图像生成物品的3D模型。在该示例中，因为3D模型是使用物品的实际图像生成的，所以3D模型准确地反映了物品的物理条件。在一个示例实施方式中，3D集成系统146使用图像组通过选择物品上的一些特定点来生成3D模型。在一个示例中，3D集成系统将图像分组为三组。然后，3D集成系统146使用图像组对特定点进行三角测量，并且生成针对每组图像的深度图。然后，3D集成系统146通过计算深度来组合深度图以创建3D网格并将每个图像投影到3D网格上。然后，3D集成系统146可以通过使用颜色的镜面反射特性及漫反射特性组合来自图像组的颜色来校准颜色。在其他示例实施方式中，3D集成系统146使用如本领域技术人员可以理解的具有最少三个位移的Kruppa方程。在其他示例中，3D集成系统146应用使用如本领域技术人员可以理解的投影重构、仿射重构或欧几里德重构的分层。在其他示例实施方式中，3D集成系统146应用已知的软件包以使用图像生成3D模型。可以被配置成生成3D模型的软件包的示例包括但不限于Sculpteo、Autodesk、3DSOM、Neitra3DPro、3-Sweep、AgisoftPhotoScan等。在一个示例实施方式中，物品是具有特定定制的汽车。示例可以包括扰流板、替代轮、原始涂料或其他修改。如本文所述，因为3D集成系统146生成汽车的3D模型，用户(例如，潜在购买者)可以使用模型以任何期望的角度查看汽车，而不受检索到的汽车图像中呈现的特定角度限制。在其他示例实施方式中，3D集成系统146将生成的3D模型上传到3D模型的数据库中。随着时间的推移，当许多3D模型被上传时，3D集成系统146然后可以使用3D模型作为物品的目录来执行。这样的物品的目录允许用户浏览多个物品并将类似的物品进行比较。3D集成系统146还可以生成多个3D模型的并排视图，并且可以在用户改变物品之一的视角时同步模型的位置、取向等。在一个示例实施方式中，例如，3D集成系统146请求用户的手的多个图像，生成用户的手的3D模型，并且将该模型与诸如手套的物品的模型进行比较。在该示例中，3D集成系统146使用手套的模型的尺寸与用户的手的模型的尺寸相比来确定手套是否适配用户的手。以这种方式，用户可以确定物品是否适配他/她的体形而无需物理地试用该物品。类似地，3D集成系统146可以确定鞋子是否适配用户的脚。此外，由于每个鞋子制造商的鞋子在尺寸上发生变化，因此无论设计如何，用户可以在购买鞋子之前更容易地确定鞋子是否适配他/她的脚。在其他示例中，3D集成系统146确定眼镜、帽子、衬衫、裤子、裙子、其他衣物等的适配。参照图1，示出了基于客户端服务器的高层级网络架构100的示例实施方式。网络系统102经由网络104(例如，因特网或广域网(WAN))向一个或更多个客户端设备110提供服务器侧功能。图1示出了例如，在客户端设备110上执行的网络客户端112(例如，浏览器例如由华盛顿州雷德蒙德的公司开发的因特网浏览器)、客户端应用114。客户端设备110可以包括但不限于移动电话、台式计算机、膝上型计算机、个人数字助理(PDA)、智能电话、平板电脑、超极本、上网本、膝上型计算机、多处理器系统、基于微处理器或可编程的消费电子产品、游戏控制台、机顶盒或者用户可以用来访问网络系统102的任何其他通信设备。在一些实施方式中，客户端设备110可以包括显示模块(未示出)以(例如，以用户界面的形式)显示信息。在进一步的实施方式中，客户端设备110可以包括触摸屏、加速度计、陀螺仪、相机、麦克风、全球定位系统(GPS)设备等中的一个或更多个。客户端设备110可以是用户用来执行涉及网络系统102内的数字物品的交易的设备。在一个实施方式中，网络系统102是下述基于网络的市场，其响应于对产品列表的请求、发布包括在基于网络的市场上可获得的产品的本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，包括：/n经由网络接口接收物品的多个二维图像；/n选择在所述图像中的两个或更多个图像中描绘的所述物品上的特定点；/n对所述特定点进行三角测量以生成多个深度图；/n通过组合所述多个深度图来生成三维网格；/n通过将所述多个图像投影到使用所述特定点的所述三维网格上来生成所述物品的三维模型；/n使用所述多个图像中的颜色的镜面反射特性及漫反射特性来校准在所述三维模型中使用的颜色；以及/n提供用户界面，所述用户界面允许用户选择所述三维模型上的一个或更多个用户点并提供与所选择的用户点相关联的附加信息。/n

【技术特征摘要】
【国外来华专利技术】20170308 US 62/468,748;20170920 US 15/709,9971.一种计算机实现的方法，包括：
经由网络接口接收物品的多个二维图像；
选择在所述图像中的两个或更多个图像中描绘的所述物品上的特定点；
对所述特定点进行三角测量以生成多个深度图；
通过组合所述多个深度图来生成三维网格；
通过将所述多个图像投影到使用所述特定点的所述三维网格上来生成所述物品的三维模型；
使用所述多个图像中的颜色的镜面反射特性及漫反射特性来校准在所述三维模型中使用的颜色；以及
提供用户界面，所述用户界面允许用户选择所述三维模型上的一个或更多个用户点并提供与所选择的用户点相关联的附加信息。


2.根据权利要求1所述的方法，还包括确定所述多个图像之一缺乏足够品质，以及检索所述物品的库存图像以替换缺乏足够品质的所述图像，其中，所述库存图像在校准颜色中不被使用。


3.根据权利要求1所述的方法，还包括确定所述多个图像没有描绘所述物品的特定角度，以及检索该角度的所述物品的库存图像以用来生成所述三维模型，其中，所述库存图像在校准颜色中不被使用。


4.根据权利要求1所述的方法，还包括呈现包括所生成的三维模型的多个三维模型，以及操纵所述多个三维模型中的每个以保持它们相对于正被所述用户修改的三维模型之一有类似的取向。


5.根据权利要求1所述的方法，还包括：
通过使用由所述物品的所述三维模型确定的所述物品的尺寸选择能够包围所述物品的能够获得的最小运输容器，来选择用于所述物品的运输容器；以及
通过提供包括所选择的运输容器的给运输承运商的指示来指导所述物品的运输。


6.根据权利要求5所述的计算机实现的方法，还包括：根据所述三维模型，根据所述运输容器内的未被所述物品占据的空间的量来指示要使用的填充材料的量。


7.根据权利要求1所述的计算机实现的方法，还包括：
接收用户的一部分的多个图像；
生成所述用户的所述一部分的三维模型；
在三维环境中将所述物品的三维模型与所述用户的所述一部分的三维模型组合；
通过在所述三维环境中操纵所述三维模型以确定所述用户的所述一部分是否适配所述物品内部，来确定所述物品是否适配所述用户的所述一部分；以及
通知所述用户所述物品是否适配所述用户的所述一部分。


8.根据权利要求1所述的计算机实现的方法，还包括：
检索所述物品的真实三维表示；
将所述物品的三维模型与类似物品的真实三维表示进行比较；以及
响应于所述物品的三维模型的尺寸与所述类似物品的真实三维表示的尺寸一致，指示所述物品的真实性。


9.一种系统，包括：
机器可读存储器，在所述机器可读存储器上存储有指令，所述指令当由处理器执行时使所述系统执行操作，所述操作包括：
经由网络接口接收物品的多个图像；
选择在所述图像中的两个或更多个图像中描绘的所述物品上的特定点；
对所述特定点进行三角测量以生成多个深度图；
通过组合所述多个深度图来生成三维网格；
通过将所述多个图像投影到使用所述特定点的所述三维网格上来生成所述物品的三维模型；
使用所述多个图像中的颜色的镜面反射特性和漫反射特性来校准在所述三维模型中使用的颜色；以及
提供用户界面，所述用户界面允许用户选择所述三维模型上的一个或更多个用户点并提供与所选择的用户点相关联的附加信息。


10.根据权利要求9所述的系统，其中，所述操作还包括在所述图像中的每个中围绕所述物品进行追踪以去除每个图像中的不描绘所述物品的一部分的像素。


11.根据权利要求9所述的系统，其中，所述操作还包括确定数据库是否包括类似物品的三维模型，以及响应于所述数据库不包括...

【专利技术属性】
技术研发人员：詹姆斯·托马斯·多德尔，王乔松，谢金融，鲁宾逊·皮拉穆图，
申请(专利权)人：电子湾有限公司，
类型：发明
国别省市：美国;US