根据图像的自动化纹理映射和动画绘制制造技术

根据图像的自动化纹理映射和动画绘制。一种用于生成用于现实世界对象的3D模型的纹理图的系统，包括：照相机和照相机的视野中的反射面。反射面被放置以向照相机反射目标对象的一个或多个反射视图。照相机捕获目标对象的直接图像和来自于反射面的反射图像。图像处理器设备通过检测反射视图中的失真来将所捕获的图像中的目标对象的反射视图/图像与直接图像分离。图像处理器减小反射视图中的失真，并且基于目标对象的3D空间特性并且基于反射视图来生成纹理图。减小反射视图中的失真可以包括对反射视图进行缩放以与照相机的视野中的目标对象的尺寸相对应。

【技术实现步骤摘要】

本专利技术的
涉及根据目标对象的照片来生成用于物理对象的3D模型表示的纹理图。
技术介绍
许多消费品具有相对简单的形状，这些相对简单的形状可以被分成有限数量的可能的通用形状，诸如，盒子和圆柱体。给定通用形状的消费品，则可以利用相应的尺寸、形状和外观来生成该产品或对象的数字表示。特别地，通过下列各项来生成数字表示:(i)对由主题通用形状所形成的3D模型的一个或两个维度进行缩放，以及(ii)将消费品的外表面的图像应用到3D模型的表面上。在申请人的美国专利N0.8，570，343中公开了一种用于根据对象的校准的2D图像来生成这样的3D模型的自动化方法。与消费品的一般尺寸和形状不同，对于每一个个体产品来说，产品的纹理和外观通常是独特的，以足以将该个体产品与任何其它产品区分开。为了生成产品的准确的数字表示，必须捕获该产品的纹理并且应用到相应的3D模型，该过程被称为纹理映射。通常，为了生成对象(产品)的纹理图，从不同的角度来捕获对象的图像，并且随后被拼接在一起以形成2D纹理图，所述2D纹理图具有与相应的3D模型的表面匹配的形状。假定消费用商品的多个零售商具有计数超过一百万的独特产品，则生成它们的库存的数字表示涉及针对每一个产品来获得并且生成纹理图，这是一项有潜力成为极端劳动密集型的任务。存在针对以低成本和高容量来获得现实世界对象(例如，产品)的纹理图，并且将该纹理图表达为数字形式，作为该对象的3D表示的需求。
技术实现思路
本专利技术的实施例提供了用于根据对象的图像来生成用于对象的3D模型的纹理图的方法和装置。所纹理映射的3D模型可以使得内容生成能够用于3D交互式体验和3D交互式模拟，包括但不限于，在线购物/观看和视频游戏。本专利技术的示例性实施例是一种方法，其包括:捕获用于观看目标对象的视野的图像。所捕获的图像具有:(i)目标对象的直视图，以及(ii)从至少一个反射面产生目标对象的一个或多个反射视图的至少一个反射。所捕获的图像中的直视图被称为目标对象的直接图像，以及反射视图被称为目标对象的反射图像。该方法还包括:将所捕获的图像中的目标对象的反射图像与直接图像分离，减小反射图像中的失真以提供至少一个失真减小的反射图像，根据目标对象的直接图像和目标对象的失真减小的反射图像来生成至少一个纹理图，以及将纹理图投影到表示目标对象的3D模型上。减小反射图像中的失真可以包括下列各项中的至少一项:按照目标对象的尺寸对反射图像进行缩放，校正反射图像中的透视失真，以及基于至少一个反射面(在目标对象的视野中)的位置和目标对象的形状来对反射图像进行整形。该方法还可以包括:随着目标对象从第一位置移动到第二位置，捕获目标对象的(或许不同视野中的)多个图像，以及根据多个图像来生成多个纹理图。在一些实施例中，该方法还包括:检测目标对象的直接图像和反射图像之间的、以及第一反射图像和第二反射图像之间的重叠。在一些实施例中，该方法还包括:从所捕获的图像中去除所检测到的重叠。在另一个实施例中，该方法包括:检测目标对象的运动，使所检测到的目标对象的运动与3D模型相关以生成3D模型的相应的运动，以及基于3D模型的相应的运动来从相应的第一位置到相应的第二位置动画绘制3D模型。在一些实施例中，分离所捕获的图像中的目标对象的反射图像包括:检测所捕获的图像中的失真区域，以及将所检测到的区域标记为目标对象的反射图像。 在一个实施例中，反射面包括第一反射面和第二反射面，以及相应的目标对象的第一反射视图和第二反射视图。反射图像包括第一反射视图的图像(被称为第一反射图像)和第二反射视图的图像(被称为第二反射图像)。在一些实施例中，目标对象的第一反射视图和第二反射视图以及直视图观测目标对象的周围的至少一部分。在另一个实施例中，反射面包括第一反射面、第二反射面和第三反射面。至少一个反射包括来自于第一反射面的目标对象的第一反射视图、来自于第二反射面的目标对象的第二反射视图和来自于第三反射面的目标对象的第三反射视图。反射图像包括第一反射视图、第二反射视图和第三反射视图各自的第一反射图像、第二反射图像和第三反射图像。在一些实施例中，目标对象的第一反射视图和第二反射视图以及直视图观测目标对象的周围的至少一部分，同时第三反射视图对目标对象的顶面或者底面进行成像。另一个示例性实施例是一种用于利用单个图像来生成用于由目标对象产生的3D模型的纹理图的系统。该系统包括:照相机(其具有视野)、照相机的视野中的一个或多个反射面、以及图像处理设备。一个或多个反射面被放置以向照相机反射目标对象的一个或多个反射图像。照相机捕获具有下列各项的单个图像:⑴目标对象的直接图像，以及(ii)目标对象的反射图像。图像处理设备对所捕获的图像中的目标对象的一个或多个反射图像进行分离，减小一个或多个反射图像中的失真，以及基于目标对象的形状、直接图像和减小失真的一个或多个反射图像来生成纹理图。减小一个或多个反射图像中的失真可以包括:对反射图像进行缩放以与视野中的目标对象的尺寸相对应。图像处理可以从直接图像中去除失真。将所捕获的图像中的目标对象的一个或多个反射图像与直接图像分离可以包括:检测所捕获的图像中的一个或多个失真区域，以及将所检测到的区域标记为目标对象的反射图像。在一个实施例中，图像处理设备检测直接图像和反射图像中的任何图像之间的重叠，并且从所捕获的图像中去除所检测到的重叠。在一些实施例中，随着目标对象从第一位置移动到第二位置，照相机生成视野的多个捕获的图像，以及图像处理设备根据多个图像来生成多个纹理图。在一些实施例中，图像处理设备检测目标对象的运动，使所检测到的目标对象的运动与3D模型相关以生成3D模型的相应的运动，以及基于3D模型的相应的运动来从相应的第一位置到相应的第二位置动画绘制3D模型。【附图说明】如在附图中所示出的，根据下面对本专利技术的示例实施例的更具体的描述，前述内容将是显而易见的，在附图中，贯穿不同的视图，相同的附图标记指代相同的部件。这些图不必依比例进行绘制，而是将重点放在说明本专利技术的实施例上。图1是示出了根据所公开的实施例的方面的本专利技术的三反射镜图像捕获系统的示意图。图2是示出了根据所公开的实施例的方面具有挡板的图像捕获系统的示意图。图3A-3B是根据所公开的实施例的方面的对象和由三反射镜图像捕获系统产生的图像捕获的图示。图4A-4B是根据所公开的实施例的方面对图3B的所捕获的图像中的梯形畸变进行检测和去除的图示。图5A-5B是根据所公开的实施例的方面使用反射镜的尺寸和位置来对反射的图像片段进行缩放的图示。图6A-6B是根据所公开的实施例的方面按照对象的尺寸来对反射的片段进行缩放的图示。图7A-7B是根据所公开的实施例的方面对反射的图像片段进行缩放和对准的图不O图8A、8C和8D是根据所公开的实施例的方面的目标对象上的共同区域的两个反射的图示。图8B是两个反射镜以及它们的交叉线的示意图。图9A-9C是根据所公开的实施例的方面对重叠消除以生成共同表面的图示。图1OA是根据所公开的实施例的方面包括图7B的所缩放的和所对准的反射片段以及图9C的合并的共同表面的图像的图示。图1OB是根据所公开的实施例的方面、根据图1OA的图像所生成的纹理图的图示。图1lA是根据所公开的实施例的方面的圆本文档来自技高网...

【技术保护点】
一种方法，包括：捕获视野的图像，所述视野具有目标对象的直视图和来自于至少一个反射面的所述目标对象的至少一个反射视图，所捕获的图像具有所述目标对象的所述直视图的直接图像和所述至少一个反射视图的至少一个反射图像；将所捕获的图像中的所述至少一个反射图像与所述直接图像分离；减小所分离的反射图像中的失真以提供至少一个失真减小的反射图像；根据所述直接图像和所述至少一个失真减小的反射图像来生成纹理图；以及将所生成的纹理图投影到所述目标对象的3D模型表示上。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：JJ·格里莫，
申请(专利权)人：达索系统公司，
类型：发明
国别省市：法国;FR