基于光度测量的3D对象建模制造技术

本公开内容的各方面涉及一种用于执行包括以下的操作的系统和方法：访问描绘目标结构的源图像；访问描绘目标结构的至少一部分的一个或更多个目标图像；计算目标结构的第一部分的源图像中的第一组像素与目标结构的第一部分的一个或更多个目标图像中的第二组像素之间的对应关系，该对应关系是根据在源图像与一个或更多个目标图像之间变化的摄像装置参数计算的；以及基于对目标结构和摄像装置参数的联合优化，基于源图像中的第一组像素与一个或更多个目标图像中的第二组像素之间的对应关系，生成目标结构的三维(3D)模型。生成目标结构的三维(3D)模型。生成目标结构的三维(3D)模型。

【技术实现步骤摘要】
【国外来华专利技术】基于光度测量的3D对象建模
[0001]优先权要求
[0002]本申请要求于2020年4月28日提交的美国专利申请第16/861,034号的优先权，该美国专利申请整体通过引用并入本文。


[0003]本公开内容一般涉及三维(3D)几何重建，并且更特别地，涉及基于二维图像生成对象的3D模型。

技术介绍

[0004]对于诸如数字资产生成和文化保护的应用，根据2D图像离线重建3D几何形状是计算机视觉中的关键任务。通常，密集的几何形状是使用诸如多视图立体(MVS)算法的复杂的算法构建的。取得各种2D图像中存在的特征并分析这样的特征可以解析图像中描绘的对象的3D几何形状。
附图说明
[0005]在附图中，相同的附图标记可以在不同的视图中描述类似的部件，附图不一定按比例绘制。为了容易地识别对任何特定要素或动作的讨论，附图标记中的一个或多个最高有效数字是指该要素首次被介绍时的图号。在附图中以示例而非限制的方式示出了一些实施方式，在附图中：
[0006]图1是根据一些示例的其中可以布置本公开内容的联网环境的图解表示。
[0007]图2是根据一些示例的具有客户端侧和服务器端侧两者的功能的消息系统的图解表示。
[0008]图3是根据一些示例的在数据库中维护的数据结构的图解表示。
[0009]图4是根据一些示例的消息的图解表示。
[0010]图5是示出根据示例实施方式的增强系统的示例操作的流程图。
[0011]图6是根据一些示例的呈计算机系统形式的机器的图解表示，在该计算机系统内可以执行一组指令以使该机器执行本文所讨论的方法中任何一种或更多种。
[0012]图7是示出可以在其中实现示例的软件架构的框图。
具体实施方式
[0013]以下描述包括体现本公开内容的说明性实施方式的系统、方法、技术、指令序列及计算机器程序产品。在下面的描述中，出于说明的目的，阐述了许多具体细节以提供对各种实施方式的理解。然而，对于本领域技术人员而言将明显的是，可以在没有这些具体细节的情况下实践实施方式。一般地，公知的指令实例、协议、结构和技术不一定详细地被示出。
[0014]许多典型的方法可用于根据一个或更多个2D图像重建3D对象几何形状。这样的方法通过特征匹配或像素匹配图像中描绘的结构来操作。虽然这样的方法通常工作良好，但
是它们的基本假设限制了它们在大范围图像上的一般适用性，并且可能引起差的或不准确的对象建模。
[0015]例如，基于特征的SfM(来自运动的结构)方法和算法假设了固定的摄像装置参数，并且使在两个图像之间匹配的特征的几何误差最小化。具体地，这样的算法离线地操作，并且联合地优化结构和摄像装置参数。这样的算法利用三角化网格密集地对场景结构进行建模，这些三角化网格为了平滑而被正则化。使用纹理到图像的误差推断出纹理图，并且然后，基于纹理图来确定3D对象几何形状。推断纹理图显著地增加了由于纹理而产生的变量数量，以及由于网格和平滑正则化而产生的变量之间的相关性。因此，优化或者在不同组的变量(纹理、结构和摄像装置参数)上交替进行，或者使用简单的一阶梯度下降求解器。由于这些复杂性，这样的算法消耗了大量的系统资源，花费长时间才能实现结果，而且具有有限的适用性，并且不能广泛适用于包括实时图像处理的广泛的应用。一些MVS方法基于界标的深度和法线两者进行优化，但没有使用摄像装置参数联合优化，这导致了相对不准确或不完整的对象建模。
[0016]已知为视觉测距的另一种图像处理算法可以用于生成图像中描绘的对象的3D模型。这些算法使用结构来计算图像之间的对应关系，使图像间的误差最小化。在这样做时，这些算法避免了推断对象的纹理的复杂性。这样的算法用稀疏的、基于射线的界标对结构进行建模，但假设已知的和固定的摄像装置参数(摄像装置内部参数)，以避免优化透镜参数。虽然这提高了3D对象被建模的效率，但这些算法的适用性受到严重限制。
[0017]这些典型的方法还假设所有图像中的场景点的恒定亮度。这种假设在应用中也严重受限，并且导致差的对象建模，因为照明条件通常由于一天或一年中的时间或光源的移动而改变。这些照明条件可能使对象取决于图像何时、何处以及如何被捕获而在不同的图像中看起来不同。
[0018]所公开的实施方式通过应用光度测量方法来基于可变结构参数、摄像装置参数和透镜失真参数生成3D对象模型，提高了使用电子设备的准确度和功效。所公开的方法降低了生成3D对象模型的内存要求，并且在较大的问题上更可行。具体地，所公开的实施方式为高效优化问题提供了3D对象的准确表面模型。所公开的实施方式联合地优化结构参数和摄像装置参数二者，并在联合结构和摄像装置优化中优化每个界标的表面法线。所公开的实施方式还使用图像间误差优化透镜失真参数，以在比先前算法(例如，SfM和MVS方法)更高的准确度和更低的内存要求的情况下提供准确的3D对象模型。为了生成3D对象模型，所公开的实施方式定义了考虑到结构参数、摄像装置参数和透镜失真参数的优化问题。基于将源图像中的结构的一部分的像素与目标图像中的像素关联的成本函数来求解该优化问题。这显著地改进了如何基于2D图像对对象进行3D建模。特别地，这显著地改善了用户体验，减少了完成3D对象建模任务所需的资源量，并且提高了设备的整体功效和准确度。
[0019]在一个示例中，通过向源图像中的结构的一部分的像素应用用于捕获源图像的摄像装置的非失真参数或函数来确定结构的一部分的3D坐标。然后，通过对从3D坐标向用于捕获目标图像的摄像装置的位置绘制的线应用失真参数，使用3D坐标来识别目标图像中的该结构的一部分的对应像素。对像素值应用归一化，以考虑不同的照明条件，并且然后确定源图像和目标图像中的归一化像素之间的差。减小该差或使其最小化，以求解优化问题，以生成对象的3D模型。
[0020]联网计算环境
[0021]图1是示出用于通过网络来交换数据(例如消息和相关联的内容)的示例消息系统100的框图。消息系统100包括客户端设备102的多个实例，每个实例托管包括消息客户端104的多个应用。每个消息客户端104经由网络106(例如，因特网)通信上耦接至消息服务器系统108和消息客户端104的其他实例。
[0022]消息客户端104能够经由网络106与另一消息客户端104和消息服务器系统108通信并交换数据。在消息客户端104之间以及消息客户端104与消息服务器系统108之间交换的数据包括功能(例如，激活功能的命令)以及有效载荷数据(例如，文本、音频、视频或其他多媒体数据)。
[0023]消息服务器系统108经由网络106向特定消息客户端104提供服务器端功能。虽然消息系统100的某些功能在本文中被描述为由消息客户端104或由消息服务器系统108执行，但是某些功能的在消息客户端104或消息服务器系统108内的定位可以是设计选择。例如，在技术上优选的是：可以最初将某些技术和功能部署在消息服务器系统108内，但是后面将该技术和功能迁移至客户端设备1本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：访问描绘目标结构的源图像；访问描绘所述目标结构的至少一部分的一个或更多个目标图像；计算所述目标结构的第一部分的所述源图像中的第一组像素与所述目标结构的第一部分的所述一个或更多个目标图像中的第二组像素之间的对应关系，所述对应关系是根据在所述源图像与所述一个或更多个目标图像之间变化的摄像装置参数来计算的；以及基于对目标结构和摄像装置参数的联合优化，基于所述源图像中的所述第一组像素与所述一个或更多个目标图像中的所述第二组像素之间的对应关系，生成所述目标结构的三维(3D)模型。2.根据权利要求1所述的方法，其中，所述对应关系还根据所述目标结构来计算，并且其中，计算所述对应关系包括：识别与所述第一组像素对应的所述目标结构的第一部分的3D坐标；通过应用与所述源图像相关联的第一组摄像装置参数，从所述第一组像素向所述3D坐标投影第一线；通过应用与所述一个或更多个目标图像相关联的第二组摄像装置参数，从所述3D坐标向所述第二组像素投影第二线；以及计算所述第一组像素中的每个像素与所述第二组像素中的每个像素之间的差。3.根据权利要求1至2中任一项所述的方法，还包括：根据所述第二组摄像装置参数和所述3D坐标来识别所述第二组像素；以及基于所述对应关系减小光度测量误差，以生成3D模型。4.根据权利要求1至3中任一项所述的方法，还包括：基于所述第一组摄像装置参数，将所述第一组像素去失真，以投影所述第一线；以及对所述第二线应用失真以将所述第二线投影到所述第二组像素。5.根据权利要求1至4中任一项所述的方法，还包括：对所述第一组像素和所述第二组像素进行归一化。6.根据权利要求1至5中任一项所述的方法，还包括：计算所计算的差的平方和。7.根据权利要求1至6中任一项所述的方法，还包括：计算所述源图像中的像素与所述目标结构上的3D点之间的像素到3D坐标的对应关系；以及计算所述目标结构上的所述3D点与所述一个或更多个目标图像中的像素之间的3D坐标到像素的对应关系。8.根据权利要求1至7中任一项所述的方法，其中，所述摄像装置参数包括旋转参数、平移参数、传感器参数、透镜去失真参数和透镜失真参数。9.根据权利要求1至8中任一项所述的方法，还包括：定义包括多个结构参数和所述摄像装置参数的优化问题，所述优化问题是照明不变和表面法线不变的；以及使用基于所计算的对应关系的成本函数来求解所述优化问题，以生成所述3D模型。10.根据权利要求9所述的方法，其中，求解所述优化问题包括：将摄像装置参数更新与结构参数更新解耦，以减少存储的数据量。
11.根据权利要求1至10中任一项所述的方法，其中，所述源图像和所述一个或更多个目标图像是在来自客户端设备上的摄像装置的摄像装置馈送中实时接收到的，所述方法还包括：基于所述3D模型，对所述摄像装置馈送应用一个或更多个增强现实元素。12.根据权利要求1至11中任一项所述的方法，其中，所述源图像和所述一个或更多个目标图像是先前捕获的，并且在服务器上被离线处理。13.根据权利...

【专利技术属性】
技术研发人员：奥利弗，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：