采用使用神经网络从二维图像预测的三维数据以用于3D建模应用制造技术

所公开的主题涉及采用机器学习模型，所述机器学习模型被配置为使用深度学习技术来从2D图像预测3D数据以导出所述2D图像的3D数据。在一些实施例中，描述了一种系统，所述系统包括存储计算机可执行部件的存储器，以及执行存储在所述存储器中的所述计算机可执行部件的处理器。所述计算机可执行部件包括：接收部件，所述接收部件被配置为接收二维图像；以及三维数据导出部件，所述三维数据导出部件被配置为采用一个或多个三维数据自二维数据(3D自2D)神经网络模型以导出所述二维图像的三维数据。

【技术实现步骤摘要】
【国外来华专利技术】采用使用神经网络从二维图像预测的三维数据以用于3D建模应用
本申请整体涉及用于采用三维(3D)数据以用于3D建模应用和其他应用的技术，该三维数据是使用神经网络从二维(2D)图像预测的。
技术介绍
交互式、第一人称3D沉浸式环境变得越来越流行。在这些环境中，用户能够在虚拟空间中巡览。这些环境的示例包括第一人称视频游戏和用于可视化地形的3D模型的工具。空中导航工具允许用户从空中视点虚拟地探索三维城市区。全景导航工具(例如，街道视图)允许用户查看环境的多个360度(360°)全景图，并且通过视觉混合插值在这些多个全景图之间导航。此类交互式3D沉浸式环境可基于从真实环境捕获的照片级2D图像，利用相应2D图像的3D深度信息根据真实世界环境生成。虽然针对2D图像捕获3D深度的方法已经存在了十多年，但此类方法传统上昂贵且需要复杂的3D捕获硬件，诸如光检测和测距(LiDAR)设备、激光测距仪设备、渡越时间传感器设备、结构化光传感器设备、光场相机等。此外，当前对准软件在功能和易用性方面仍然受到限制。例如，现有对准方法诸如迭代最近点算法(ICP)要求用户手动输入初始粗略对准。这种手动输入通常超出大多数非技术用户的能力，并抑制已捕获图像的实时对准。因此，高度需要用于使用可负担的、用户友好的设备来生成2D图像的3D数据的技术，以及用于使用该3D数据来准确且有效地对准2D图像以生成沉浸式3D环境的技术。附图说明图1呈现了根据本文描述的各个方面和实施例的示例性系统，该示例性系统促成从2D图像数据导出3D数据并且基于3D数据和2D图像数据两者来生成重建3D模型。图2呈现了根据本文描述的各个方面和实施例的可基于从2D图像数据导出的3D数据来生成的重建环境的示例性图示。图3呈现了根据本文描述的各个方面和实施例的可基于从2D图像数据导出的3D数据来生成的另一个示例性重建环境。图4呈现了根据本文描述的各个方面和实施例的可基于从2D图像数据导出的3D数据来生成的另一个示例性重建环境。图5呈现了根据本文描述的各个方面和实施例的另一个示例性系统，该示例性系统促成从2D图像数据导出3D数据并且基于3D数据和2D图像数据两者来生成重建3D模型。图6呈现了根据本文描述的各个方面和实施例的用于从全景2D图像数据导出3D数据的示例性计算机实现方法。图7呈现了根据本文描述的各个方面和实施例的用于从全景2D图像数据导出3D数据的示例性计算机实现方法。图8呈现了根据本文描述的各个方面和实施例的另一个示例性系统，该示例性系统促成从2D图像数据导出3D数据并且基于3D数据和2D图像数据两者来生成重建3D模型。图9呈现了根据本文描述的各个方面和实施例的示例性辅助数据部件，该辅助数据部件促成采用与已捕获2D图像数据有关的辅助数据以促成从已捕获2D图像数据导出3D数据并且基于3D数据和已捕获2D图像数据来生成重建3D模型。图10呈现了根据本文描述的各个方面和实施例的示例性计算机实现方法，该计算机实现方法用于采用与已捕获2D图像数据有关的辅助数据以促成从已捕获2D图像数据导出3D数据。图11呈现了根据本文描述的各个方面和实施例的示例性计算机实现方法，该计算机实现方法用于采用与已捕获2D图像数据有关的辅助数据以促成从已捕获2D图像数据导出3D数据。图12呈现了根据本文描述的各个方面和实施例的示例性计算机实现方法，该计算机实现方法用于采用与已捕获2D图像数据有关的辅助数据以促成从已捕获2D图像数据导出3D数据。图13呈现了根据本文描述的各个方面和实施例的另一个示例性系统，该示例性系统促成从2D图像数据导出3D数据并且基于3D数据和2D图像数据两者来生成重建3D模型。图14至图25呈现了根据本文描述的各个方面和实施例的促成捕获对象或环境的2D图像并且使用一种或多种3D自2D技术来从图像导出3D/深度数据的示例性设备和/或系统。图26呈现了根据本文描述的各个方面和实施例的促成捕获2D图像数据并且从2D图像数据导出3D数据的示例性计算机实现方法。图27呈现了根据本文描述的各个方面和实施例的促成捕获2D图像数据并且根据本文描述的各个方面和实施例从2D图像数据导出3D数据的另一个示例性计算机实现方法。图28呈现了根据本文描述的各个方面和实施例的促成捕获2D图像数据并且从2D图像数据导出3D数据的另一个示例性计算机实现方法。图29呈现了根据本文描述的各个方面和实施例的促成捕获2D图像数据并且从2D图像数据导出3D数据的另一个示例性计算机实现方法。图30呈现了根据本文描述的各个方面和实施例的促成使用一种或多种3D自2D技术来与增强现实(AR)应用相关联的示例性系统。图31呈现了根据本文描述的各个方面和实施例的用于使用一种或多种3D自2D技术来与AR应用相关联的示例性计算机实现方法。图32呈现了根据本文描述的各个方面和实施例的采用与对象跟踪、实时导航和基于3D特征的安全应用相关联的一种或多种3D自2D技术的示例性计算设备。图33呈现了根据本文描述的各个方面和实施例的用于开发和训练2D自3D模型的示例性系统。图34呈现了根据本文描述的各个方面和实施例的用于开发和训练2D自3D模型的示例性计算机实现方法。图35是示出根据各个方面和实施例的合适操作环境的示意性框图。图36是根据各个方面和实施例的样本计算环境的示意性框图。具体实施方式通过介绍，本公开涉及提供用于使用一种或多种机器学习模型来从2D图像导出3D数据并将3D数据用于3D建模应用和其他应用的技术的系统、方法、装置和计算机可读介质。用于使用机器学习(在本文中称为“自2D预测3D”或简称“3D自2D”)从单个2D(彩色或灰度)预测3D数据(例如，图像像素的深度数据或相对3D位置)的各种技术已经被开发并且最近受到越来越多的关注。在过去的十年中，研究界已做出巨大的努力来改善单眼深度学习的性能，并且由于深度神经网络的迅速发展和进步已经取得了显著的准确性。所公开的主题涉及采用一种或多种机器学习模型，该机器学习模型被配置为使用深度学习技术(包括一个或多个神经网络模型)来从2D图像预测3D数据以导出2D的3D数据。在各种实施例中，预测的深度数据可用于生成在2D图像数据中捕获的环境的3D模型。其他应用程序包括采用预测的深度数据来促成增强现实应用、实时对象跟踪、环境的实时导航、基于用户面部的生物特征认证应用等。结合所公开的技术描述的各种元件可体现在计算机实现的系统或设备和/或不同的形式，诸如计算机实现方法、计算机程序产品或另一种形式(反之亦然)。在一个实施例中，提供了一种用于使用全景图像数据以使用3D自2D来生成准确深度预测的方法。所述方法可包括由包括处理器的系统接收全景图像，以及由系统采用3D自2D卷积神经网络模型以从全景图像导出3D数据，其中3D自2D卷积神经网络模型采用全景图像投影在2D平面上时环绕全景图像的卷积层以便促成导出三维本文档来自技高网...

【技术保护点】
1.一种系统，包括：/n存储器，所述存储器存储计算机可执行部件；以及/n处理器，所述处理器执行存储在所述存储器中的所述计算机可执行部件，其中所述计算机可执行部件包括：/n接收部件，所述接收部件被配置为接收二维图像；以及/n三维数据导出部件，所述三维数据导出部件被配置为采用一个或更多个三维数据自二维数据即3D自2D神经网络模型以导出所述二维图像的三维数据。/n

【技术特征摘要】
【国外来华专利技术】20180925 US 16/141,5581.一种系统，包括：
存储器，所述存储器存储计算机可执行部件；以及
处理器，所述处理器执行存储在所述存储器中的所述计算机可执行部件，其中所述计算机可执行部件包括：
接收部件，所述接收部件被配置为接收二维图像；以及
三维数据导出部件，所述三维数据导出部件被配置为采用一个或更多个三维数据自二维数据即3D自2D神经网络模型以导出所述二维图像的三维数据。


2.根据权利要求1所述的系统，其中所述计算机可执行部件还包括：
建模部件，所述建模部件被配置为基于分别与所述二维图像相关联的所述三维数据来确定所述二维图像和公共三维坐标空间之间的对准。


3.根据权利要求2所述的系统，其中所述建模部件被进一步配置为基于所述对准来生成所述二维图像中包括的对象或环境的三维模型。


4.根据权利要求3所述的系统，其中所述计算机可执行部件还包括：
渲染部件，所述渲染部件被配置为促成经由设备的显示器来渲染所述三维模型。


5.根据权利要求3所述的系统，其中所述计算机可执行部件还包括：
导航部件，所述导航部件被配置为促成对如经由设备的显示器渲染的三维模型进行导航。


6.根据权利要求1所述的系统，其中所述计算机可执行部件还包括：
渲染部件，所述渲染部件被配置为促成经由设备的显示器渲染所述二维图像的相应图像的所述三维数据。


7.根据权利要求1所述的系统，其中所述计算机可执行部件还包括：
通信部件，所述通信部件被配置为经由网络将所述二维图像和所述三维数据发送到外部设备，其中基于接收到所述二维图像和所述三维数据，所述外部设备通过基于所述三维数据将所述二维图像彼此对准来生成所述二维图像中包括的对象或环境的三维模型。


8.根据权利要求1所述的系统，其中所述二维图像包括具有超过最小阈值并跨越至360度的视场的宽视场图像。


9.根据权利要求1所述的系统，其中所述计算机可执行部件还包括：
拼接部件，所述拼接部件被配置为组合所述二维图像中的两个或更多个第一图像以生成具有比所述两个或更多个第一图像的相应视场大的视场的第二图像，并且其中所述三维数据导出部件被配置为采用所述一个或更多个3D自2D神经网络模型以从所述第二图像导出所述三维数据中的至少一些。


10.根据权利要求1所述的系统，其中所述接收部件被进一步配置为接收由一个或更多个三维传感器捕获的所述二维图像的一部分的深度数据，并且其中所述三维数据导出部件被进一步配置为将所述深度数据用作所述一个或更多个3D自2D神经网络模型的输入以导出所述二维图像的所述三维数据。


11.根据权利要求10所述的系统，其中所述一个或更多个三维传感器选自由以下组成的组：结构化光传感器、光检测和测距传感器即LiDAR传感器、激光测距仪传感器、渡越时间传感器、光场相机传感器和主动立体传感器。


12.根据权利要求10所述的系统，其中所述二维图像包括具有第一竖直视场的全景彩色图像，其中所述深度数据对应于所述第一竖直视场内的第二竖直视场，并且其中所述第二竖直视场包括比所述第一竖直视场窄的视场。


13.根据权利要求1所述的系统，其中所述二维图像包括具有跨越至360度的水平视场的全景图像对，并且其中从相对于同一竖直轴线的不同竖直位置捕获所述全景图像对中包括的相应图像，其中所述不同竖直位置偏移立体图像对距离。


14.根据权利要求1所述的系统，其中所述系统位于...

【专利技术属性】
技术研发人员：D·A·高斯贝克，M·T·贝尔，W·K·阿卜杜拉，P·K·哈恩，
申请(专利权)人：马特波特公司，
类型：发明
国别省市：美国;US