使用一个或更多个神经网络生成全景图制造技术

本申请涉及使用一个或更多个神经网络生成全景图。提出了用于从单个图像生成全景图的装置、系统和技术。在至少一个实施例中，一个或更多个生成神经网络用于使用从单个输入图像提取的特征来生成球形全景图像。提取的特征来生成球形全景图像。提取的特征来生成球形全景图像。

【技术实现步骤摘要】
使用一个或更多个神经网络生成全景图


[0001]至少一个实施例涉及用于执行和促进人工智能的处理资源。例如，至少一个实施例涉及用于根据本文描述的各种新颖技术来训练神经网络的处理器或计算系统。

技术介绍

[0002]诸如虚拟现实等的显示技术使用户能够获得场景的完整360度视图。不幸的是，由于许多用户相机仅捕获单个视点的二维图像，因此许多用户难以生成可用于此类显示技术的内容。类似地，不可能从先前捕获的单个图像返回并捕获全景图像。
附图说明
[0003]将参考附图描述根据本公开的各种实施例，其中：
[0004]图1示出了根据至少一个实施例的用于生成全景图像的系统；
[0005]图2示出了根据至少一个实施例的全景图生成过程的图像；
[0006]图3示出了根据至少一个实施例的球形全景图生成过程的图像；
[0007]图4示出了根据至少一个实施例的用于生成全景图像的过程；
[0008]图5示出了根据至少一个实施例的用于生成球形全景图像的过程；
[0009]图6A示出了根据至少一个实施例的推理和/或训练逻辑；
[0010]图6B示出了根据至少一个实施例的推理和/或训练逻辑；
[0011]图7示出了根据至少一个实施例的示例数据中心系统；
[0012]图8示出了根据至少一个实施例的计算机系统；
[0013]图9示出了根据至少一个实施例的计算机系统；
[0014]图10示出了根据至少一个实施例的计算机系统；
[0015]图11示出了根据至少一个实施例的计算机系统；
[0016]图12A示出了根据至少一个实施例的计算机系统；
[0017]图12B示出了根据至少一个实施例的计算机系统；
[0018]图12C示出了根据至少一个实施例的计算机系统；
[0019]图12D示出了根据至少一个实施例的计算机系统；
[0020]图12E和12F示出了根据至少一个实施例的共享编程模型；
[0021]图13示出了根据至少一个实施例的示例性集成电路和相关的图形处理器；
[0022]图14A
‑
14B示出了根据至少一个实施例的示例性集成电路和相关的图形处理器；
[0023]图15A
‑
15B示出了根据至少一个实施例的另外的示例性图形处理器逻辑；
[0024]图16示出了根据至少一个实施例的计算机系统；
[0025]图17A示出了根据至少一个实施例的并行处理器；
[0026]图17B示出了根据至少一个实施例的分区单元；
[0027]图17C示出了根据至少一个实施例的处理集群；
[0028]图17D示出了根据至少一个实施例的图形多处理器；
[0029]图18示出了根据至少一个实施例的多图形处理单元(GPU)系统；
[0030]图19示出了根据至少一个实施例的图形处理器；
[0031]图20示出了根据至少一个实施例的处理器的微架构；
[0032]图21示出了根据至少一个实施例的深度学习应用处理器；
[0033]图22示出了根据至少一个实施例的示例性神经形态处理器；
[0034]图23和图24示出了根据至少一个实施例的图形处理器的至少一部分；
[0035]图25示出了根据至少一个实施例的图形处理器核心的至少一部分；
[0036]图26A
‑
26B示出了根据至少一个实施例的图形处理器核心的至少一部分；
[0037]图27示出了根据至少一个实施例的并行处理单元(“PPU”)；
[0038]图28示出了根据至少一个实施例的通用处理集群(“GPC”)；
[0039]图29示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元；
[0040]图30示出了根据至少一个实施例的流式多处理器；
[0041]图31是根据至少一个实施例的用于高级计算管线的示例数据流程图；
[0042]图32是根据至少一个实施例的用于在高级计算管线中训练，调整，实例化和部署机器学习模型的示例系统的系统图；
[0043]图33包括根据至少一个实施例的用于处理成像数据的高级计算管线3210A的示例说明；
[0044]图34A包括根据至少一个实施例的支持超声设备的虚拟仪器的示例数据流程图；
[0045]图34B包括根据至少一个实施例的支持CT扫描仪的虚拟仪器的示例数据流程图；
[0046]图35A示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流程图；以及
[0047]图35B是根据至少一个实施例的利用预训练的注释模型来增强注释工具的客户端
‑
服务器架构的示例说明。
具体实施方式
[0048]在至少一个实施例中，位置或场景的单个图像可以用于生成全景图像。在至少一个实施例中，可以使用两个或更多个图像来生成全景图，只要存在至少一些重叠量或使这些图像的特征相关联的方式即可。在至少一个实施例中，输入图像可以是任何尺寸或分辨率的二维(2D)或三维(3D)图像。此外，该图像可以表示要为其生成全景图像的场景的任何选定部分或百分比。在至少一个实施例中，图1示出了用于生成全景图像数据的系统100。在至少一个实施例中，相机102可以捕获与特定位置，场景或区域相关联的一个或更多个图像。在至少一个实施例中，相机可以是能够捕获位置的图像或视频数据的任何设备，其中图像可以包括视频数据的帧。在至少一个实施例中，尽管相机可能已经存在或与计算环境连接，例如智能电话中的相机，但是捕获的图像可以被传送到计算环境106。在至少一个实施例中，图像数据可以通过至少一个网络104(例如，蜂窝网络或因特网)从相机102发送。在至少一个实施例中，用户可以通过硬连线，无线，对等或局域网连接将相机102连接到计算环境106，例如笔记本或台式计算机。在至少一个实施例中，计算环境106可以是由单独方提供的云或资源环境，例如云提供商或全景图生成服务。
[0049]在至少一个实施例中，由相机102捕获的图像108可用于生成全景图像，例如对于
虚拟和增强现实应用程序有用的二维全景图或等矩形全景图像。在至少一个实施例中，无监督和半无监督机器学习(可以包括使用生成对抗网络(GAN)或变分自编码器(VAE))可以用于获取标准数字图像并生成全景图像，例如全景360
‑
度单图像。在至少一个实施例中，还可以向系统100生成的图像注入适用的元数据，以使这些图像与各种全景图像兼容共享和消费应用程序或平台，例如可从诸如Google和Facebook之类的公司获得。
[0050]在至少一个实施例中，想要生成用于位置或场景的全景图像的用户可以捕获图像。在至少一个实施例中，也可以捕获附加图像以供使用。在至少一个实施例中，可以将输入图像输入到全景生成器110，该全景生成器可以以硬件和/或软件来提供。在至少一个实施例中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理器，包括：一个或更多个电路，用于使用一个或更多个神经网络从单个图像生成全景图像，所述全景图像包括由所述一个或更多个神经网络生成的附加图像内容。2.根据权利要求1所述的处理器，其中，所述单个图像表示场景，并且其中，门控网络至少部分地基于经确定的场景类型来选择所述神经网络中的至少一个。3.根据权利要求1所述的处理器，其中，所述一个或更多个神经网络包括用于至少部分地基于所述单个图像的代表性特征来生成外推图像内容的一个或更多个生成对抗网络(GAN)或变分自编码器(VAE)。4.根据权利要求3所述的处理器，其中，所述单个图像和所述外推图像内容用于生成所述单个图像的立方体贴图表示。5.根据权利要求4所述的处理器，其中，生成网络被用于将所述立方体贴图转换成所述全景图像。6.根据权利要求1所述的处理器，其中，所述一个或更多个电路还用于执行球形全景图像的后处理，以使所述球形全景图像具有用于指定用途的格式。7.一种系统，包括：一个或更多个处理器，用于使用一个或更多个神经网络从单个图像生成全景图像，所述全景图像包括由所述一个或更多个神经网络生成的附加图像内容。8.根据权利要求7所述的系统，其中，所述单个图像表示场景，并且其中，门控网络至少部分地基于经确定的场景类型来选择所述神经网络中的至少一个。9.根据权利要求7所述的系统，其中，所述一个或更多个神经网络包括用于至少部分地基于所述单个图像的代表性特征来生成外推图像内容的一个或更多个生成对抗网络(GAN)或变分自编码器(VAE)。10.根据权利要求9所述的系统，其中，所述单个图像和所述外推图像内容用于生成所述单个图像的立方体贴图表示。11.根据权利要求10所述的系统，其中，生成网络被用于将所述立方体贴图转换成所述全景图像。12.根据权利要求7所述的系统，其中，所述一个或更多个电路还用于执行球形全景图像的后处理，以使所述球形全景图像具有用于指定用途的格式。13.一种方法，包括：使用一个或更多个神经网络从单个图像生成全景图像，所述全景图像包括由所述一个或更多个神经网络生成的附加图像内容。14.根据权利要求13所述的方法，其中，所述单个图像表示场景，并且所述方法还包括：由门控网络至少部分地基于经确定的场景类型来选择所述神经网络中的至少一个。15.根据权利要求13所述的方法，其中，所述一个或更多个神经网络包括用于至少部分地基于所述单个图像的代表性特征来生成外推图像内容的一个或更多个生成对抗网络(GAN)或变分自编码器(VAE)。16.根据权利要求13所述的方法，其中，所述单个图像和所述外推图像内容用于生成所述单个图像的立...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：辉达公司，
类型：发明
国别省市：