使用神经网络对内容感知样式进行编码制造技术

公开了使用神经网络对内容感知样式进行编码，具体公开了促进将尚未由训练框架针对其训练一个或更多个神经网络的样式从一个图像应用到另一图像的内容的装置、系统和技术。在至少一个实施例中，由一个或更多个神经网络基于包含在样式图像中的样式和内容图像的内容生成样式化的输出图像，其中所述一个或更多个神经网络尚未由训练框架在所述样式上进行训练。练。练。

【技术实现步骤摘要】
使用神经网络对内容感知样式进行编码


[0001]至少一个实施例涉及处理资源，该处理资源用于促进将尚未由训练框架针对其训练一个或更多个神经网络的样式从一个图像应用到另一图像的内容。例如，至少一个实施例涉及用于由一个或更多个神经网络基于第一图像的样式和第二图像的内容生成样式化的输出图像的处理器或计算系统，其中所述一个或更多个神经网络尚未根据本文所述的各种新颖技术在所述样式上由训练框架进行训练。

技术介绍

[0002]无监督的图像到图像的转换学习了一个域中的图像到另一域中的类似图像的映射。解决该问题的当前方法是从内容图像和样式图像中提取信息，以便重建具有来自所述样式图像的样式的所述内容图像。这由内容编码器和样式编码器执行，并且使用图像解码器构造输出图像。但是，这些方法通常无法保留内容图像中对象的结构。
附图说明
[0003]图1A是示出根据至少一个实施例的由一个或更多个神经网络学习以将各种样式应用于内容图像的训练域的框图；
[0004]图1B是示出根据至少一个实施例的由一个或更多个神经网络将样式应用于内容图像的框图；
[0005]图2是根据至少一个实施例的示出使用一个或更多个神经网络基于样式图像将样式应用于内容图像的训练和推理的框图；
[0006]图3是示出根据至少一个实施例的包括示例性生成对抗网络(GAN)的训练框架的框图；
[0007]图4A是示出根据至少一个实施例的使用传统样式编码器的生成器架构的框图；
[0008]图4B是示出根据至少一个实施例的使用内容条件样式编码器(CCSE)的生成器架构的框图；
[0009]图5是示出根据至少一个实施例的内容条件样式编码器(CCSE)的框图；
[0010]图6示出了根据至少一个实施例的用于使用CCSE将来自样式图像的样式应用于内容图像的内容的过程；
[0011]图7A示出了根据至少一个实施例的推理和/或训练逻辑；
[0012]图7B示出了根据至少一个实施例的推理和/或训练逻辑；
[0013]图8示出了根据至少一个实施例的神经网络的训练和部署；
[0014]图9示出了根据至少一个实施例的示例数据中心系统；
[0015]图10A示出了根据至少一个实施例的自主车辆的示例；
[0016]图10B示出了根据至少一个实施例的图10A的自主车辆的相机位置和视野的示例；
[0017]图10C是根据至少一个实施例的示出图10A的自主车辆的示例系统架构的框图；
[0018]图10D是根据至少一个实施例的示出用于一个或更多个基于云的服务器与图10A
的自主车辆之间进行通信的系统的图；
[0019]图11是根据至少一个实施例的示出计算机系统的框图；
[0020]图12是根据至少一个实施例的示出计算机系统的框图；
[0021]图13示出了根据至少一个实施例的计算机系统；
[0022]图14示出了根据至少一个实施例的计算机系统；
[0023]图15A示出了根据至少一个实施例的计算机系统；
[0024]图15B示出了根据至少一个实施例的计算机系统；
[0025]图15C示出了根据至少一个实施例的计算机系统；
[0026]图15D示出了根据至少一个实施例的计算机系统；
[0027]图15E和图15F示出了根据至少一个实施例的共享编程模型；
[0028]图16示出了根据至少一个实施例的示例性集成电路和相关的图形处理器；
[0029]图17A和图17B示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0030]图18A和图18B示出了根据至少一个实施例的附加的示例性图形处理器逻辑；
[0031]图19示出了根据至少一个实施例的计算机系统；
[0032]图20A示出了根据至少一个实施例的并行处理器；
[0033]图20B示出了根据至少一个实施例的分区单元；
[0034]图20C示出了根据至少一个实施例的处理集群；
[0035]图20D示出了根据至少一个实施例的图形多处理器；
[0036]图21示出了根据至少一个实施例的多图形处理单元(GPU)系统；
[0037]图22示出了根据至少一个实施例的图形处理器；
[0038]图23是根据至少一个实施例的示出用于处理器的处理器微架构的框图；
[0039]图24示出了根据至少一个实施例的深度学习应用程序处理器；
[0040]图25是根据至少一个实施例的示出了示例神经形态处理器的框图；
[0041]图26示出了根据一个或更多个实施例的图形处理器的至少部分；
[0042]图27示出了根据一个或更多个实施例的图形处理器的至少部分；
[0043]图28示出了根据一个或更多个实施例的图形处理器的至少部分；
[0044]图29是根据至少一个实施例的图形处理器的图形处理引擎的框图；
[0045]图30是根据至少一个实施例的图形处理器核心的至少部分的框图；
[0046]图31A和图31B示出了根据至少一个实施例的线程执行逻辑，其包括图形处理器核心的处理元件的阵列；
[0047]图32示出了根据至少一个实施例的并行处理单元(“PPU”)；
[0048]图33示出了根据至少一个实施例的通用处理集群(“GPC”)；
[0049]图34示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元；
[0050]图35示出了根据至少一个实施例的流式多处理器；
[0051]图36是根据至少一个实施例的高级计算管线的示例数据流图；
[0052]图37是根据至少一个实施例的用于在高级计算管线中训练、适应、实例化和部署机器学习模型的示例系统的系统图；
[0053]图38包括根据至少一个实施例的用于处理成像数据的高级计算管线的示例图示；
[0054]图39A包括根据至少一个实施例的支持超声设备的虚拟仪器的示例数据流图；
[0055]图39B包括根据至少一个实施例的支持CT扫描仪的虚拟仪器的示例数据流图；
[0056]图40A示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流图；以及
[0057]图40B是根据至少一个实施例的利用预训练的注释模型来增强注释工具的客户端
‑
服务器架构的示例图示。
具体实施方式
[0058]图1A是示出根据至少一个实施例的由一个或更多个神经网络学习的训练域118以将各种样式104、106、108应用于内容图像102的框图。在至少一个实施例中，训练110是在一个或更多个神经网络中更新值的过程。在至少一个实施例中，执行训练110，使得一个或更多个神经网络在训练域118之间转换内容图像102。
[0059]在至少一个实施例中，训练域118是由一个或更多个神经网络学习的一个或更多个样式120、12本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理器，包括：一个或更多个电路，用于使用一个或更多个神经网络，以至少部分地基于来自第一图像的一个或更多个特征要被应用于的一个或更多个对象在第二图像中的位置，将所述一个或更多个特征应用于所述第二图像。2.根据权利要求1所述的处理器，其中：第一输出包括关于所述一个或更多个特征是由样式编码器生成的信息，其中所述样式编码器接收所述第一图像和所述第二图像作为输入；第二输出包括关于所述一个或更多个对象是由内容编码器生成的信息；图像解码器至少部分地基于所述第一输出和所述第二输出生成第三图像；以及所述第三图像包括应用于所述第二图像中的所述一个或更多个对象的所述第一图像的所述一个或更多个特征。3.根据权利要求2所述的处理器，其中所述一个或更多个神经网络包括残差块，用于减少将来自所述第一图像的所述一个或更多个特征应用于所述第二图像内的所述一个或更多个对象的时间。4.根据权利要求2所述的处理器，其中所述样式编码器：使用第一编码器从所述第一图像生成第一代码；使用第二编码器从所述第二图像生成第二代码；以及至少部分地基于所述第一代码和所述第二代码的逐元素乘积生成所述第一输出。5.根据权利要求4所述的处理器，其中所述第一代码与偏置值组合，并且至少部分地基于所述第一代码和所述偏置值生成所述第一输出。6.根据权利要求1所述的处理器，其中所述一个或更多个特征包括与来自所述第一图像的第二一个或更多个对象相关联的样式。7.根据权利要求6所述的处理器，其中所述样式是在其上未训练所述一个或更多个神经网络的一个样式。8.根据权利要求1所述的处理器，其中所述一个或更多个神经网络将所述第二图像内的所述一个或更多个对象变换为包括来自所述第一图像的所述一个或更多个特征的一个或更多个视觉属性。9.一种系统，包括：一个或更多个处理器，用于训练一个或更多个神经网络，以至少部分地基于来自第一图像的一个或更多个特征要被应用于的一个或更多个对象在第二图像中的位置，将所述一个或更多个特征应用于所述第二图像。10.根据权利要求9所述的系统，其中：样式编码器生成关于所述一个或更多个特征的第一信息；内容编码器生成关于所述一个或更多个对象的第二信息；图像解码器至少部分地基于所述第一信息和所述第二信息生成第三图像；以及所述第一信息至少部分地基于所述第一图像和所述第二图像而生成。11.根据权利要求10所述的系统，其中所述样式编码器包括第一编码器和第二编码器，并且所述第一信息至少部分地基于来自所述第一编码器的输出和来自所述第二编码器的输出而生成。
12.根据权利要求11所述的系统，其中所述第一编码器的输出至少部分地基于所述第一图像而生成。13.根据权利要求11所述的系统，其中所述第二编码器的输出至少部分地基于所述第二图像而生成。14.根据权利要求10所述的系统，其中通过使用生成器生成第三图像并至少部分地基于所述第三图像是否包括应用于所述一个或更多个对象的所述一个或更多个特征反向传播一组损失值，来使用生成对抗网络训练所述一个或更多个神经网络。15.根据权利要求10所述的系统，其中尚未针对所述第一图像的所述一个或更多个特征来训练所述一个或更多个神经网络。16.一种机器可读介质，其上存储有指令集，所述指令集如果由一个或更多个处理器执行，则使所述一个或更多个处理器至少：使用一个或更多个神经网络，至少部分地基于来自第...

【专利技术属性】
技术研发人员：刘洺堉，K，
申请(专利权)人：辉达公司，
类型：发明
国别省市：