用于神经网络的预训练框架制造技术

本公开涉及用于神经网络的预训练框架。用于指示文本与一个或更多个图像相对应的程度的装置、系统和技术。在至少一个实施例中，文本与一个或更多个图像相对应的程度使用一个或更多个神经网络来指示并且用于训练一个或更多个神经网络。多个神经网络。

【技术实现步骤摘要】
用于神经网络的预训练框架


[0001]至少一个实施例涉及处理用于训练一个或更多个神经网络的资源。例如，至少一个实施例涉及根据所描述的各种新技术的用于至少通过使用一个或更多个神经网络以指示文本与一个或更多个图像相对应的程度来训练一个或更多个神经网络的处理器或计算资源。

技术介绍

[0002]在许多情况下，训练神经网络是一项重要任务。在各种情况下，训练神经网络需要包括图像和相关联的注释的训练数据。然而，这样的训练数据可能很难获得。因此可以改进用于训练神经网络的技术。
附图说明
[0003]图1示出了根据至少一个实施例的预训练框架的一个或更多个过程的示例；
[0004]图2示出了根据至少一个实施例的自注模块的示例；
[0005]图3示出了根据至少一个实施例的互相关模块的示例；
[0006]图4示出了根据至少一个实施例的多尺度图像编码和解码的示例；
[0007]图5示出了根据至少一个实施例的使用预训练框架的结果的示例；
[0008]图6示出了根据至少一个实施例的使用预训练框架的结果的另一示例；
[0009]图7示出了根据至少一个实施例的使用预训练框架的结果的另一个示例；
[0010]图8示出了根据至少一个实施例的使用预训练框架的结果的另一示例；
[0011]图9示出了根据至少一个实施例的使用预训练框架的结果的另一示例；
[0012]图10示出了根据至少一个实施例的预训练框架的过程的示例；
[0013]图11A示出了根据至少一个实施例的推理和/或训练逻辑；
[0014]图11B示出了根据至少一个实施例的推理和/或训练逻辑；
[0015]图12示出了根据至少一个实施例的神经网络的训练和部署；
[0016]图13示出了根据至少一个实施例的示例数据中心系统；
[0017]图14A示出了根据至少一个实施例的自主车辆的示例；
[0018]图14B示出了根据至少一个实施例的图14A的自主车辆的相机位置和视野的示例；
[0019]图14C是根据至少一个实施例的示出图14A的自主车辆的示例系统架构的框图；
[0020]图14D是根据至少一个实施例的示出用于一个或更多个基于云的服务器与图14A的自主车辆之间的通信的系统的图；
[0021]图15是根据至少一个实施例的示出计算机系统的框图；
[0022]图16是根据至少一个实施例的示出计算机系统的框图；
[0023]图17示出了根据至少一个实施例的计算机系统；
[0024]图18示出了根据至少一个实施例的计算机系统；
[0025]图19A示出了根据至少一个实施例的计算机系统；
[0026]图19B示出了根据至少一个实施例的计算机系统；
[0027]图19C示出了根据至少一个实施例的计算机系统；
[0028]图19D示出了根据至少一个实施例的计算机系统；
[0029]图19E和图19F示出了根据至少一个实施例的共享编程模型；
[0030]图20示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0031]图21A和图21B示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0032]图22A和图22B示出了根据至少一个实施例的附加的示例性图形处理器逻辑；
[0033]图23示出了根据至少一个实施例的计算机系统；
[0034]图24A示出了根据至少一个实施例的并行处理器；
[0035]图24B示出了根据至少一个实施例的分区单元；
[0036]图24C示出了根据至少一个实施例的处理集群；
[0037]图24D示出了根据至少一个实施例的图形多处理器；
[0038]图25示出了根据至少一个实施例的多图形处理单元(GPU)系统；
[0039]图26示出了根据至少一个实施例的图形处理器；
[0040]图27是根据至少一个实施例的示出用于处理器的处理器微架构的框图；
[0041]图28示出了根据至少一个实施例的深度学习应用程序处理器；
[0042]图29是根据至少一个实施例的示出了示例神经形态处理器的框图；
[0043]图30示出了根据一个或更多个实施例的图形处理器的至少部分；
[0044]图31示出了根据一个或更多个实施例的图形处理器的至少部分；
[0045]图32示出了根据一个或更多个实施例的图形处理器的至少部分；
[0046]图33是根据至少一个实施例的图形处理器的图形处理引擎的框图；
[0047]图34是根据至少一个实施例的图形处理器核心的至少部分的框图；
[0048]图35A和图35B示出了根据至少一个实施例的线程执行逻辑，其包括图形处理器核心的处理元件的阵列；
[0049]图36示出了根据至少一个实施例的并行处理单元(“PPU”)；
[0050]图37示出了根据至少一个实施例的通用处理集群(“GPC”)；
[0051]图38示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元；
[0052]图39示出了根据至少一个实施例的流式多处理器；
[0053]图40是根据至少一个实施例的高级计算管线的示例数据流图；
[0054]图41是根据至少一个实施例的用于在高级计算管线中训练、适应、实例化和部署机器学习模型的示例系统的系统图；
[0055]图42包括根据至少一个实施例的用于处理成像数据的高级计算管线的示例图示；
[0056]图43A包括根据至少一个实施例的支持超声设备的虚拟仪器的示例数据流图；
[0057]图43B包括根据至少一个实施例的支持CT扫描仪的虚拟仪器的示例数据流图；
[0058]图44A示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流图；以及
[0059]图44B是根据至少一个实施例的利用预训练的注释模型来增强注释工具的客户端
‑
服务器架构的示例图示。
具体实施方式
[0060]在至少一个实施例中，预训练是指训练一个或更多个神经网络的过程，其中训练的一个或更多个神经网络被利用和/或进一步训练用于各种任务。在至少一个实施例中，预训练是指训练一个或更多个神经网络，也称为神经网络模型、机器学习模型、机器学习算法和/或其变体，使用一个或更多个任务来确定参数、权重、和/或其变体，用于执行其他一项或更多项任务，其可包括所述一项或更多项任务。在至少一个实施例中，一个或更多个系统预训练神经网络以确定所述神经网络的各种权重，其中具有确定权重的所述神经网络被进一步训练，也称为微调，用于一个或更多个任务。在至少一个实施例中，一个或更多个系统在针对一项或更多项任务的附加训练中微调预训练神经网络的权重，其中所述附加训练特定于所述一项或更多项任务。
[0061]在至少一个实施例中，预训练框架使用包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理器，包括：一个或更多个电路，用于使用一个或更多个神经网络来指示文本与一个或更多个图像相对应的程度。2.根据权利要求1所述的处理器，其中所述一个或更多个电路进一步用于：计算所述文本和所述一个或更多个图像的特征；至少使用一个或更多个乘法和池化过程来处理所述特征；以及至少部分地基于所述处理的特征，使用所述一个或更多个神经网络来计算所述程度。3.根据权利要求2所述的处理器，其中所述一个或更多个电路用于至少使用所述程度来训练所述一个或更多个神经网络以执行一个或更多个分类任务。4.根据权利要求2所述的处理器，其中所述一个或更多个电路用于至少通过将所述处理的特征输入到一个或更多个sigmoid函数来计算所述程度。5.根据权利要求2所述的处理器，其中所述一个或更多个电路用于使用一个或更多个编码器来计算所述文本和所述一个或更多个图像的所述特征。6.根据权利要求1所述的处理器，其中所述文本和所述一个或更多个图像是未配对的数据。7.根据权利要求1所述的处理器，其中所述一个或更多个图像包括一个或更多个医学图像。8.一种系统，包括：一个或更多个计算机，其具有一个或更多个处理器，所述一个或更多个处理器用于使用一个或更多个神经网络来指示文本与一个或更多个图像相对应的程度。9.根据权利要求8所述的系统，其中所述一个或更多个处理器进一步用于：获得与所述文本相对应的第一组特征和与所述一个或更多个图像相对应的第二组特征；以及至少部分地基于一个或更多个sigmoid函数、所述第一组特征和所述第二组特征，使用所述一个或更多个神经网络来计算指示所述程度的第一值。10.根据权利要求9所述的系统，其中所述一个或更多个处理器进一步用于：至少部分地基于所述第一值，训练所述一个或更多个神经网络来执行一个或更多个相似性搜索任务。11.根据权利要求9所述的系统，其中所述一个或更多个处理器进一步用于：至少部分地基于所述一个或更多个图像，执行一个或更多个缩放操作来生成一组缩放图像；以及至少部分地基于所述一组缩放图像来计算所述第二组特征。12.根据权利要求9所述的系统，其中所述一个或更多个sigmoid函数包括逻辑函数。13.根据权利要求8所述的系统，其中所述文本和所述一个或更多个图像是配对的数据。14.根据权利要求8所述的系统，其中所述文本是医学文本。15.一种方法，包括：训练一个或更多个神经网络以指示文本与一个或更多个图像相对应的程度。16.根据权利要求15所述的方法，还包括：
获得包括地面实况值、所述文本和所述一个或更多个图像的训练数据；使所述一个或更多个神经网络计算指示所述文本与所述一个或更多个图像相对应的所述程度的值；以及至少部分地基于所述值和所述地面实况值之间的差异来更新所述一个或更多个神经网络。17.根据权利要求16所述的方法，还包括：至少部分地基于所述一个或更多个图像，使用所述一个或更多个神经网络来生成一个或更多个图像补丁；以及至少部分地基于所述一个或更多个图像补丁和所述一个或更多个图像来更新所述一个或更多个神经网络。18.根据权利要求17所述的方法，还包括至少部分地基于所述一个或更多个图像补丁和所述一个或更多个图像来训练所述一个或更多个神经网络，以用于一个或更多个图像再生任务。19.根据权...

【专利技术属性】
技术研发人员：王潚崧，徐子乐，L，
申请(专利权)人：辉达公司，
类型：发明
国别省市：