生成优化的神经网络制造技术

公开了生成优化的神经网络，具体地，公开了用于生成优化的神经网络架构的装置、系统和技术。在至少一个实施例中，使用各种神经网络组件来生成一个或更多个神经网络配置，并且训练每个神经网络配置以确定用于训练数据集的最优神经网络架构。最优神经网络架构。最优神经网络架构。

【技术实现步骤摘要】
生成优化的神经网络


[0001]至少一个实施例涉及用于生成优化的神经网络架构的处理资源。例如，至少一个实施例涉及用于配置不同神经网络架构并执行每个不同神经网络配置的并行训练以根据本文描述的各种新技术确定对于给定的训练数据集哪种配置实现最优或接近最优的准确度的处理器或计算系统。

技术介绍

[0002]越来越多地使用计算机辅助诊断(CAD)系统来识别医学成像中的医学信息，减少了医学专业人员的工作量并提高了诊断效率。CAD系统通常针对用于训练的特定数据集使用参数、组件和神经网络配置的特殊(ad
‑
hoc)选择。这种选择可能导致次优性能，包括低效操作和不想要的不准确度。
附图说明
[0003]图1是示出根据至少一个实施例的用于使用自动化深度学习框架为训练数据集生成优化的神经网络架构的架构的框图；
[0004]图2是示出根据至少一个实施例的用于选择要用于生成优化的神经网络架构的组件和配置的架构的框图；
[0005]图3是示出根据至少一个实施例的执行进化算法以生成优化的神经网络架构的架构的框图；
[0006]图4是示出根据至少一个实施例的在进化算法期间对候选神经网络的并行训练以确定优化的神经网络架构的框图；
[0007]图5示出了根据至少一个实施例的用于实现进化算法的伪代码；
[0008]图6示出了根据至少一个实施例的用于生成优化的神经网络架构的过程；
[0009]图7A示出了根据至少一个实施例的推理和/或训练逻辑；
[0010]图7B示出了根据至少一个实施例的推理和/或训练逻辑；
[0011]图8示出了根据至少一个实施例的神经网络的训练和部署；
[0012]图9示出了根据至少一个实施例的示例数据中心系统；
[0013]图10A示出了根据至少一个实施例的自主车辆的示例；
[0014]图10B示出了根据至少一个实施例的图10A的自主车辆的相机位置和视野的示例；
[0015]图10C是根据至少一个实施例的示出图10A的自主车辆的示例系统架构的框图；
[0016]图10D是根据至少一个实施例的示出用于一个或更多个基于云的服务器与图10A的自主车辆之间的通信的系统的图；
[0017]图11是根据至少一个实施例的示出计算机系统的框图；
[0018]图12是根据至少一个实施例的示出计算机系统的框图；
[0019]图13示出了根据至少一个实施例的计算机系统；
[0020]图14示出了根据至少一个实施例的计算机系统；
[0021]图15A示出了根据至少一个实施例的计算机系统；
[0022]图15B示出了根据至少一个实施例的计算机系统；
[0023]图15C示出了根据至少一个实施例的计算机系统；
[0024]图15D示出了根据至少一个实施例的计算机系统；
[0025]图15E和图15F示出了根据至少一个实施例的共享编程模型；
[0026]图16示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0027]图17A和图17B示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0028]图18A和图18B示出了根据至少一个实施例的附加的示例性图形处理器逻辑；
[0029]图19示出了根据至少一个实施例的计算机系统；
[0030]图20A示出了根据至少一个实施例的并行处理器；
[0031]图20B示出了根据至少一个实施例的分区单元；
[0032]图20C示出了根据至少一个实施例的处理集群；
[0033]图20D示出了根据至少一个实施例的图形多处理器；
[0034]图21示出了根据至少一个实施例的多图形处理单元(GPU)系统；
[0035]图22示出了根据至少一个实施例的图形处理器；
[0036]图23是根据至少一个实施例的示出用于处理器的处理器微架构的框图；
[0037]图24示出了根据至少一个实施例的深度学习应用程序处理器；
[0038]图25是根据至少一个实施例的示出了示例神经形态处理器的框图；
[0039]图26示出了根据一个或更多个实施例的图形处理器的至少部分；
[0040]图27示出了根据一个或更多个实施例的图形处理器的至少部分；
[0041]图28示出了根据一个或更多个实施例的图形处理器的至少部分；
[0042]图29是根据至少一个实施例的图形处理器的图形处理引擎的框图；
[0043]图30是根据至少一个实施例的图形处理器核心的至少部分的框图；
[0044]图31A和图31B示出了根据至少一个实施例的线程执行逻辑，其包括图形处理器核心的处理元件的阵列；
[0045]图32示出了根据至少一个实施例的并行处理单元(“PPU”)；
[0046]图33示出了根据至少一个实施例的通用处理集群(“GPC”)；
[0047]图34示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元；
[0048]图35示出了根据至少一个实施例的流式多处理器；
[0049]图36是根据至少一个实施例的高级计算管线的示例数据流图；
[0050]图37是根据至少一个实施例的用于在高级计算管线中训练、适应、实例化和部署机器学习模型的示例系统的系统图；
[0051]图38包括根据至少一个实施例的用于处理成像数据的高级计算管线的示例图示；
[0052]图39A包括根据至少一个实施例的支持超声设备的虚拟仪器的示例数据流图；
[0053]图39B包括根据至少一个实施例的支持CT扫描仪的虚拟仪器的示例数据流图；
[0054]图40A示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流图；以及
[0055]图40B是根据至少一个实施例的利用预训练的注释模型来增强注释工具的客户
端
‑
服务器架构的示例图示。
具体实施方式
[0056]图1是示出根据至少一个实施例的用于使用自动化深度学习框架106为训练数据集104生成最优神经网络架构118的架构100的框图。在至少一个实施例中，自动化深度学习框架106是数据值和软件指令，它们在被执行时，通过调整所述一个或更多个神经网络的组件、参数、配置和其他方面以搜索不同的组合来优化一个或更多个神经网络，以生成或以其他方式输出最优神经网络118。在至少一个实施例中，自动化深度学习框架106不接收用户交互或反馈。在至少一个实施例中，自动化深度学习框架106接收最少的用户交互，例如要搜索的神经网络配置或架构的子集的规范。在至少一个实施例中，自动化深度学习框架106从多个预定输入确定最优神经网络118，例如神经网络组件112、可选参数设置114或激活密钥102，如下所述。在至少一个实施例中，自动化深度学习框架106接受连续或离散变量或其他信息作为输入，如下所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理器，包括：一个或更多个电路，用于至少通过以下步骤确定神经网络：通过将一个或更多个第一神经网络添加到神经网络的集合并至少部分地基于所述集合中的所述神经网络的准确度从所述集合中移除一个或更多个第二神经网络，来修改所述集合；以及至少部分地基于所述集合中的神经网络的准确度选择所述神经网络。2.如权利要求1所述的处理器，其中：选择所述一个或更多个第一神经网络作为所述神经网络的集合的子集；调整所述一个或更多个第一神经网络中的每个第一神经网络的一个或更多个配置设置；训练所述一个或更多个第一神经网络以确定所述一个或更多个第一神经网络的准确度；以及至少部分地基于所述一个或更多个第二神经网络中的每个第二神经网络的准确度小于所述一个或更多个第一神经网络的准确度，从所述神经网络的集合中选择所述一个或更多个第二神经网络。3.如权利要求2所述的处理器，其中使用一个或更多个并行处理单元并行训练所述一个或更多个第一神经网络。4.如权利要求2所述的处理器，其中所述神经网络的集合中的每个神经网络包括至少部分地基于根据激活密钥选择一个或更多个神经网络组件的架构。5.如权利要求2所述的处理器，其中所述一个或更多个第一神经网络是从所述神经网络的集合中随机选择的。6.如权利要求2所述的处理器，其中至少部分地基于与所述神经网络的集合相关联的所述配置设置来调整所述一个或更多个第一神经网络中的每个第一神经网络的所述一个或更多个配置设置。7.如权利要求1所述的处理器，其中至少部分地基于与所述一个或更多个第二神经网络相关联的准确度小于与所述一个或更多个第一神经网络相关联的准确度，从所述神经网络的集合中选择所述一个或更多个第二神经网络。8.如权利要求1所述的处理器，选择所述神经网络以对一个或更多个医学图像执行分割。9.一种系统，包括：一个或更多个处理器，用于至少通过以下步骤确定神经网络：通过将一个或更多个第一神经网络添加到神经网络的集合并至少部分地基于所述集合中的所述神经网络的准确度从所述集合中移除一个或更多个第二神经网络，来修改所述集合；以及至少部分地基于所述集合中的神经网络的准确度选择所述神经网络。10.如权利要求9所述的系统，其中：所述神经网络的集合中的每个神经网络包括不同的神经网络架构；以及一个或更多个处理器通过以下步骤进一步确定所述神经网络：根据一个或更多个第一神经网络设置对所述神经网络的集合执行第一训练；
从所述神经网络的集合中选择所述一个或更多个第一神经网络；根据一个或更多个第二神经网络设置对所述一个或更多个第一神经网络执行第二训练；以及至少部分地基于所述集合中的神经网络的准确度小于所述一个或更多个第一神经网络的准确度，来确定所述一个或更多个第二神经网络。11.如权利要求10所述的系统，其中一个或更多个并行处理单元执行所述第一训练和所述第二训练。12.如权利要求10所述的系统，其中所述一个或更多个第一神经网络设置包括用于初始化所述一个或更多个第一神经网络中的每个第一神经网络的一个或更多个数据值。13.如权利要求12所述的系统，其中所述一个或更多个第二神经网络设置包括来自所述一个或更多个第一神经网络设置的一个或更多个经调整的数据值。14.如权利要求10所述的系统，其中至少部分地基于激活密钥来确定所述集合中的每个神经网络的所述不同的神经网络架构。15.如权利要求14所述的系统，其中每个神经网络的所述不同的神经网络架构包括由所述激活密钥指示的一个或更多个神经网络层。16.如权利要求14所述的系统，其中所述集合中的每个神经网络的所述不同的神经网络架构包括由所述激活密钥指示的一个或更多个神经网络块。17.一种机器可读介质，其上存储有指令集，所述指令集如果由一个或更多个处理器执行，则使所述一个或更多个处理器至...

【专利技术属性】
技术研发人员：杨栋，李文琦，徐子乐，王潚崧，赵灿，H，
申请(专利权)人：辉达公司，
类型：发明
国别省市：