神经网络的自动生成制造技术

在父神经网络模型集的语法进化中使用语法来生成子神经网络模型集。基于测试数据集来测试神经网络模型的代，其中代包括子神经网络模型集。针对代中的每个神经网络，确定多个属性中的每一个属性的相应值，其中属性中的一个属性包括从测试中确定的验证精度值。基于用于神经网络的代的多个属性的值来执行多目标优化，并且基于多目标优化的结果来选择神经网络模型的代的子集。

【技术实现步骤摘要】
【国外来华专利技术】神经网络的自动生成相关申请本申请要求2018年10月31日提交的美国临时专利申请第62/753,822号的权益并且该申请通过引用整体结合于此。
本公开大体涉及计算机系统领域，并且更具体地涉及神经网络模型的自动生成。
技术介绍
人工神经网络是一种计算模型，可用于解决使用传统计算模型难以解决的任务。例如，可以训练人工神经网络来执行使用其他传统的编程范例极难实现的模式识别任务。利用人工神经网络通常需要执行计算和操作以开发、训练和更新人工神经网络。神经网络可以与其他模型一起使用，以在计算系统中实现机器学习功能。机器学习可以与诸如计算机视觉、电子商务、游戏、机器人运动、大数据分析、图像识别、语言处理等应用结合使用。附图说明当结合以下附图考虑时，参考本公开主题的以下详细描述，可以更全面地理解所公开的主题的各种目标、特征和优点，其中相同的参考号标识相同的要素。附图是示意性地并且不旨在按比例绘制。为了清楚起见，并非每一个组件在每一个图中都被标记。在不需要图示来允许本领域普通技术人员理解所公开的主题的情况下，也不是所公开的主题的每一个实施例的每一个组件都被示出。图1示出了根据一些实施例的采用机器学习的示例系统；图2是示出包括示例神经网络生成器系统的计算环境的简化框图；图3是示出示例进化算法的各方面的简化框图；图4是示出在进化中选择父神经网络时利用的多目标优化的各方面的简化框图；图5是示出示例网络模块的简化框图；图6是示出另一示例网络模块的简化框图；图7A-7B是示出了利用语法进化的神经网络模型的示例生成的简化框图；图8是示出了在神经网络模型的自动生成中涉及的示例技术的简化框图；图9是根据至少一些实施例的具有设备的示例性网络的简化框图；图10是根据至少一些实施例的示例性雾或云计算网络的简化框图；图11是根据至少一些实施例的包括示例设备的系统的简化框图；图12是根据至少一些实施例的示例处理设备的简化框图；图13是根据至少一些实施例的示例性处理器的框图；图14是根据一些实施例的示例机器学习设备的简化框图；以及图15是根据至少一些实施例的示例性计算系统的框图。具体实施方式在以下描述中，阐述了与所公开的主题的系统和方法以及此类系统和方法可以操作的环境等相关的许多具体细节，以便提供对所公开的主题的透彻理解。然而，对于本领域技术人员将是显而易见的是，可以在没有这些具体细节的情况下实践所公开的主题，并且不详细描述在本领域中是众所周知的某些特征，以便避免复杂化所公开的主题。此外，应当理解，下文所提供的实施例是示例性的，并且构想了在所公开的主题的范围内存在其他的系统和方法。各种技术基于增强现实、虚拟现实、混合现实、自主设备和机器人出现并包含它们，这可利用采用各种机器学习模型(包括神经网络和深度学习模型)的机器学习。在许多这些应用中，可以预期，将使用此类模型的设备(和相对应的计算逻辑)可包括小型无人机和机器人、可穿戴设备、虚拟现实系统，以及其他示例。随着系统变小，此类设备的存储器和处理资源也可能受到限制。例如，AR/VR/MR应用可能要求使用支持硬件生成的图形表示的高帧速率，或者实现对感测条件的适当快速响应时间(例如，通过机器人、无人机或自主交通工具驱动运动)，以及其他示例。一些应用在满足相对应系统的处理、存储器、能力、应用要求等方面的约束的同时，可能面临令人满意地执行大型、资源密集型机器学习模型的挑战，诸如当前的高精度卷积神经网络(CNN)模型。转向图1，示出了简化框图100，其示出了涉及机器110(例如，无人机或机器人)的示例环境，该机器110将使用与其操作相关的机器学习和机器学习模型(例如，分析3D空间、识别目的地和危害、路径规划等)。例如，在一个示例中，机器110可以被实现为自主或半自主机器，能够处理传感器数据(例如，来自一个或多个本地传感器(例如，135)或描述机器110周围环境的外部传感器的传感器数据)并基于机器在场景中识别的危险和/或目的地来利用该信息在场景中自主移动(例如，改变其在场景中的位置和/或改变机器的一个或多个元件(例如，传感器、相机、指示器、致动器、工具等)的定向(例如，朝向))。例如，机器可以利用计算机视觉引擎140检测并识别场景中的各种对象(例如，120a-c)。实现计算机视觉引擎140可以包括一种或多种机器学习模型的实现和执行(使用机器处的一个或多个计算机处理器(例如，130)，包括专用于执行深度学习操作的专用处理器和硬件加速器)。机器可以利用计算机视觉引擎140的结果来(例如，使用路径规划引擎145)确定环境内的路径，并基于检测到的对象自主地导航场景或与场景交互。在一些实现方式中，机器115可被具体化为自主交通工具(用于运载乘客或货物)、空中无人机、陆基无人机或水基无人机、机器人、以及其他示例。如上所述，在一些示例中，机器110可包括计算系统，该计算系统使用一个或多个数据处理器130(诸如一个或多个中央处理单元(CPU)、图形处理单元(GPU)、张量处理单元或其他矩阵算术处理器、硬件加速器(例如，体积处理加速器、机器学习加速器)、以及其他示例通用或专用处理硬件)来实现，并使用一个或多个存储器元件(例如，155)来进一步实现。可以提供附加的逻辑块，其在硬件电路系统、固件或软件中实现，诸如计算机视觉引擎140、路径规划引擎145、一个或多个致动器150(以控制机器110的响应动作)，以及特定于机器的实现方式和目的的其他示例逻辑和功能。在一些实现方式中，机器110可以另外包括一个或多个传感器(例如，135)以测量机器周围环境的各方面(例如，全球定位传感器、光检测和测距(LIDAR)传感器、图像传感器、超声传感器、音频传感器、飞行时间传感器、实感传感器等)。可以将从此类传感器135导出的数据作为输入提供给一个或多个机器学习模型，诸如深度学习网络和其他人工神经网络模型。如在图1的示例中所示，在一些实现方式中，可以由示例神经网络生成器系统(例如，105)开发和提供由示例机器110(和相关的(多个)机器学习计算系统)利用的神经网络模型(例如，125')。在一些实现方式中，可以从由神经网络生成器系统105自动(例如，不是由人类工程师手动地)设计、训练和验证的神经网络的集合中选择或以其他方式提供(例如，通过一个或多个网络112)此类神经网络。例如，进化计算技术和遗传算法可通过神经网络生成器系统105应用来生成特定的神经网络(例如，125')，其可用于机器110，不仅作为在应用级别上提供适当的精度，而且可以调谐到机器110处可用的计算和存储器资源(在一些情况下，例如，由于大小、电池功率或设备的其他限制，可能受到限制)，以及其他示例。近年来，支持传统的手工设计方法的卷积神经网络(CNN)的自动生成(例如，通过AutoML)受到了越来越多的关注。然而，传统的自动神经网络设计方法集中在自动生成高性能、最先进的(SOTA)架构上，其主要目的是设置新的精度标准本文档来自技高网...

【技术保护点】
1.一种非瞬态机器可读存储介质，其上存储有指令，当所述指令由机器执行时使所述机器用于：/n标识多个不同父神经网络模型的定义；/n从语法定义数据中标识在语法进化中使用的语法，其中所述语法定义规则以自动构建有效的神经网络模型；/n基于所述语法来对所述多个父神经网络模型执行语法进化，以生成子神经网络模型集；/n使基于要输入到神经网络模型的代的测试数据集来执行所述神经网络模型的代的测试，其中所述神经网络模型的代包括所述子神经网络模型集；/n基于所述测试，为代中的每个神经网络模型确定属性值集，其中每个属性值集为相对应的神经网络模型的多个不同属性中的每个属性标识相应的值，并且所述多个不同属性中的至少一个属性包括从所述测试中确定的验证精度；/n在为所述神经网络模型的代而确定的属性值集中确定非主导前沿；以及/n基于所述非主导前沿来选择所述神经网络模型的代的子集。/n

【技术特征摘要】
【国外来华专利技术】20181031 US 62/753,8221.一种非瞬态机器可读存储介质，其上存储有指令，当所述指令由机器执行时使所述机器用于：
标识多个不同父神经网络模型的定义；
从语法定义数据中标识在语法进化中使用的语法，其中所述语法定义规则以自动构建有效的神经网络模型；
基于所述语法来对所述多个父神经网络模型执行语法进化，以生成子神经网络模型集；
使基于要输入到神经网络模型的代的测试数据集来执行所述神经网络模型的代的测试，其中所述神经网络模型的代包括所述子神经网络模型集；
基于所述测试，为代中的每个神经网络模型确定属性值集，其中每个属性值集为相对应的神经网络模型的多个不同属性中的每个属性标识相应的值，并且所述多个不同属性中的至少一个属性包括从所述测试中确定的验证精度；
在为所述神经网络模型的代而确定的属性值集中确定非主导前沿；以及
基于所述非主导前沿来选择所述神经网络模型的代的子集。


2.如权利要求1所述的存储介质，其中，所述指令进一步被执行以使机器用于：使用训练数据集对所述子神经网络模型集进行训练，其中在训练所述子神经网络模型集之后执行所述测试。


3.如权利要求2所述的存储介质，其中，所述训练数据集包括数据集的第一子集，而所述测试数据包括所述数据集的第二子集。


4.如权利要求3所述的存储介质，其中，所述数据集包括图像集。


5.如权利要求1-4中任一项所述的存储介质，其中，所述语法定义规则以基于网络模块集来构建有效的神经网络模型，并且使用所述网络模块集各自构建子神经网络集。


6.如权利要求5所述的存储介质，其中，从所述网络模块集中构建神经网络模型包括：
基于所述语法来选择所述网络模块集中网络模块的组合，以将其包括在相应神经网络模型中；以及
基于所述语法来为所选择的每个网络模块设置相应的参数值，以将其包括在相应子神经网络中。


7.如权利要求5-6中任一项所述的存储介质，其中，基于所述语法来从所述网络模块集中构建多个父神经网络模型的至少一个子集。


8.如权利要求5-7中任一项所述的存储介质，其中，所述网络模块集包括多个网络模块，并且所述多个网络模块中的每一个网络模块包括不同的相应类型的网络部分。


9.如权利要求8所述的存储介质，其中，网络部分的类型包括相应神经网络层集。


10.如权利要求8-9中任一项所述的存储介质，其中，所述多个网络模块包括卷积网络模块和起始网络模块。


11.如权利要求5-10中任一项所述的存储介质，其中，基于所述语法来将神经网络中的网络模块连接到完全连接层或最大池化层中的至少一个，以生成相应的神经网络模型。


12.如权利要求1-11中任一项所述的存储介质，其中，神经网络模型的代进一步包括所述父神经网络模型。


13.如权利要求1-12中任一项所述的存储介质，其中，执行语法进化包括对所述父神经网络模型中的每一个的参数值执行改变操作。


14.如权利要求13所述的存储介质，其中，所述改变操作包括变异操作或交叉操作中的至少一个。


15.如权利要求13-14中任一项所述的存储介质，其中，所述改变操作包括基于相应父神经网络模型中层数、核数或滤波器大小中的一个或多个的结构变异。


16.如权利要求15所述的存储介质，其中，所述改变操作进一步包括基于学习率、批量大小、权重衰减、动量、使用的优化器和丢失率中的一个或多个的父神经网络模型的学习参数变异。


17.如权利要求1-16中任一项所述的存储介质，其中，所述神经网络模型的代的子集的选择基于根据所述属性值集的随机二元锦标赛的结果。


18.如权利要求17所述的存储介质，其中，所述随机二元锦标赛的结果基于所述属性值集中的排名值和拥挤距离。


19.如权利要求1-18中任一项所述的存储介质，其中，神经网络模型包括卷积神经网络(CNN)模型。


20.如权利要求1-19中任一项所述的存储介质，其中，基于所述语法来在多代神经网络模型上执行多次进化，下一代神经网络模型基于根据通过测试前一代神经网络模型得到的值确定的相应非主导前沿。


21.一种方法，包括：
标识第一多个不同父神经网络模型的定义；
从语法定义数据中标识在语法进化中使用的语法，其中所述语法定义规则以自动构建有效的神经网络模型；
基于所述语法来对所述第一多个父神经网络模型执行语法进化，以生成第一组子神经网络模型；
基于要输入到神经网络模型的代的测试数据集来执行所述神经网络模型的代的测试，其中所述神经网络模型的代包括所述第一组子神经网络模型；
针对神经网络模型的代中的每个神经网络模型，确定多个属性中的每一个属性的相应值，其中所述多个属性中的至少一个属性包括从所述测试中确定的验证精度值；
基于多个属性的值来执行多目标优化以用于神经网络的代，其中所述多目标优化确定与所述神经网络模型的代相关联的至少一个非主导前沿；以及
基于所述非主导前沿来选择所述神经网络模型的代的子集。

...

【专利技术属性】
技术研发人员：D·M·莫洛尼，X·徐，T·F·L·塞托，J·D·拜恩，
申请(专利权)人：莫维迪厄斯有限公司，
类型：发明
国别省市：荷兰;NL