神经网络选择制造技术

本发明专利技术题为神经网络选择。本发明专利技术公开了一种识别用于处理数据的神经网络的计算机实现的方法，该方法包括：基于响应于将训练数据集输入到教师神经网络中而在该教师神经网络的神经元中生成的激活模式的相似性，将该训练数据集聚类成多个数据聚类；训练学生神经网络以用于处理该多个数据聚类中的每个数据聚类；以及提供数据分类器神经网络，以用于基于数据的数据聚类识别该经训练的学生神经网络中用于处理数据的一个或多个经训练的学生神经网络。处理数据的一个或多个经训练的学生神经网络。处理数据的一个或多个经训练的学生神经网络。

【技术实现步骤摘要】
神经网络选择

技术介绍


[0001]本公开涉及识别用于处理数据的神经网络的计算机实现的方法。本专利技术还公开了相关的非暂态计算机可读存储介质、系统和设备。
[0002]相关技术说明
[0003]神经网络用于多种多样的应用诸如图像分类、语音识别、字符识别、图像分析、自然语言处理、手势识别等。许多不同类型的神经网络诸如卷积神经网络“CNN”、当前神经网络“RNN”、生成对抗网络“GAN”和自动编码器已被开发和定制用于此类应用。
[0004]神经元是神经网络的基本单元。神经元具有一个或多个输入并基于这些输入生成输出。通常将施加到每个输入的数据的值乘以“权重”，并对结果求和。将求和后的结果输入到“激活函数”中，以便确定神经元的输出。该激活函数还具有通过向神经元的激活提供阈值来控制该神经元的输出的“偏差”。神经元通常被布置在层中，这些层可包括输入层、输出层以及布置在该输入层和该输出层之间的一个或多个隐藏层。权重确定网络中神经元之间的连接的强度。权重、偏差和神经元连接是神经网络的“可训练参数”的示例，其在神经网络“训练”过程期间“学习”，或换句话讲，能够被训练。神经网络(尤其是在包括归一化层的神经网络中的神经网络)的可训练参数的另一个示例是(批量)归一化参数。在训练期间，(批量)归一化参数是从流经归一化层的数据的统计值中学习的。
[0005]神经网络还包括用于控制神经网络训练过程的“超参数”。根据所涉及的神经网络的类型，超参数可例如包括以下中的一者或多者：学习速率、衰减速率、动量、学习时间表和批量大小。学习速率控制在训练期间进行的权重调整的量值。批量大小在本文中被定义为用于在每次迭代中训练神经网络模型的数据点的数量。神经网络的超参数和可训练参数一起在本文中被定义为神经网络的“参数”。
[0006]训练神经网络的过程包括调整连接神经网络中的神经元的权重，以及调整激活函数的控制神经元的输出的偏差。有两种主要的训练方法：监督学习和无监督学习。监督学习涉及为神经网络提供包括输入数据和对应的输出数据的训练数据集。该训练数据集表示神经网络在训练之后将可能被用于分析的输入数据。在监督学习期间，权重和偏差被自动调整，使得当与输入数据一起呈现时，神经网络准确地提供对应的输出数据。据说利用该对应的输出数据对该输入数据进行“标记”或“分类”。在无监督学习中，神经网络通过同样自动调整权重和偏差来决定其自身如何基于输入数据中的共同特征对包括无标记输入数据的训练数据集进行分类或根据该训练数据集生成另一种类型的预测。半监督学习是另一种训练方法，其中训练数据集包括带标记数据和无标记数据的组合。通常，训练数据集包括带标记数据的一小部分。在训练期间，使用来自带标记数据的引导自动调整神经网络的权重和偏差。
[0007]无论使用何种训练过程，训练神经网络通常都涉及输入大型训练数据集，以及对神经网络参数进行多次调整迭代，直到经训练的神经网络提供准确的输出。应当理解，为了
执行训练，通常需要大量的处理资源。训练通常使用图形处理单元“GPU”或专用神经处理器诸如神经处理单元“NPU”或张量处理单元“TPU”来执行。因此，训练通常采用集中式方法，其中基于云或基于主机的神经处理器用于训练神经网络。在利用训练数据集进行训练之后，可将经训练的神经网络部署到用于分析新数据(被称为“推断”的过程)的设备。推断可由中央处理单元“CPU”、GPU、NPU在服务器上或在云中执行。
[0008]然而，仍然需要提供改善的神经网络。

技术实现思路

[0009]根据本公开的第一方面，提供了一种识别用于处理数据的神经网络的计算机实现的方法。
[0010]该方法包括：
[0011]‑
基于响应于将训练数据集输入到教师神经网络中而在该教师神经网络的神经元中生成的激活模式的相似性，将该训练数据集聚类成多个数据聚类；
[0012]‑
通过以下方式训练学生神经网络以用于处理该多个数据聚类中的每个数据聚类：对于每个数据聚类，将来自该数据聚类的数据输入到学生神经网络中并输入到教师神经网络中，以及基于该教师神经网络的输出来优化学生神经网络的参数；以及
[0013]‑
提供数据分类器神经网络，以用于基于数据的数据聚类识别经训练的学生神经网络中用于处理该数据的一个或多个经训练的学生神经网络。
[0014]根据本公开的第二方面，提供数据分类器神经网络包括：
[0015]‑
将训练数据集输入到该数据分类器神经网络中，以及训练该数据分类器神经网络基于通过聚类提供的对应数据聚类来识别该训练数据集中的每个数据聚类。
[0016]根据本公开的其他方面，提供了一种非暂态计算机可读存储介质、系统和设备。关于计算机实现的方法所公开的功能还可采用非暂态计算机可读存储介质和系统以及设备以对应的方式来实现。
[0017]在一些示例中，提供数据分类器神经网络包括：将训练数据集输入到该数据分类器神经网络中，以及训练该数据分类器神经网络基于通过聚类提供的对应数据聚类来识别该训练数据集中的每个数据聚类。
[0018]在一些示例中，聚类训练数据集，以及训练学生神经网络，以及提供数据分类器神经网络，以及训练数据分类器神经网络使用第一处理系统的一个或多个处理器来执行。
[0019]在一些示例中，训练数据分类器神经网络识别训练数据集中的每个数据聚类包括调整数据分类器神经网络的参数，直到基于数据分类器神经网络的输出和通过聚类提供的对应数据聚类之间的差值的损失函数满足停止标准。
[0020]在一些示例中，训练数据集包括多组数据元素，每个组具有标识该组中的数据元素的起源的源标记，并且其中该聚类包括基于响应于将每个组的数据元素输入到教师神经网络中而在该教师神经网络的神经元中生成的激活模式的相似性来组合该多组数据元素以提供数据聚类。
[0021]在一些示例中，基于教师神经网络的输出来优化学生神经网络的参数包括调整学生神经网络的参数，直到基于该学生神经网络的输出和该教师神经网络的输出之间的差值的损失函数满足停止标准。
[0022]在一些示例中，初始神经网络由经训练的学生神经网络提供，或者其中该初始神经网络由教师神经网络提供。
[0023]在一些示例中，压缩初始神经网络和/或数据分类器神经网络和/或每个经训练的学生神经网络包括执行相应神经网络的神经架构搜索和/或删减和/或权重聚类和/或量化。
[0024]在一些示例中，第一处理系统是基于云的处理系统、或基于服务器的处理系统或基于主机的处理系统，并且/或者其中第二处理系统是客户端设备处理系统、或远程设备处理系统或基于移动设备的处理系统。
[0025]通过以下参考附图给出的仅以举例的方式给出的本公开的优选具体实施的描述，本公开的其他特征和优点将变得显而易见。
附图说明
[0026]图1是示出示例性神经网络的示意图。
[0027]图2是示出示例性神经元的示意图。
[0028]图3是示出根据本公开的一些方面的识别用于处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种识别用于处理数据的神经网络的计算机实现的方法，所述方法包括：基于响应于将训练数据集输入到教师神经网络中而在教师神经网络的神经元中生成的激活模式的相似性，将训练数据集聚类成多个数据聚类；训练学生神经网络以用于处理所述多个数据聚类中的每个数据聚类；以及提供数据分类器神经网络，以用于基于所述数据的数据聚类识别所述经训练的学生神经网络中用于处理数据的一个或多个经训练的学生神经网络。2.根据权利要求1所述的计算机实现的方法，其中所述训练学生神经网络以用于处理所述多个数据聚类中的每个数据聚类包括：i)对于每个数据聚类，将来自所述数据聚类的数据输入到学生神经网络中并输入到所述教师神经网络中，以及基于所述教师神经网络的所述输出来优化所述学生神经网络的参数，或者ii)对于每个数据聚类，将来自所述数据聚类的数据输入到学生神经网络中并且基于所述数据的对应标记来优化所述学生神经网络的参数。3.根据权利要求1所述的计算机实现的方法，其中所述聚类训练数据集，以及其中所述训练学生神经网络，以及其中所述提供数据分类器神经网络使用第一处理系统的一个或多个处理器来执行，并且所述方法包括：使用所述第一处理系统的所述一个或多个处理器将所述数据分类器神经网络从所述第一处理系统部署到第二处理系统的一个或多个处理器；以及/或者使用所述第一处理系统的所述一个或多个处理器，以及响应于来自所述第二处理系统的所述一个或多个处理器的、基于由所部署的数据分类器神经网络识别的一个或多个数据聚类生成的请求，将所述经训练的学生神经网络中的一个或多个经训练的学生神经网络从所述第一处理系统部署到所述第二处理系统的所述一个或多个处理器，以用于处理由所述第二处理系统的所述一个或多个处理器接收的数据。4.根据权利要求3所述的计算机实现的方法，所述方法包括使用所述第一处理系统的一个或多个处理器压缩所述数据分类器神经网络和/或每个经训练的学生神经网络，使得所述第一处理系统的所述一个或多个处理器将所述已压缩的数据分类器神经网络部署到所述第二处理系统的所述一个或多个处理器，并且/或者使得响应于来自所述第二处理系统的所述一个或多个处理器的请求，所述第一处理系统的所述一个或多个处理器将所述一个或多个已压缩的经训练的学生神经网络分别部署到所述第二处理系统的所述一个或多个处理器。5.根据权利要求1所述的计算机实现的方法，其中所述聚类训练数据集，以及其中所述训练学生神经网络，以及其中所述提供数据分类器神经网络使用第一处理系统的一个或多个处理器来执行，并且所述方法包括：使用所述第一处理系统的所述一个或多个处理器将所述数据分类器神经网络从所述第一处理系统部署到第二处理系统的一个或多个处理器；以及使用所述第二处理系统的所述一个或多个处理器接收数据；使用所述第二处理系统的所述一个或多个处理器将所接收的数据输入到所述数据分类器神经网络中；使用所述第二处理系统的所述一个或多个处理器来使用所述数据分类器神经网络将所接收的数据分类为属于所述多个数据聚类中的一个或多个数据聚类；
使用所述第二处理系统的所述一个或多个处理器记录由所述数据分类器神经网络分类的所述数据聚类的历史；以及使用所述第二处理系统的所述一个或多个处理器、基于由所述数据分类器神经网络分类的所述数据聚类的所记录历史，识别所述经训练的学生神经网络中的一个或多个经训练的学生神经网络，以用于处理由所述第二处理系统的所述一个或多个处理器接收的另外的数据。6.根据权利要求5所述的计算机实现的方法，所述方法包括：使用所述第一处理系统的所述一个或多个处理器将初始神经网络从所述第一处理系统部署到所述第二处理系统的所述一个或多个处理器；使用所述第二处理系统的所述一个或多个处理器将所接收的数据输入到所述初始神经网络中；以及响应于所述将所接收的数据输入到所述初始神经网络中，使用所述第二处理系统的所述一个或多个处理器从所述初始神经网络生成输出；并且/或者其中所述识别包括将来自所述第二处理系统的所述一个或多个处理器的请求发送到所述第一处理系统的所述一个或多个处理器，使得所述第一处理系统将所识别的一个或多个经训练的学生神经网络部署到所述第二处理系统的所述一个...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：ARM云技术公司，
类型：发明
国别省市：