神经网络的裁剪、训练方法、类识别方法及相关装置制造方法及图纸

一种神经网络的裁剪、训练方法、类识别方法及相关装置，应用于人工智能领域，涉及联邦学习，该裁剪方法包括：获取目标类特征，该目标类特征用于表征属于目标类的数据的特点；根据目标类特征对全局神经网络进行裁剪，得到局部神经网络，其中，全局神经网络用于识别多个类，局部神经网络用于识别所述目标类，该多个类包括目标类。该训练方法包括：通过训练集对全局神经网络裁剪得到的局部神经网络进行训练，得到的训练后的神经网络，该训练后的神经网络用于更新全局神经网络，其中，目标类包括训练集中的样本所属的类。中的样本所属的类。中的样本所属的类。

【技术实现步骤摘要】
神经网络的裁剪、训练方法、类识别方法及相关装置


[0001]本专利技术涉及人工智能
，尤其涉及一种神经网络的裁剪、训练方法、类识别方法及相关装置。

技术介绍

[0002]随着科学技术的发展，人工智能得到越来越广泛的应用。应用人工智能的关键在于训练得到准确度高的机器学习模型。神经网络模型是机器学习领域应用最为广泛的模型。
[0003]神经网络模型在训练的过程中通常采用多个训练集分别进行训练。由于每次训练采用的训练集中样本不均，例如，神经网络模型为5分类模型，若训练采用的训练集中部分类别的样本缺失，例如只包含2类的样本，训练过程会对该缺失的类别所起作用的神经元的参数会任意更新，这种训练集与需要训练神经网络不匹配，不仅会导致训练效率低，还会降低模型的准确性。另外，神经网络应用过程中，难以根据用户的需求对神经网络进行调整，以得到用户需要的神经网络。
[0004]因此，神经网络无法适配训练集或用户，是当前需要解决的技术问题。

技术实现思路

[0005]本申请实施例提供了一种神经网络的裁剪、训练方法、类识别方法及相关装本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络的裁剪方法，其特征在于，包括：获取目标类特征，所述目标类特征用于表征属于目标类的数据的特点；根据所述目标类特征对全局神经网络进行裁剪，得到局部神经网络，其中，所述全局神经网络用于识别多个类，所述局部神经网络用于识别所述目标类，所述多个类包括所述目标类。2.根据权利要求1所述的方法，其特征在于，所述局部神经网络包括所述全局神经网络中用于识别所述目标类的神经元；第一类与第二类为所述多个类中的两个类；所述第一类的类特征与所述第二类的类特征越相似，所述全局神经网络中用于识别所述第一类的神经元与用于识别所述第二类的神经元中相同的神经元越多。3.根据权利要求1或2所述的方法，其特征在于，所述目标类特征包括n维数据，n为正整数，所述根据所述目标类特征对全局神经网络进行裁剪，得到局部神经网络，包括：针对所述n维数据中的每维数据，以所述每维数据为均值生成所述每维数据对应的概率分布，得到n个概率分布，所述n个概率分布与所述n维数据一一对应；根据所述n个概率分布对所述全局神经网络进行裁剪，得到所述局部神经网络。4.根据权利要求3所述的方法，其特征在于，所述根据所述n个概率分布对所述全局神经网络进行裁剪，得到所述局部神经网络，包括：对所述全局神经网络中的每层层结构分别进行编码；确定所述全局神经网络中的每层层结构中每个神经元的分布值为所述每层层结构对应的概率分布中所述每个神经元的编码对应的值，所述n个维度与所述全局神经网络中的层结构具有对应关系，所述每层层结构对应的概率分布为所述n个概率分布中的所述每层层结构对应的维度所对应的概率分布；去除所述全局神经网络中分布值小于第一阈值的神经元，得到所述局部神经网络。5.根据权利要求3所述的方法，其特征在于，所述根据所述n个概率分布对所述全局神经网络进行裁剪，得到所述局部神经网络，包括：对所述全局神经网络中的所有神经元进行编码；将所述n个概率分布的每个概率分布增加偏置后进行叠加；确定所述全局神经网络中的每个神经元的分布值为叠加后的概率分布中所述每个神经元的编码对应的值；去除所述全局神经网络中分布值小于第二阈值的神经元，得到所述局部神经网络。6.根据权利要求3-5任一项所述的方法，其特征在于，所述目标类包括至少2个类，所述获取目标类特征包括：对所述目标类中每个类的类特征进行加权求和，得到所述目标类特征。7.根据权利要求1或2所述的方法，其特征在于，所述目标类包括至少2个类，所述目标类特征包括所述至少2个类中每个类的类特征，所述根据所述目标类特征对全局神经网络进行裁剪，得到局部神经网络，包括：针对所述目标类中每个类，根据所述每个类的类特征生成所述每个类的概率分布，根据所述每个类的概率分布确定所述全局神经网络中对所述每个类起作用的神经元；确定所述全局神经网络对目标类起作用的神经元为所述全局神经网络对目标类中所有类分别起作用的神经元的并集；
去除所述全局神经网络中除所述对所述目标类起作用的神经元之外的神经元，得到所述局部神经网络。8.根据权利要求7所述的方法，其特征在于，所述每个类的类特征包括n维数据，n为正整数，所述根据所述每个类的类特征生成所述每个类的概率分布，包括：针对所述n维数据中的每维数据，以所述每维数据为均值生成所述每维数据对应的概率分布，得到n个概率分布，所述n个概率分布与所述n维数据一一对应，所述每个类的概率分布包括所述n个概率分布。9.根据权利要求8所述的方法，其特征在于，所述根据所述每个类的概率分布确定所述全局神经网络中对所述每个类起作用的神经元，包括：对所述全局神经网络中的每层层结构分别进行编码；确定所述全局神经网络中的每层层结构中每个神经元的分布值为所述每层层结构对应的概率分布中所述每个神经元的编码对应的值，所述n个维度与所述全局神经网络中的层结构具有对应关系，所述每层层结构对应的概率分布为所述n个概率分布中的所述每层层结构对应的维度所对应的概率分布；去除所述全局神经网络中分布值小于第三阈值的神经元，得到所述全局神经网络中对所述每个类起作用的神经元。10.根据权利要求8所述的方法，其特征在于，所述根据所述每个类的概率分布确定所述全局神经网络中对所述每个类起作用的神经元，包括：对所述全局神经网络中的所有神经元进行编码；将所述n个概率分布的每个概率分布增加偏置后进行叠加；确定所述全局神经网络中的每个神经元的分布值为叠加后的概率分布中所述每个神经元的编码对应的值；去除所述全局神经网络中分布值小于第四阈值的神经元，得到所述全局神经网络中对所述每个类起作用的神经元。11.一种神经网络的训练方法，其特征在于，包括：获取目标类特征；所述目标类特征用于表征属于目标类的样本的特点，所述目标类包括训练集中样本所属的类；根据所述目标类特征对全局神经网络进行裁剪，得到第一局部神经网络；通过所述训练集训练所述第一局部神经网络，得到第二局部神经网络；其中，所述第二局部神经网络用于更新所述全局神经网络；所述全局神经网络用于识别多个类，所述第二局部神经网络用于识别所述目标类，所述多个类包括所述目标类。12.根据权利要求11所述的方法，其特征在于，所述第一局部神经网络包括所述全局神经网络中用于识别所述目标类的神经元；第一类与第二类为所述多个类中的两个类；所述第一类的类特征与所述第二类的类特征相似，则所述全局神经网络中用于识别所述第一类的神经元与用于识别所述第二类的神经元中相同的神经元越多。13.根据权利要求11或12所述的方法，其特征在于，所述目标类特征包括n维数据，n为正整数，所述根据所述目标类特征对全局神经网络进行裁剪，得到第一局部神经网络，包括：针对所述n维数据中的每维数据，以所述每维数据为均值生成所述每维数据对应的概
率分布，得到n个概率分布，所述n个概率分布与所述n维数据一一对应；根据所述n个概率分布对所述全局神经网络进行裁剪，得到所述第一局部神经网络。14.根据权利要求13所述的方法，其特征在于，所述根据所述n个概率分布对所述全局神经网络进行裁剪，得到所述第一局部神经网络，包括：对所述全局神经网络中的每层层结构分别进行编码；确定所述全局神经网络中的每层层结构中每个神经元的分布值为所述每层层结构对应的概率分布中所述每个神经元的编码对应的值，所述n个维度与所述全局神经网络中的层结构具有对应关系，所述每层层结构对应的概率分布为所述n个概率分布中的所述每层层结构对应的维度所对应的概率分布；去除所述全局神经网络中分布值小于第一阈值的神经元，得到所述第一局部神经网络。15.根据权利要求13所述的方法，其特征在于，所述根据所述n个概率分布对所述全局神经网络进行裁剪，得到所述第一局部神经网络，包括：对所述全局神经网络中的所有神经元进行编码；将所述n个概率分布的每个概率分布增加偏置后进行叠加；确定所述全局神经网络中的每个神经元的分布值为叠加后的概率分布中所述每个神经元的编码对应的值；去除所述全局神经网络中分布值小于第二阈值的神经元，得到所述第一局部神经网络。16.根据权利要求13-15任一项所述的方法，其特征在于，所述目标类包括至少2个类，所述获取目标类特征包括：对所述目标类中每个类的类特征进行加权求和，得到所述目标类特征。17.根据权利要求11或12所述的方法，其特征在于，所述目标类包括至少2个类，所述目标类特征包括所述至少2个类中每个类的类特征，所述根据所述目标类特征对全局神经网络进行裁剪，得到第一局部神经网络，包括：针对所述目标类中每个类，根据所述每个类的类特征生成所述每个类的概率分布，根据所述每个类的概率分布确定所述全局神经网络络中对所述每个类起作用的神经元；确定所述全局神经网络对目标类起作用的神经元为所述全局神经网络对目标类中所有类分别起作用的神经元的并集；去除所述全局神经网络中除所述对所述目标类起作用的神经元之外的神经元，得到所述第一局部神经网络。18.根据权利要求17所述的方法，其特征在于，所述每个类的类特征包括n维数据，n为正整数，所述根据所述每个类的类特征生成所述每个类的概率分布，包括：针对所述n维数据中的每维数据，以所述每维数据为均值生成所述每维数据对应的概率分布，得到n个概率分布，所述n个概率分布与所述N2维数据一一对应，所述每个类的概率分布包括所述n个概率分布。19.根据权利要求18所述的方法，其特征在于，所述根据所述每个类的概率分布确定所述全局神经网络络中对所述每个类起作用的神经元，包括：对所述全局神经网络中的每层层结构分别进行编码；
确定所述全局神经网络中的每层层结构中每个神经元的分布值为所述每层层结构对应的概率分布中所述每个神经元的编码对应的值，所述n个维度与所述全局神经网络中的层结构具有对应关系，所述每层层结构对应的概率分布为所述n个概率分布中的所述每层层结构对应的维度所对应的概率分布；去除所述全局神经网络中分布值小于第三阈值的神经元，得到所述全局神经网络中对所述每个类起作用的神经元。20.根据权利要求18所述的方法，其特征在于，所述根据所述每个类的概率分布确定所述全局神经网络中对所述每个类起作用的神经元，包括：对所述全局神经网络中的所有神经元进行编码；将所述n个概率分布的每个概率分布增加偏置后进行叠加；...

【专利技术属性】
技术研发人员：邵云峰，李刚，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：