一种基于小样本的神经网络筛选方法和装置制造方法及图纸

本申请提供了一种基于小样本的神经网络筛选方法和装置，属于神经网络训练和集成学习技术领域，具体由通常训练方法训练出的多个初步合格神经网络基础上，用筛选出少量相对合格的神经网络，再用“表决成功率”和“评价相同率均值”筛选出泛化能力较强的最优神经网络组合，最后定量估算出最优神经网络组合的泛化能力。本发明专利技术的方法可以从基于小样本训练出来的若干神经网络中筛选出泛化能力较强的神经网络组合；步骤清晰，可以开发软件自动执行，筛选效率较高；而且，随着样本的不断积累，本申请的方法可以反复迭代，使得筛选出的神经网络持续进化。选出的神经网络持续进化。选出的神经网络持续进化。

【技术实现步骤摘要】
一种基于小样本的神经网络筛选方法和装置


[0001]本申请涉及神经网络训练和集成学习的领域，尤其是涉及一种基于小样本的神经网络筛选方法和装置。

技术介绍

[0002]当新样本获取代价很高(例如软件质量评价的样本)时，对基于小样本训练出来的神经网络存在的泛化能力较差和泛化能力无法定量估算等问题，现有方法不能解决。
[0003]基于小样本训练神经网络时，通常会采用一些技巧，例如：借鉴Dropout方法的思路，在训练前随机去掉少量度量元，或者计算皮尔逊相关系数，去掉紧密相关的度量元等，以减少输入层节点个数，增加样本个数与它的比例；还有的仅计算准确率，只要测试样本准确率高，就认为神经网络训练成功了。但是，因为训练样本数量很少，在训练中参与计算累计误差的数据量相应很少，实际累计误差过早地小于了预定值，导致训练相比于大量样本而言过早结束；所以，经这些方法训练合格的一些神经网络，虽然都已达到了训练集上累计误差最小化的目标，但实际获得的却是初步合格的神经网络——它们中有的过拟合，大部分的泛化能力较弱，只有小部分的较强。这点与经大量样本训练后合格的神经网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于小样本的神经网络筛选方法，其特征在于，包括：步骤1、利用训练样本训练出初步合格的神经网络；步骤2、计算初步合格的神经网络对测试样本的测试误差，用第一指标，筛选出m个相对合格的神经网络；步骤3、计算每个备选组的表决成功率和评价相同率均值，筛选出表决成功率和评价相同率均值同时满足预设要求、且第二指标的备选组，作为最优神经网络组合；步骤4、采用t分布，定量估算出最优神经网络组合的泛化能力，并判断是否满足最终要求，如果泛化能力达到或超过第三指标，满足最终要求，方法结束，反之，不满足最终要求，重新回到步骤1。2.根据权利要求1所述的基于小样本的神经网络筛选方法，其特征在于，所述步骤1利用训练样本训练出初步合格的神经网络步骤之前还包括：按照预设的比例将小样本分成训练样本和测试样本。3.根据权利要求1所述的基于小样本的神经网络筛选方法，其特征在于，所述步骤2中测试误差使用均方差计算，所述第一指标在[10,50]内取值。4.根据权利要求1所述的基于小样本的神经网络筛选方法，其特征在于，所述步骤3中计算每个备选组的表决成功率和评价相同率均值步骤之前还包括：为样本里的每个度量元生成1组w个符合各自统计分布的随机数，每个度量元依次从为它生成的随机数中取出一个，组成一条模拟数据；以每条模拟数据为输入，为每个相对合格的神经网络分别计算输出结果；以k个相对合格的神经网络组成一个备选组，共个备选组，其中，k是奇数，k小于m；对同一备选组内每个神经网络的输出结果，以简单投票法进行表决：如果超过半数的输出结果相同，则输出结果就是备选组对这条模拟数据的表决结果，如果没有超过半数的输出结果相同，则备选组对这条模拟数据没有表决结果；所述表决成功率等于所述评价相同率均值是评价相同率的算术平均数，所述评价相同率等于5.根据权利要求1所述的基于小样本的神经网络筛选方法，其特征在于，所述步骤4中，采用t分布定量估算出最优神经网络组合的泛化能力步骤之前还包括：为样本里的每个度量元再次生成n组、每组w...

【专利技术属性】
技术研发人员：陈鑫，陈奎，王娟，张祎彤，张宇坤，史岩，刘海棠，刘绚，刘婷婷，
申请(专利权)人：中国航空工业集团公司西安航空计算技术研究所，
类型：发明
国别省市：