一种基于难样本学习与神经网络融合的机器学习方法技术

本发明专利技术涉及一种基于难样本学习与神经网络融合的机器学习方法，属于人工智能技术领域。所述方法在全部训练样本集和困难训练样本集上学习得到两个神经网络，再融合这两个神经网络得到一个性能更好的新的神经网络；难样本学习和网络融合过程可反复多次进行，直到神经网络的性能不能提高为止，从而在保持容易样本计算精度的前提下有效提高难样本计算精度；所述方法亦可适用于通过其他任意方式得到的网络，比如在递增学习中将在新增训练样本上学习得到的网络与原有网络进行融合，或者将用两种不同学习方法得到的网络进行融合。所述方法将两个或以上不同神经网络融合成一个性能更好的网络，整体计算更可靠、精度更高。

【技术实现步骤摘要】
一种基于难样本学习与神经网络融合的机器学习方法
本专利技术涉及一种基于难样本学习与神经网络融合的机器学习方法，属于人工智能

技术介绍
神经网络学习，特别是深度网络学习，通常需要大数据来获得好的学习效果。但大量数据总体上学习较好，并不意味着所有数据结果都好，可能有少量难以学习的样本被淹没在大量数据中得不到充分的学习，导致整体学习效果不能得到进一步的提升。通过在少量难样本上单独学习可以凸显出这部分样本的特性，再与整体学习结果融合，应可有效地提高神经网络的学习效果。此外，这种学习手段不仅可用于解决难样本问题，还可用于在新增样本时，仅对新增样本进行学习，再与原始学习结果融合，从而实现递增学习。目前机器学习通常是在给定的全部数据集上进行，专门针对难样本进行学习并与全部数据集上学习结果进行融合的手段尚未见到，导致学习结果虽然在总体上较好，但进一步提高学习精度却比较困难。目前神经网络的已有学习技术中尚无与本专利技术所提出的技术相同的思路，与之存在一定关联的学习方法为迁移学习以及困难样本学习。迁移学习的基本思路是以在某一数据集(该数据集通常较大)下的学习结果为基础，继续在另一数据集(该数据集通常较小)下进行学习，所要解决的是训练数据集不足的问题。困难样本学习的两种现有手段是：1)对困难样本进行数据增强；2)设计对困难样本有效的损失函数，与本专利技术中通过单独学习难样本再将其与全部样本上的学习结果融合起来的思路是完全不同的。
技术实现思路
本专利技术的目的是基于现有神经网络计算精度有待进一步提高的技术现状，提出了一种基于难样本学习与神经网络融合的机器学习方法，分别在全部训练样本集和困难训练样本集上学习得到两个神经网络，然后对这两个神经网络的参数进行融合后得到一个新的神经网络，作为求精后的学习结果。这一难样本学习和网络融合过程可反复多次进行，直到神经网络的性能不能再得到提高为止。另外，本专利技术虽然是对全部训练样本集和困难训练样本集上学习得到的网络进行融合，但所述网络融合方法亦可适用于通过其他任意方式得到的网络，比如在递增学习中将在新增训练样本上学习得到的网络与原有网络进行融合或将用两种不同学习方法得到的网络进行融合。所述基于难样本学习与神经网络融合的学习方法，包括如下步骤：步骤1：基于训练数据集的全部样本对神经网络进行训练，得出训练好的神经网络A1；步骤2：利用训练好的神经网络A1对全部训练样本进行测试，将其中测试精度低于给定值的样本取出，用于训练新的神经网络，得出训练好的神经网络B1；其中，测试精度低于给定值的样本，称为困难样本或难样本；步骤3：将神经网络A1和神经网络B1组合成为一个神经网络AB1；其中，组合方式是对于神经网络A1和神经网络B1中所有需要组合在一起的对应神经元，再增加一个神经元，该新增神经元以这两个对应神经元的输出值作为输入，经新增神经元计算后产生输出；步骤4：在全部训练数据上，仅对神经网络AB1中新增神经元的参数进行学习，形成训练好的神经网络AB1；步骤5：获得神经网络C1，其结构与神经网络A1及神经网络B1的结构相同，其参数为利用步骤4中学习得到的神经网络AB1中新增神经元的参数，将对应位置处神经网络A1的参数与神经网络B1的参数组合成为一个参数所得到的结果；至此，从步骤1到步骤5，完成了神经网络的第1次难样本学习与融合求精,得到神经网络C1；步骤6：利用神经网络C1对全部训练样本进行测试，将其中测试精度低于给定值的样本取出，用于训练新的神经网络，得出训练好的神经网络B2；步骤7：将神经网络C1和神经网络B2组合成为一个神经网络CB1，组合方式同以上步骤3；步骤8：在全部训练数据上，仅对神经网络CB1中新增神经元的参数进行学习，形成训练好的神经网络CB1；步骤9：获得神经网络C2，其结构与神经网络C1及神经网络B2的结构相同，其参数为利用步骤8中学习得到的神经网络CB1中新增神经元的参数，将对应位置处神经网络C1的参数与神经网络B2的参数组合成为一个参数所得到的结果；至此，从步骤6到步骤9，完成了神经网络的第2次难样本学习与融合求精，得到神经网络C2；其中，神经网络C1称为1次求精网络，神经网络C2称为2次求精网络；步骤10：依据上述步骤1到步骤5以及步骤6到步骤9的规则以及具体实施场景要求，继续进行难样本学习与网络融合，直至n次求精网络Cn的性能收敛为止；至此，从步骤1到步骤10，实现了一种基于难样本学习与神经网络融合的机器学习方法。有益效果本专利技术提出的一种基于难样本学习与神经网络融合的机器学习方法，与现有技术相比，具有如下有益效果：1.所述方法可将两个及以上不同神经网络融合成一个性能更好的网络，使其整体计算精度高于参与融合的各个网络；2.所述方法采用机器学习方式对两个及以上不同神经网络进行融合，融合参数在训练数据上学习得到，非手工设定，融合结果准确、可靠；3.所述方法可解决在难样本上已有机器学习方法效果不理想的问题，在全部训练数据集合以及难样本训练集合上分别学习得到两个神经网络，利用所述方法对这两个神经网络融合后获得新的神经网络，从而既能使学习专注于难样本，在难样本上获得好的计算精度，又能保持在容易样本上的计算精度，从而获得理想的整体计算精度；4.上述难样本学习与融合求精过程可反复多次，从而能够不断通过难样本的筛选学习和与已有网络的融合来使得神经网络的计算精度不断得到求精；5.所述方法还可应用于解决神经网络的递增学习问题，在已有训练样本上学习得到神经网络后，当训练样本增加时，可仅在新增样本上学习得到新的神经网络，然后采用所述神经网络融合方法将该新的神经网络与已有神经网络融合得到求精后的神经网络，既能适应新增数据，又能保持对原有数据的计算精度。附图说明图1是本专利技术实施例中的图像协同分割网络结构；图2是本专利技术一种基于难样本学习与神经网络融合的机器学习方法中通过不断进行难样本筛选学习并将难样本学习结果与已有学习结果融合来不断提高神经网络计算精度的学习过程；图3是本专利技术实施例中的两个图像协同分割网络对应神经元的组合方式；图4是本专利技术实施例中应用本专利技术后的图像分割效果示例。具体实施方式下面结合附图及具体实施例对本专利技术所述的一种基于难样本学习与神经网络融合的机器学习方法进行详细阐述。实施例1本专利技术所述方法在具体实施时，将神经网络融合，并不限于步骤1和步骤2所述的，即神经网络B1不必须基于难样本训练得出；神经网络A1与神经网络B1可以是通过其他方式获得的两个独立的的网络；进一步地，具体实施时，网络数量可增加为大于两个，参与融合的网络结构也可以不同，例如：＂在递增学习中将在新增训练样本上学习得到的网络与原有网络进行融合，或者将用两种不同学习方法得到的网络进行融合"的情况，也是本专利技术所述方法衍生出来的具体实施。本实施例描述了将本专利技术本文档来自技高网...

【技术保护点】
1.一种基于难样本学习与神经网络融合的机器学习方法，其特征在于：包括如下步骤：/n步骤1：基于训练数据集的全部样本对神经网络进行训练，得出训练好的神经网络A

【技术特征摘要】
1.一种基于难样本学习与神经网络融合的机器学习方法，其特征在于：包括如下步骤：
步骤1：基于训练数据集的全部样本对神经网络进行训练，得出训练好的神经网络A1；
步骤2：利用训练好的神经网络A1对全部训练样本进行测试，将其中测试精度低于给定值的样本即难样本取出，用于训练新的神经网络，得出训练好的神经网络B1；
步骤3：将神经网络A1和神经网络B1组合成为一个神经网络AB1；
步骤4：在全部训练数据上，仅对神经网络AB1中新增神经元的参数进行学习，形成训练好的神经网络AB1；
步骤5：获得神经网络C1，其结构与神经网络A1及神经网络B1的结构相同，其参数为利用步骤4中学习得到的神经网络AB1中新增神经元的参数，将对应位置处神经网络A1的参数与神经网络B1的参数组合成为一个参数所得到的结果；
步骤6：利用神经网络C1对全部训练样本进行测试，将其中测试精度低于给定值的样本取出，用于训练新的神经网络，得出训练好的神经网络B2；
步骤7：将神经网络C1和神经网络B2组合成为一个神经网络CB1；
步骤8：在全部训练数据上，仅对神经网络CB1中新增神经元的参数进行学习，形成训练好的神经网络CB1；
步骤9：获得神经网络C2，其结构与神经网络C1及神经网络B2的结构相同，其参数为利用步骤8中学习得到的神经网络CB1中新增神经元的参数，将对应位置处神经网络C1的参数与神经网络B2的参数组合成为一个参数所得到的结果；
步...

【专利技术属性】
技术研发人员：刘峡壁，许肖汉，
申请(专利权)人：北京深境智能科技有限公司，广东申义实业投资有限公司，
类型：发明
国别省市：北京;11