一种有限数据下基于脑启发的深度神经网络增强方法技术

本发明专利技术提出了一种有限数据下基于脑启发的深度神经网络增强方法，属于深度学习技术领域，参照人类大脑内部的海马‑前额叶回路的异步工作机制，开发了一种通用的异步学习框架，首先将给定的深度神经网络模型划分为两个小规模的子模型，并使其分别承担原始网络的特征提取和预测功能；然后根据这些子模型进行模型重构，以获得给定深度神经网络的异步架构；最后利用设计的异步训练方法对重构后的模型进行训练，分别独立优化其特征提取器和预测器；本发明专利技术在不损害深度神经网络特征提取能力的情况下，克服现有技术中的参数过耦合和对大量训练数据高度依赖的问题。

【技术实现步骤摘要】

本专利技术属于深度学习，具体地，涉及一种有限数据下基于脑启发的深度神经网络增强方法。

技术介绍

1、近年来，包含大量参数和复杂架构的深度神经网络模型因其强大的特征提取和学习能力而成为一种应用十分广泛的机器学习方法，然而，深度神经网络在实际应用中存在多种缺陷。其中，最典型的缺陷便是参数过耦合，即由于深度神经网络模型的固有特性，模型内的各个参数在训练过程中会受到大量与其相关的参数的极大制约，进而阻碍该参数的深度优化。该问题极大地限制了一些关键参数(如最后几个网络层中的参数)的优化，使得深度神经网络模型存在一个低于其自身潜力且难以突破的预测性能上限。而且，该问题会随着模型的增大而变得更加严重。

2、此外，大型的深度神经网络模型需要依赖于大规模的数据集进行训练。但是在实际应用中，深度神经网络往往难以获取到充足的训练样本。尤其是在数据稀少和隐私敏感的领域中，收集以及标注大量高质量数据的成本十分高昂，这极大的限制了深度神经网络在多个领域的实际应用。

3、直观地说，上述这些挑战可以通过简化神经网络模型架构来进行缓解，但这种方法将会损害深度神经网络本文档来自技高网...

【技术保护点】

1.一种有限数据下基于脑启发的深度神经网络增强方法，其特征在于：

2.根据权利要求1所述增强方法，其特征在于：在步骤1中，

3.根据权利要求2所述增强方法，其特征在于：在步骤2中，

4.根据权利要求3所述增强方法，其特征在于：

5.根据权利要求4所述增强方法，其特征在于：在步骤4中，

6.一种根据权利要求1至5中任意一项所述的有限数据下基于脑启发的深度神经网络增强方法的增强系统，其特征在于：

7.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5...

【技术特征摘要】

1.一种有限数据下基于脑启发的深度神经网络增强方法，其特征在于：

2.根据权利要求1所述增强方法，其特征在于：在步骤1中，

3.根据权利要求2所述增强方法，其特征在于：在步骤2中，

4.根据权利要求3所述增强方法，其特征在于：

5.根据权利要求4所述增强方法，其特征在于：在步骤4中，

6.一种根据权利要求1至5中任意一项所...

【专利技术属性】
技术研发人员：白文超，李杰，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：