基于深度时间对齐梯度增强的神经网络的训练方法及装置制造方法及图纸

技术编号:44495114 阅读:27 留言:0更新日期:2025-03-04 18:01
本申请公开了一种基于深度时间对齐梯度增强的神经网络的训练方法及装置。所述训练方法包括:获取输入样本数据;将输入样本数据输入到基于深度时间对齐梯度增强的神经网络模型,得到与输入样本数据的类别对应的预测类别概率数据;根据预测类别概率数据和样本标签数据,调整基于深度时间对齐梯度增强的神经网络模型的各个参数,得到训练后的神经网络模型,其中,基于深度时间对齐梯度增强的神经网络模型包括输入层、K个阶段和输出层,第1个阶段至第K‑1个阶段各自包括基于深度时间对齐梯度增强的卷积网络和辅助分类器网络,并且第K个阶段包括基于深度时间对齐梯度增强的卷积网络,其中,K为大于1的正整数。

【技术实现步骤摘要】

本公开总体说来涉及人工智能和类脑学习,更具体地,涉及一种基于深度时间对齐梯度增强的神经网络的训练方法及装置


技术介绍

1、在相关领域中,神经网络在现代人工智能领域中已取得了显著的进步,但仍存在以下缺点:(1)对于数据的要求高:神经网络需要大量的训练数据才能有效学习和提高性能,因此这对于数据量较少的行业或领域是不利的;(2)对于计算资源需求大:神经网络的训练和部署通常需要高性能计算资源,这可能导致高昂的运行成本,特别地,针对深度神经网络,其训练过程耗时长且计算复杂度高,导致成本过高;(3)黑盒性质:神经网络通常被视为“黑盒”,因为它们的决策过程难以解释。这种不透明性在需要高度信任和可解释性的领域中尤其成问题;(4)长期依赖问题:在处理长序列数据时,经典神经网络(例如循环神经网络)可能会遇到梯度消失或梯度爆炸的问题,导致模型难以捕捉远距离依赖关系;(5)易受过拟合和欠拟合影响:神经网络容易出现过拟合现象,即在训练数据上表现良好但在新数据上泛化能力差,且如果数据量不足,则可能导致欠拟合;(6)设计复杂性:神经网络的设计和架构选择非常复杂,例如当面对不同应用问题本文档来自技高网...

【技术保护点】

1.一种基于深度时间对齐梯度增强的神经网络的训练方法,其特征在于,所述训练方法包括:

2.根据权利要求1所述的训练方法,其特征在于,利用以下公式来计算基于深度时间对齐梯度增强的卷积网络中的梯度参数:

3.根据权利要求1所述的训练方法,其特征在于,所述将所述输入样本数据输入到基于深度时间对齐梯度增强的神经网络模型,得到与所述输入样本数据的类别对应的预测类别概率数据的步骤包括:

4.根据权利要求1所述的训练方法,其特征在于,所述根据所述预测类别概率数据和所述样本标签数据,调整所述基于深度时间对齐梯度增强的神经网络模型的各个参数,得到训练后的神经网络模型的步...

【技术特征摘要】

1.一种基于深度时间对齐梯度增强的神经网络的训练方法,其特征在于,所述训练方法包括:

2.根据权利要求1所述的训练方法,其特征在于,利用以下公式来计算基于深度时间对齐梯度增强的卷积网络中的梯度参数:

3.根据权利要求1所述的训练方法,其特征在于,所述将所述输入样本数据输入到基于深度时间对齐梯度增强的神经网络模型,得到与所述输入样本数据的类别对应的预测类别概率数据的步骤包括:

4.根据权利要求1所述的训练方法,其特征在于,所述根据所述预测类别概率数据和所述样本标签数据,调整所述基于深度时间对齐梯度增强的神经网络模型的各个参数,得到训练后的神经网络模型的步骤包括:

5.根据权利要求1所述的训练方法,其特征在于,第1个阶段至第k-1个阶段中的每者包括依次连接的基于深度时间对齐梯度增强的卷积网络和辅助分类器网络,并且

6....

【专利技术属性】
技术研发人员:刘伟胡卫明杨力李兵高晋李文娟
申请(专利权)人:中国科学院自动化研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1