神经网络模型的训练方法、装置、电子设备及存储介质制造方法及图纸

技术编号:45909722 阅读:13 留言:0更新日期:2025-07-25 17:42
本公开提出一种神经网络模型的训练方法、装置、电子设备及存储介质,涉及人工智能技术领域。包括:获取初始神经网络模型中每层网络的每个输出通道对应的初始权重、初始神经网络模型对样本数据的预测值;确定每层网络的每两个输出通道对应的初始权重之间的相似度;根据相似度,确定初始神经网络模型对应的第一损失;基于第一损失、及预测值对应的第二损失,对初始神经网络模型中的初始权重进行修正。由此,将每层网络的每两个输出通道对应的初始权重之间的相似度加入模型的损失,从而可以使每层网络的每两个输出通道对应的初始权重之间的相似度较小,进而使每层神经网络的不同通道,学习到更多不同的特征,从而避免特征冗余,提升模型性能。

【技术实现步骤摘要】

本公开涉及人工智能,尤其涉及一种神经网络模型的训练方法、装置、电子设备及存储介质


技术介绍

1、模型的权重在机器学习和深度学习中扮演着至关重要的角色。权重能够捕获输入数据中的模式和特征,并将这些特征映射到模型的输出上,通过调整权重,模型可以学习如何识别输入数据中的关键信息,并做出准确的预测。因此,权重作为模型中的重要参数,其调整和优化对于模型的性能和泛化能力具有重要影响。


技术实现思路

1、本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

2、本公开第一方面实施例提出了一种神经网络模型的训练方法,包括:

3、获取初始神经网络模型中每层网络的每个输出通道对应的初始权重、所述初始神经网络模型对样本数据的预测值;

4、确定每层所述网络的每两个输出通道对应的初始权重之间的相似度;

5、根据所述相似度,确定所述初始神经网络模型对应的第一损失;

6、基于所述第一损失、及所述预测值对应的第二损失,对所述初始神经网络模型中的所述初始权重进行修正。

<本文档来自技高网...

【技术保护点】

1.一种神经网络模型的训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述确定每层所述网络的每两个输出通道对应的初始权重之间的相似度,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述相似度,确定所述初始神经网络模型对应的第一损失,包括:

4.根据权利要求3所述的方法,其特征在于,所述确定每层所述网络的每两个输出通道之间的相似度对应的第三损失,包括:

5.根据权利要求1所述的方法,其特征在于,所述基于所述第一损失、及所述预测值对应的第二损失,对所述初始神经网络模型中的所述初始权重进行修正,包括:<...

【技术特征摘要】

1.一种神经网络模型的训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述确定每层所述网络的每两个输出通道对应的初始权重之间的相似度,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述相似度,确定所述初始神经网络模型对应的第一损失,包括:

4.根据权利要求3所述的方法,其特征在于,所述确定每层所述网络的每两个输出通道之间的相似度对应的第三损失,包括:

5.根据权利要求1所述的方法,其特征在于,所述基于所述第一损失、及所述预测值对应的第二损失,对所述初始神经网络模型中的所述初始权重进行修正,包括:

6...

【专利技术属性】
技术研发人员:张晓琳张博宇尹玄武
申请(专利权)人:北京玄戒技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1