当前位置: 首页 > 专利查询>清华大学专利>正文

一种大规模数据回归神经网络快速训练方法技术

技术编号:11408213 阅读:87 留言:0更新日期:2015-05-06 07:29
本发明专利技术涉及一种大规模数据回归神经网络快速训练方法,属于机器学习技术领域,该方法采用平均梯度方向和梯度残差主成分方向同时更新内部系数的大规模数据进行回归神经网络快速训练,通过误差反传得到各训练样本处目标函数对内部系数的梯度后,对训练样本进行分组,根据各训练样本处目标函数值分别对整个训练样本集和各组的梯度加权平均,在全局平均梯度和组平均梯度与全局平均梯度正交的残差主成分方向共同更新内部系数。本方法能够以较低的计算代价有效利用各训练样本处梯度信息,减小迭代步数,提升RNN训练过程的计算效率。

【技术实现步骤摘要】

【技术保护点】
一种大规模数据回归神经网络快速训练方法其特征在于,该方法采用平均梯度方向和梯度残差主成分方向同时更新内部系数的大规模数据进行回归神经网络快速训练,通过误差反传得到各训练样本处目标函数对内部系数的梯度后,对训练样本进行分组,根据各训练样本处目标函数值分别对整个训练样本集和各组的梯度加权平均,在全局平均梯度和组平均梯度与全局平均梯度正交的残差主成分方向共同更新内部系数。

【技术特征摘要】

【专利技术属性】
技术研发人员:杨广文李连登付昊桓袁龙
申请(专利权)人:清华大学
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1