一种基于伪逆学习快速训练自编码器的近似方法技术

技术编号:19824269 阅读:45 留言:0更新日期:2018-12-19 15:35
本发明专利技术涉及一种构建深度神经网络的基本模块自编码器训练方法,目的是为了克服现有深度神经网络训练算法的不足,提供一种快速训练自编码神经网络的近似方法。所述快速训练自编码器的近似方法不采用奇异值分解的方法计算编码器权重,而是采用有偏阶跃激活函数,将隐层输出矩阵近似为矩形单位阵,再采用伪逆学习算法计算解码器权重矩阵。经过权重捆绑策略得到编码器权重的估计值,再计算输入矩阵的特征值,用特征值将编码器权重归一化处理。通过归一化处理,使得隐层输出矩阵近似保持不变,提高权重捆绑的稳定性。所述快速训练自编码神经网络的近似方法不需要通过截断奇异值分解来计算编码器权重,不需要设置控制参数,计算速度快。重构误差容易控制,易用性强,有利于硬件实现。

【技术实现步骤摘要】
一种基于伪逆学习快速训练自编码器的近似方法
本专利技术涉及一种机器学习领域里自编码器的快速学习方法,特别涉及一种基于伪逆学习算法的不需要计算奇异值分解(SVD-Free)的自编码器快速训练的近似方法。
技术介绍
目前,以深度学习为代表的人工智能技术中,深度网络模型通常由基本单元组合而成。对前馈深度神经网络结构,这些模块包括受限玻尔兹曼机(RBM)、卷积神经网络(CNN)和自编码器(AE)。自编码器是常用的构造深度神经网络的基本单元之一,其基本思想是令网络的输出与输入相等,训练过程中不需要标记数据,通过加上某种约束,可以以无监督的方式直接从原始数据中进行特征学习。在结构上自编码器是一种单隐层的前馈神经网络模型,由编码器(encoder)和解码器(decdoer)构成,编码器将输入向量x编码为隐层特征向量y,通过线性映射和非线性激活函数实现:y=f(Wex+θ).(1){We,θ}为编码器的参数集,包括连接权重矩阵和偏置,f(·)表示隐层神经元的激活函数,通常为非线性或线性分段连续函数。解码器将隐层特征y重构为输入空间的向量z:z=fd(Wdy+θ′),(2){Wd,θ′}为解码器的参数本文档来自技高网...

【技术保护点】
1.一种快速训练自编码神经网络的方法,其特征在于:首先采用伪逆学习算法训练自编码器的解码器权重,再利用权重捆绑计算编码器权重矩阵。

【技术特征摘要】
1.一种快速训练自编码神经网络的方法,其特征在于:首先采用伪逆学习算法训练自编码器的解码器权重,再利用权重捆绑计算编码器权重矩阵。2.根据权利要求1所述的一种快速训练自编码器神经网络的近似方法,其特征在于,隐层输出矩阵通过有偏阶跃激活函数后近似为矩形单位阵,然后通过计算伪逆解近似求出解码器权重矩阵。3.根据权利要求1所述的一种快速训练自编码器神经网络的近似方法,其特征在于,根据权利要求2计算得到的解码器权重,通过权重捆绑得到编码器权重的初始值。再利用输入矩...

【专利技术属性】
技术研发人员:郭平尹乾马荣
申请(专利权)人:北京师范大学
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1