【技术实现步骤摘要】
一种基于伪逆学习快速训练自编码器的近似方法
本专利技术涉及一种机器学习领域里自编码器的快速学习方法,特别涉及一种基于伪逆学习算法的不需要计算奇异值分解(SVD-Free)的自编码器快速训练的近似方法。
技术介绍
目前,以深度学习为代表的人工智能技术中,深度网络模型通常由基本单元组合而成。对前馈深度神经网络结构,这些模块包括受限玻尔兹曼机(RBM)、卷积神经网络(CNN)和自编码器(AE)。自编码器是常用的构造深度神经网络的基本单元之一,其基本思想是令网络的输出与输入相等,训练过程中不需要标记数据,通过加上某种约束,可以以无监督的方式直接从原始数据中进行特征学习。在结构上自编码器是一种单隐层的前馈神经网络模型,由编码器(encoder)和解码器(decdoer)构成,编码器将输入向量x编码为隐层特征向量y,通过线性映射和非线性激活函数实现:y=f(Wex+θ).(1){We,θ}为编码器的参数集,包括连接权重矩阵和偏置,f(·)表示隐层神经元的激活函数,通常为非线性或线性分段连续函数。解码器将隐层特征y重构为输入空间的向量z:z=fd(Wdy+θ′),(2){Wd, ...
【技术保护点】
1.一种快速训练自编码神经网络的方法,其特征在于:首先采用伪逆学习算法训练自编码器的解码器权重,再利用权重捆绑计算编码器权重矩阵。
【技术特征摘要】
1.一种快速训练自编码神经网络的方法,其特征在于:首先采用伪逆学习算法训练自编码器的解码器权重,再利用权重捆绑计算编码器权重矩阵。2.根据权利要求1所述的一种快速训练自编码器神经网络的近似方法,其特征在于,隐层输出矩阵通过有偏阶跃激活函数后近似为矩形单位阵,然后通过计算伪逆解近似求出解码器权重矩阵。3.根据权利要求1所述的一种快速训练自编码器神经网络的近似方法,其特征在于,根据权利要求2计算得到的解码器权重,通过权重捆绑得到编码器权重的初始值。再利用输入矩...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。