基于伪逆学习的稀疏自编码器快速训练方法技术

本发明专利技术涉及一种构建深度神经网络的基本模块稀疏自编码器训练方法，目的是为了克服现有深度神经网络训练算法的不足，提供一种快速训练稀疏自编码神经网络的方法。所述快速训练稀疏自编码器的方法是采用伪逆学习算法以及有偏ReLU激活函数。以自编码器的输入数据向量的维度指导隐层神经元个数的设置，并对自编码器的输入数据的伪逆矩阵进行截断，以伪逆截断矩阵作为编码器连接权重，将输入数据经过有偏ReLU激活函数映射到隐层空间，再通过伪逆学习算法求解伪逆解进而得到解码器连接权重。所述快速训练稀疏自编码神经网络的方法不需要基于梯度下降的迭代优化过程，不需要设置控制参数，计算速度快，可以保证学习到样本的稀疏性。重构误差容易控制，易用性强，有利于硬件实现。

A fast training method for sparse self encoder based on pseudo inverse learning

The invention relates to a basic module of deep neural network, which is a sparse self encode training method. The purpose is to overcome the shortcomings of the existing deep neural network training algorithm, and to provide a fast training method for sparse self coding neural network. The method for fast training sparse self encoders is to use the pseudo inverse learning algorithm and the biased ReLU activation function. In the input data vector auto encoder dimensions guide the number of neurons in hidden layer is set up, and the pseudo inverse matrix of the input data from the encoder are truncated to pseudo inverse matrix truncation as encoder connection weights and the input data through a partial ReLU activation function is mapped to the hidden layer space, and through the pseudo inverse learning algorithm the pseudo inverse solution and decoder weights. The method of fast training sparse self coding neural network does not need iterative optimization process based on gradient descent. It does not need to set control parameters and has fast computation speed, and it can guarantee learning the sparsity of samples. The reconstruction error is easy to control, easy to use and is conducive to the realization of hardware.

【技术实现步骤摘要】
基于伪逆学习的稀疏自编码器快速训练方法
本专利技术涉及一种人工智能领域里稀疏自编码器的快速训练方法，特别涉及一种基于伪逆学习算法的稀疏自编码器快速训练方法。
技术介绍
目前，以深度学习为代表的人工智能技术中，通常采用的是有监督学习方式，往往需要大量的标注好的数据来训练深度网络模型，然而在实际应用中获取的数据绝大部分属于无标注数据，如果对大量无标注数据进行人工标注则需要很高的人力和时间成本。因此，采用无监督学习的技术和方法，直接在无标注数据上进行表示学习，充分利用大量的无标注数据是人工智能技术发展的趋势。自编码器是一种常用的深度学习基本模型，其基本思想是网络的输出与输入相等，训练过程中不需要标记数据，可以以无监督的方式直接从原始数据中进行特征学习。自编码器是一种单隐层的前馈神经网络模型，由编码器(encoder)和解码器(decdoer)构成，编码器将输入向量x编码为隐层特征向量y，通过线性映射和非线性激活函数实现：y＝f(Wex+θ).{We,θ}为编码器的参数集，包括连接权重和矩阵和偏置，f(·)表示隐层神经元的激活函数，通常为非线性或线性分段连续函数。解码器将隐层特征y重构为输入本文档来自技高网...

【技术保护点】
一种快速训练稀疏自编码神经网络的方法，其特征在于：采用伪逆学习算法训练稀疏自编码器。

【技术特征摘要】
1.一种快速训练稀疏自编码神经网络的方法，其特征在于：采用伪逆学习算法训练稀疏自编码器。2.根据权利要求1所述的一种快速训练稀疏自编码器神经网络的方法，其特征在于，所采用的伪逆学习算法的基本思想是找到一种近似正交投影算子，并利用非线性激活函数使得隐层神经元输出趋向稀疏，然后通过计算伪逆解近似求网络的输出权重。3.根据权利要求1或2所述的一种快速训练稀疏自编码器神经网络的方法，其特征在于，训练自编码器的过程中通过奇异值分解对输入矩阵进行低秩表示，采用紧凑奇异值分解算法提高计算速度，通过截断奇异值分解计算编码器权重。本发明中将自编码器的隐层神经元个数设置为大于或等于原始输入数据的维度，小于输入数据的样本个数。自编码器使用输入矩阵的截断伪逆矩阵作为编码器的初始连接权重矩阵，将原...

【专利技术属性】
技术研发人员：郭平，
申请(专利权)人：北京师范大学，
类型：发明
国别省市：北京,11