【技术实现步骤摘要】
变换谱关联的神经网络及实现装置
本专利技术属于人工智能，神经网络，模式识别
技术介绍
近年来，人工智能技术获得了长足发展，广泛应用于图像分类识别，语音识别和自动翻译，自动驾驶等领域。目前这一领域的主流技术卷积神经网络(CNN)获得了广泛应用，卷积神经网络通过后向传播(Backpropagation)梯度下降(SGD)来一步步优化网络参数以达到任务要求。但随着CNN技术的广泛应用，该技术的一些缺点也日益显现，主要突出的是增加深度带来的训练周期过长，过度拟合(overfit)，梯度消失等问题。CNN型神经网络的训练方法带来的功能上的专一性使其相当于专家系统，不可通用。这些缺陷限制了人工智能的发展。本专利技术揭示了一种基于一系列变换为基础的神经网络架构，通过变换谱的关联来学习更新网络神经元节点存储参数，在降低学习训练时间的同时，避免过度拟合，具备良好的通用性。
技术实现思路
一种变换谱关联的神经网络(TSANN)，所述TSANN具备输入层、输出层和多个中间层，中间层神经元节点存储值，层间节点之间设置互联...
【技术保护点】
1.一种变换谱关联的神经网络(TSANN)，所述TSANN具备输入层、输出层和多个中间层，中间层神经元节点存储值，层间节点之间设置互联权重；所述TSANN完成前向传播和后向传播计算；所述TSANN网络层间节点互联的权重设置，实现了前向传播时前一层网络节点的前向传播输入乘以节点存储值作为该中间层的前向传播输出，该输出经正交变换后作为后一层网络节点的前向传播输入；后向传播时，后一层网络节点的后向传播输入乘以该层节点的存储值作为该层的后向传播输出，该输出经所述正交变换的逆变换后作为前一层网络节点的后向传播输入。/n
【技术特征摘要】
1.一种变换谱关联的神经网络(TSANN)，所述TSANN具备输入层、输出层和多个中间层，中间层神经元节点存储值，层间节点之间设置互联权重；所述TSANN完成前向传播和后向传播计算；所述TSANN网络层间节点互联的权重设置，实现了前向传播时前一层网络节点的前向传播输入乘以节点存储值作为该中间层的前向传播输出，该输出经正交变换后作为后一层网络节点的前向传播输入；后向传播时，后一层网络节点的后向传播输入乘以该层节点的存储值作为该层的后向传播输出，该输出经所述正交变换的逆变换后作为前一层网络节点的后向传播输入。
2.如权利要求1所述，所述TSANN神经网络的训练过程为，中间层网络节点存储值由训练样本在该中间层的前向传播输入和目标矩阵在该层的后向传播输入互相关联更新。
3.如权利要求1、2所述，所述的中间层网络节点存储值关联更新方法为，中间层节点的训练样本的前向传播输入与目标矩阵的后向传播输入归一化后相加再计算模，再经过归一化、乘以因子处理后与原中间层节点存储值累加。
4.如权利要求1、2、3所述，所述的中间层网络节点存储值关联更新方法，进一步进行池化(Pooling)处理。
5.如权利要求1所述T...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。