一种基于张量串分解的多层感知机非线性压缩方法技术

本发明专利技术公开了一种基于张量串分解的多层感知机非线性压缩方法。首先利用张量串分解，将多层感知机中的全连接层权重矩阵转化为张量串分解形式；然后在张量串中的每个因子张量之间插入非线性函数，使整个多层感知机转化为轻量化的更深层次的新多层感知机；最后通过少量次数的训练对新的多层感知机进行微调。本发明专利技术能够在利用张量串分解对多层感知机进行压缩的基础上，提高整个多层感知机的非线性表达能力，既节省了多层感知机的存储空间，还在一定程度上提升了多层感知机的识别准确率。

【技术实现步骤摘要】
一种基于张量串分解的多层感知机非线性压缩方法
本专利技术属于机器学习中的深度学习领域，具体涉及一种基于张量串分解的多层感知机(全连接神经网络)非线性压缩方法。
技术介绍
近年来，以多层感知机(MultilayerPerceptron,MLP)为基本模型的深度神经网络在图像识别、语音识别、目标检测、语义分割、数据生成等多个实际应用领域取得了广泛的成功。但深度神经网络的表达能力越强，往往意味着网络模型的规模越大，其空间复杂度就越高，所占存储空间也就越大。这种情况无疑限制了高性能的深度神经网络在存储受限的嵌入式设备中的部署应用，如手机、车载系统等。Denil等人在2013年的文献《Predictingparametersindeeplearning》中证实了深度神经网络结构事实上是冗余的，即可以通过一些权重压缩手段来减小深度神经网络的规模，同时不造成明显的精度损失。因此，人们提出了很多方法来对深度神经网络进行压缩。其中，张量分解是使用较广泛的压缩方法之一，具体是将多层感知机的每层权重看作一个高阶张量，然后借助成熟的张量分解数学方法将其本文档来自技高网...

【技术保护点】
1.一种基于张量串分解的多层感知机非线性压缩方法，其特征在于，包括以下步骤：/n步骤1：对已训练好的多层感知机

【技术特征摘要】
1.一种基于张量串分解的多层感知机非线性压缩方法，其特征在于，包括以下步骤：
步骤1：对已训练好的多层感知机读取其某一层全连接权重矩阵得该层输入向量为M维，输出向量为N维，即y＝f(xW)，其中f(·)为该层非线性激活函数；
步骤2：将M和N因数分解为d个整数的乘积，即和将W重构为d阶张量后，利用张量串分解方法得每个因子张量ri为张量秩，有且仅有r0＝rd＝1；
步骤3：定义输入向量x与张量串分解后的权重相乘得到输出y的前向计算方法使x通过依次与每个相乘，即
步骤4：在每一个计算后插入非线性激活函数g(·)，使变为
当步骤4完成后，如果多层感知机中仍有尚未压缩的全连接层，则跳转至步骤1对下一个全连接层进行非线性压缩；如果多层感知机中所有待压缩全连接层皆已压缩，进入步骤5；
步骤5：多层感知机的所有全连接层完成非线性压缩，利用误差反向传播算法对新的多层感知机再进行少量次数的训练以将其微调至最佳性能。

【专利技术属性】
技术研发人员：赵广社，魏育豪，王鼎衡，武碧娇，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61