本申请涉及计算机技术领域，提供一种模型压缩训练方法、装置、电子设备和存储介质，用以提高模型训练效果。其中，方法包括：基于第一样本资源对待训练源网络进行训练，获得由多个神经网络层堆叠而成的已训练源网络；采用层内压缩和层间压缩中的至少一种对已训练源网络的网络参数进行压缩，并将相应的压缩结果作为待训练目标网络的网络参数；将第二样本资源输入已训练源网络和待训练目标网络，获得相应的第一结果及第二结果；基于第二结果与相应样本标签间的差异，及第一结果与第二结果间的差异，对待训练目标网络进行参数调整，获得已训练目标网络。本申请可有效保证源网络与目标网络之间的参数匹配，同时设计层内和层间的压缩达到较好压缩效果。
【技术实现步骤摘要】
所属的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。与上述方法实施例基于同一专利技术构思，本申请实施例中还提供了一种电子设备。在一种实施例中，该电子设备可以是服务器，如图1所示的服务器120。在该实施例中，电子设备的结构可以如图14所示，包括存储器1401，通讯模块1403以及一个或多个处理器1402。存储器1401，用于存储处理器1402执行的计算机程序。存储器1401可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。存储器1401可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，ram)；存储器1401也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash mem本文档来自技高网...
【技术保护点】
1.一种模型压缩训练方法，其特征在于，该方法包括：
2.如权利要求1所述的方法，其特征在于，每个神经网络层的网络参数可在至少一个维度进行等分；所述压缩方式包括层内压缩；
3.如权利要求1所述的方法，其特征在于，每种网络结构的神经网络层包括相邻的至少两个；所述压缩方式包括层间压缩；
4.如权利要求2所述的方法，其特征在于，将所述一个神经网络层对应的第一网络参数分别按照各个维度进行分块时，各个维度对应的分块次数一致。
5.如权利要求2所述的方法，其特征在于，所述第一网络参数包括权重参数；所述参数块包括权重参数块；
>6.如权利要求2所...
【技术特征摘要】
1.一种模型压缩训练方法，其特征在于，该方法包括：
2.如权利要求1所述的方法，其特征在于，每个神经网络层的网络参数可在至少一个维度进行等分；所述压缩方式包括层内压缩；
3.如权利要求1所述的方法，其特征在于，每种网络结构的神经网络层包括相邻的至少两个；所述压缩方式包括层间压缩；
4.如权利要求2所述的方法，其特征在于，将所述一个神经网络层对应的第一网络参数分别按照各个维度进行分块时，各个维度对应的分块次数一致。
5.如权利要求2所述的方法，其特征在于，所述第一网络参数包括权重参数；所述参数块包括权重参数块；
6.如权利要求2所述的方法，其特征在于，所述第一网络参数包括偏置参数；所述参数块包括偏置参数块；
7.如权利要求3所述的方法，其特征在于，所述第一网络参数包括权重参数；
8.如权利要求3所述的方法，其特征在于，所述第一网络参数包括偏置参数；
9.如权利要求1所述的方法，其特征在于，所述基于所述第二结果与相应的样本标签之间的差异，以及所述第一结果与所述第二结果之间的差异，对所述待训练网络进行参数调整，获得已训练目标网络，包括：
10.如权利要求9所述的方法，其特征在于，所述基于相应的第二压缩结果获得所述已训练目标网络，包括：
11.如权利要求1～10任一项所述的方法，其特征在于，在将所述已训练目标网络...
【专利技术属性】
技术研发人员：江勇军，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。