模型参数的重要程度评估方法、装置及电子设备制造方法及图纸

本申请实施例提供了一种模型参数的重要程度评估方法、装置及电子设备，涉及计算机技术领域。该方法包括：基于训练数据集对神经机器翻译NMT模型进行训练，获取每次训练前后各模型参数的参数值变化量；对训练数据集进行采样，得到采样数据集；基于采样数据集，确定每次训练所对应的NMT模型的损失函数相对于各模型参数的梯度；基于各模型参数各自每次训练所对应的梯度和参数值变化量，确定各模型参数的重要程度。本申请技术方案，基于采样数据集确定各模型参数的梯度，减少了数据的计算量；基于各模型参数的梯度和训练前后的参数值变化量，确定各模型参数的重要程度，能够明确各模型参数在损失函数收敛过程中的贡献。

【技术实现步骤摘要】
模型参数的重要程度评估方法、装置及电子设备
本申请涉及计算机
，具体而言，本申请涉及一种模型参数的重要程度评估方法、装置及电子设备。
技术介绍
神经机器翻译(NeuralMachineTranslation，NMT)模型自从被提出以来，它迅速成为翻译研究领域的焦点。NMT模型不但可以产生令人印象深刻的翻译效果，而且从本质上讲，它的翻译模型结构也很具有优势。同传统的统计机器翻译相比,它的模型能够以一个统一的方式而不是流水线的方式，建模语言模型、翻译模型和对齐模型，从而可以降低错误累计带来的副作用。NMT模型作为一个复杂的神经网络，整个网络中的模型参数规模可以达到1.08亿个，所有模型参数都要通过迭代训练，直至收敛。然而，目前NMT模型却是被作为黑盒来训练的，无法了解训练过程中各模型参数对损失函数下降所起的作用，这增加了对模型训练机制的理解难度，不利于进一步有针对性的改进模型性能。
技术实现思路
本申请提供了一种模型参数的重要程度评估方法、装置及电子设备，以解决现有技术中存在的问题中的至少一个。本申请实施例本文档来自技高网...

【技术保护点】
1.一种模型参数的重要程度评估方法，其特征在于，所述方法包括：/n基于训练数据集对神经机器翻译NMT模型进行训练，获取每次训练前后各模型参数的参数值变化量；/n对所述训练数据集进行采样，得到采样数据集；/n基于所述采样数据集，确定每次训练所对应的所述NMT模型的损失函数相对于各所述模型参数的梯度；/n基于各所述模型参数各自每次训练所对应的梯度和参数值变化量，确定各所述模型参数的重要程度。/n

【技术特征摘要】
1.一种模型参数的重要程度评估方法，其特征在于，所述方法包括：
基于训练数据集对神经机器翻译NMT模型进行训练，获取每次训练前后各模型参数的参数值变化量；
对所述训练数据集进行采样，得到采样数据集；
基于所述采样数据集，确定每次训练所对应的所述NMT模型的损失函数相对于各所述模型参数的梯度；
基于各所述模型参数各自每次训练所对应的梯度和参数值变化量，确定各所述模型参数的重要程度。


2.根据权利要求1所述的方法，其特征在于，所述对所述训练数据集进行采样，得到采样数据集，包括：
针对每次训练分别进行训练数据集采样，得到每次训练对应的采样数据集；
所述基于所述采样数据集，确定每次训练所对应的所述NMT模型的损失函数相对于各所述模型参数的梯度，包括：
基于每次训练对应的采样数据集，确定每次训练对应的所述损失函数相对于各所述模型参数的梯度。


3.根据权利要求1所述的方法，其特征在于，所述基于各所述模型参数各自每次训练所对应的梯度和参数值变化量，确定各所述模型参数的重要程度，包括以下至少一项：
对于每一所述模型参数，基于每次训练对应的所述模型参数的梯度和参数值变化量，确定所述模型参数在每次训练过程中的重要程度；
对于每一所述模型参数，基于多次训练对应的所述模型参数的梯度和参数值变化量，确定所述模型参数在多次训练过程中的累加重要程度。


4.根据权利要求3所述的方法，其特征在于，所述基于多次训练对应的所述模型参数的梯度和参数值变化量，确定所述模型参数在多次训练过程中的累加重要程度，包括：
基于连续的第一预设次数的训练所对应的所述模型参数的梯度和参数值变化量，确定所述模型参数在每所述第一预设次数的训练过程中的累加重要程度并存储。


5.根据权利要求1所述的方法，其特征在于，所述方法还包括以下至少一项：
对于所述NMT模型的每一功能模块，基于所述功能模块的各模型参数每次训练所...

【专利技术属性】
技术研发人员：朱聪慧，刘乐茂，李冠林，史树明，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44