一种翻译模型压缩方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种翻译模型的压缩方法、装置、设备及存储介质，其中，方法包括：获取目标翻译模型，目标翻译模型包括多个结构相同的层，每层中包括多个结构相同的节点；利用训练文本集中的训练文本训练目标翻译模型，并在训练目标翻译模型的过程中，确定目标翻译模型中不参与训练文本运算的层和节点，将不参与训练文本运算的层和节点屏蔽掉；将训练结束后得到的模型，确定为目标翻译模型对应的压缩后翻译模型。本申请提供的翻译模型压缩方法可同时在深度和广度上对目标翻译模型进行压缩，从而能够获得较高的压缩比，并且，本申请将目标翻译模型的训练与压缩相结合，能够降低模型压缩带来的效果损失，从而使压缩后的翻译模型具有较好的性能。

【技术实现步骤摘要】
一种翻译模型压缩方法、装置、设备及存储介质
本申请涉及人工智能
，尤其涉及一种翻译模型压缩方法、装置、设备及存储介质。
技术介绍
神经网络模型因为普适性好、容易训练等优点已被广泛用于人工智能领域。随着人工智能领域对机器智能化需求的提高，神经网络模型的结构设计得愈加复杂，所需的计算量也随之增加，因此，需要较高的计算能力才能实现一次推理运算。翻译模型是近些年应用较广的模型，其参数量通常在亿级往上，因此，其对于设备的计算能力要求极高，若设备的计算能力不足，将导致翻译速度大幅下降。目前，大量终端设备(如手机、PAD、车载终端等)由于功耗和体积的限制，只能提供较低的计算能力，翻译模型在这些设备上基本无法使用。为了使翻译模型能够在具有较低计算能力的设备上使用，往往需要对翻译模型进压缩，而如何对翻译模型进行压缩是目前亟需解决的问题。
技术实现思路
有鉴于此，本申请提供了一种翻译模型压缩方法、装置、设备及存储介质，用于对需要较高计算能力的翻译模型进行压缩，以使其能够在具有较低计算能力的设备上使用，其技术方案如下：一种翻译模型的压缩方法，包括：获取目标翻译模型，所述目标翻译模型包括多个结构相同的层，每层中包括多个结构相同的节点；利用训练文本集中的训练文本训练所述目标翻译模型，并在训练所述目标翻译模型的过程中，确定所述目标翻译模型中不参与所述训练文本运算的层和节点，将不参与所述训练文本运算的层和节点屏蔽掉；将训练结束后得到的模型，确定为所述目标翻译模型对应的压缩后翻译模型。可选的，所述利用训练文本集中的训练文本训练所述目标翻译模型，并在训练所述目标翻译模型的过程中，确定所述目标翻译模型中不参与所述训练文本运算的层和节点，将不参与所述训练文本运算的层和节点屏蔽掉，包括：将所述训练文本集中的训练文本输入所述目标翻译模型进行运算；在所述目标翻译模型对所述训练文本进行运算的过程中，确定所述目标翻译模型中不参与所述训练文本运算的层和节点，并将不参与所述训练文本运算的层和节点屏蔽掉，获得屏蔽后翻译模型；根据所述屏蔽后翻译模型对所述训练文本输出的翻译结果以及所述训练文本标注的翻译结果，更新所述目标翻译模型的参数，其中，更新的参数为在本次训练中未被屏蔽的层和节点的参数。可选的，所述确定所述目标翻译模型中不参与所述训练文本运算的层和节点，包括：利用压缩信息确定模型，确定所述目标翻译模型中不参与所述训练文本运算的层和节点；所述翻译模型的压缩方法还包括：根据所述屏蔽后翻译模型的性能和空间复杂度，对所述压缩信息确定模型的参数进行更新。可选的，所述利用压缩信息确定模型，确定所述目标翻译模型中不参与所述训练文本运算的层和节点，包括：利用所述压缩信息确定模型，以及所述目标翻译模型每层的表征信息和每层所包含的子层中至少一个子层的表征信息，确定所述目标翻译模型中不参与所述训练文本运算的层和节点。可选的，所述利用所述压缩信息确定模型，以及所述目标翻译模型每层的表征信息和每层所包含的子层中至少一个子层的表征信息，确定所述目标翻译模型中不参与所述训练文本运算的层和节点，包括：利用所述压缩信息确定模型中的门限概率网络，以及所述目标翻译模型每层的表征信息，确定所述目标翻译模型每层被丢弃的概率；利用所述压缩信息确定模型中的广度遮掩网络，以及所述目标翻译模型每层所包含的子层中至少一个子层的表征信息，确定所述目标翻译模型每层所包含的子层中至少一个子层所包含的每个节点被保留的概率；根据所述目标翻译模型每层被丢弃的概率，以及，所述目标翻译模型每层所包含的子层中至少一个子层所包含的每个节点被保留的概率，确定所述目标翻译模型中不参与所述训练文本运算的层和节点。可选的，确定所述目标翻译模型每层的表征信息，以及所述目标翻译模型每层所包含的子层中至少一个子层的表征信息，包括：在将所述训练文本输入所述目标翻译模型后，根据所述目标翻译模型每层运算后输出的隐含状态，确定所述目标翻译模型每层的表征信息；根据所述目标翻译模型每层所包含的子层中至少一个子层运算后输出的隐含状态，确定所述目标翻译模型每层所包含的子层中至少一个子层的表征信息。可选的，所述门限概率网络包括多个门限特征确定模块，一个门限特征确定模块与所述目标翻译模型的一个层对应；所述利用所述压缩信息确定模型中的门限概率网络，以及所述目标翻译模型每层的表征信息，确定所述目标翻译模型每层被丢弃的概率，包括：将所述目标翻译模型每层的表征信息输入所述门限概率网络中对应的门限特征确定模块中，获得所述目标翻译模型每层对应的门限特征向量；根据所述目标翻译模型每层对应的门限特征向量，确定所述目标翻译模型每层被丢弃的概率。可选的，所述目标翻译模型的每个层均设置有开关；所述将不参与所述训练文本运算的层和节点屏蔽掉，包括：将不参与所述训练文本运算的层上设置的开关关闭，以将不参与所述训练文本运算的层屏蔽掉；利用掩模将不参与所述训练文本运算的节点遮掩住，以将不参与所述训练文本运算的节点屏蔽掉。一种翻译模型的压缩装置，包括：翻译模型获取模块、翻译模型训练及压缩模块和压缩后翻译模型确定模块；所述翻译模型获取模块，用于获取目标翻译模型，所述目标翻译模型包括多个结构相同的层，每层中包括多个结构相同的节点；所述翻译模型训练及压缩模块，用于利用训练文本集中的训练文本训练所述目标翻译模型，并在训练所述目标翻译模型的过程中，确定所述目标翻译模型中不参与所述训练文本运算的层和节点，将不参与所述训练文本运算的层和节点屏蔽掉；所述压缩后翻译模型确定模块，用于将训练结束后得到的模型，确定为所述目标翻译模型对应的压缩后翻译模型。一种模型压缩设备，包括：存储器和处理器；所述存储器，用于存储程序；所述处理器，用于执行所述程序，实现上述任一项所述的翻译模型的压缩方法的各个步骤。一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一项所述的翻译模型的压缩方法的各个步骤。经由上述方案可知，本申请提供的翻译模型的压缩方法、装置、设备及存储介质，在获得待压缩的目标翻译模型时，可利用训练文本集中的训练文本训练目标翻译模型，并在训练目标翻译模型的过程中，确定目标翻译模型中不参与训练文本运算的层和节点，以将不参与训练文本运算的层和节点屏蔽掉，在训练结束时，将训练得到的模型确定为目标翻译模型对应的压缩后翻译模型，由此可见，本申请提供的翻译模型压缩方法既可在深度上对目标翻译模型进行压缩(针对目标翻译模型的层进行压缩)，又能在广度上对目标翻译模型进行压缩(针对目标翻译模型的节点进行压缩)，同时在深度和广度上对目标翻译模型进行压缩，能够获得较高的压缩比，并且，本申请将目标翻译模型的训练与压缩相结合，能够降低模型压缩带来的效果损失，从而使压缩后的翻译模型具有较好的性能，即通过压缩后的翻译模型对待翻本文档来自技高网...

【技术保护点】
1.一种翻译模型的压缩方法，其特征在于，包括：/n获取目标翻译模型，所述目标翻译模型包括多个结构相同的层，每层中包括多个结构相同的节点；/n利用训练文本集中的训练文本训练所述目标翻译模型，并在训练所述目标翻译模型的过程中，确定所述目标翻译模型中不参与所述训练文本运算的层和节点，将不参与所述训练文本运算的层和节点屏蔽掉；/n将训练结束后得到的模型，确定为所述目标翻译模型对应的压缩后翻译模型。/n

【技术特征摘要】
1.一种翻译模型的压缩方法，其特征在于，包括：
获取目标翻译模型，所述目标翻译模型包括多个结构相同的层，每层中包括多个结构相同的节点；
利用训练文本集中的训练文本训练所述目标翻译模型，并在训练所述目标翻译模型的过程中，确定所述目标翻译模型中不参与所述训练文本运算的层和节点，将不参与所述训练文本运算的层和节点屏蔽掉；
将训练结束后得到的模型，确定为所述目标翻译模型对应的压缩后翻译模型。


2.根据权利要求1所述的翻译模型的压缩方法，其特征在于，所述利用训练文本集中的训练文本训练所述目标翻译模型，并在训练所述目标翻译模型的过程中，确定所述目标翻译模型中不参与所述训练文本运算的层和节点，将不参与所述训练文本运算的层和节点屏蔽掉，包括：
将所述训练文本集中的训练文本输入所述目标翻译模型进行运算；
在所述目标翻译模型对所述训练文本进行运算的过程中，确定所述目标翻译模型中不参与所述训练文本运算的层和节点，并将不参与所述训练文本运算的层和节点屏蔽掉，获得屏蔽后翻译模型；
根据所述屏蔽后翻译模型对所述训练文本输出的翻译结果以及所述训练文本标注的翻译结果，更新所述目标翻译模型的参数，其中，更新的参数为在本次训练中未被屏蔽的层和节点的参数。


3.根据权利要求2所述的翻译模型的压缩方法，其特征在于，所述确定所述目标翻译模型中不参与所述训练文本运算的层和节点，包括：
利用压缩信息确定模型，确定所述目标翻译模型中不参与所述训练文本运算的层和节点；
所述翻译模型的压缩方法还包括：
根据所述屏蔽后翻译模型的性能和空间复杂度，对所述压缩信息确定模型的参数进行更新。


4.根据权利要求3所述的模型压缩方法，其特征在于，所述利用压缩信息确定模型，确定所述目标翻译模型中不参与所述训练文本运算的层和节点，包括：
利用所述压缩信息确定模型，以及所述目标翻译模型每层的表征信息和每层所包含的子层中至少一个子层的表征信息，确定所述目标翻译模型中不参与所述训练文本运算的层和节点。


5.根据权利要求4所述的翻译模型的压缩方法，其特征在于，所述利用所述压缩信息确定模型，以及所述目标翻译模型每层的表征信息和每层所包含的子层中至少一个子层的表征信息，确定所述目标翻译模型中不参与所述训练文本运算的层和节点，包括：
利用所述压缩信息确定模型中的门限概率网络，以及所述目标翻译模型每层的表征信息，确定所述目标翻译模型每层被丢弃的概率；
利用所述压缩信息确定模型中的广度遮掩网络，以及所述目标翻译模型每层所包含的子层中至少一个子层的表征信息，确定所述目标翻译模型每层所包含的子层中至少一个子层所包含的每个节点被保留的概率；
根据所述目标翻译模型每层被丢弃的概率，以及，所述目标翻译模型每层所包含的子...

【专利技术属性】
技术研发人员：叶忠义，吴飞，方四安，徐承，
申请(专利权)人：合肥讯飞数码科技有限公司，
类型：发明
国别省市：安徽;34