一种翻译模型压缩方法、翻译方法及相关装置制造方法及图纸

本说明书一个或多个实施例公开了一种翻译模型压缩方法、翻译方法及相关装置，该方法包括：从目标翻译模型中提取词表向量集合，基于词表向量集合映射的正态分布结果确定量化区间，根据确定的量化精度，计算待划分的区间段数目，按照等分的方式将量化区间划分为与区间段数目相同的多个量化区间段，并为每个量化区间段分配一个唯一区间编号，分别将每个量化区间段内包含的词表向量的元素对应的高比特位的原值，用对应的量化区间段的高比特位的区间编号进行替换，并将以区间编号表示的词表向量写入目标翻译模型。从而，实现对目标翻译模型的压缩。型的压缩。型的压缩。

【技术实现步骤摘要】
一种翻译模型压缩方法、翻译方法及相关装置


[0001]本文件涉及人工智能
，尤其涉及一种翻译模型压缩方法、翻译方法及相关装置。

技术介绍

[0002]随着机器翻译技术的不断发展，在线翻译得到广泛应用。同时，随着业务的升级，离线翻译的应用场景需求也越来越多，诸如扫读笔、翻译机、同声传译耳机等终端设备，通常是在无网或者弱网环境下使用到翻译功能。
[0003]但是这类终端设备的内存资源普遍受限，而且终端设备上的内存通常由系统模块、翻译模块、光学字符识别模块、人机对话模块等共享，且内存占用较大。
[0004]目前，业界提出较多针对翻译模型的压缩方案，但是，由于压缩方法的不合理，虽然可以降低内存占用，但同时也容易给翻译质量带来较大损失。

技术实现思路

[0005]本说明书一个或多个实施例的目的是提供一种翻译模型压缩方法、翻译方法及相关装置，以通过词表量化的方式实现对翻译模型的压缩，在保证翻译质量受损较小的前提下，减小翻译模型对内存的占用。
[0006]为解决上述技术问题，本说明书一个或多个实施例是这样实现的：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种翻译模型压缩方法，包括：从训练得到的目标翻译模型中提取词表向量集合，其中，所述词表向量集合中的词表向量的元素呈正态分布；基于所述词表向量集合映射的正态分布结果确定量化区间；根据确定的量化精度，计算待划分的区间段数目，按照等分的方式将所述量化区间划分为与所述区间段数目相同的多个量化区间段，并为每个量化区间段分配一个唯一区间编号；分别将每个量化区间段内包含的词表向量的元素对应的原值用对应的量化区间段的区间编号进行替换，并将以区间编号表示的词表向量写入所述目标翻译模型；其中，所述区间编号的比特位小于所述原值的比特位。2.如权利要求1所述的翻译模型压缩方法，基于所述词表向量集合映射的正态分布结果确定量化区间，包括：基于所述词表向量集合映射的正态分布中，选择满足预设约束条件的词表向量分布区间作为量化区间。3.如权利要求2所述的翻译模型压缩方法，所述预设约束条件包括：词表向量集合中全部词表向量；基于所述词表向量集合映射的正态分布中，选择满足预设约束条件的词表向量分布区间作为量化区间，包括：基于所述词表向量集合映射的正态分布情况，选择全部词表向量所对应的词表向量分布区间作为量化区间，其中，所述量化区间的最大边界为所述词表向量集合中最大元素的原值，最小边界为所述词表向量集合中最小元素的原值。4.如权利要求2所述的翻译模型压缩方法，所述预设约束条件包括：词表向量集中程度满足约束子条件；基于所述词表向量集合映射的正态分布中，选择满足预设约束条件的词表向量分布区间作为量化区间，包括：基于所述词表向量集合映射的正态分布情况，从中选择词表向量集中程度满足约束子条件的词表向量分布区间作为量化区间；其中，所述约束子条件包括：词表向量分布区间的最大边界处的元素的取值满足第一阈值和/或最小边界处的元素的取值满足第二阈值；或者，词表向量分布区间的最大边界处的元素的密度满足第三阈值和/或最小边界处的元素的密度满足第四阈值。5.如权利要求1
‑
3任一项所述的翻译模型压缩方法，所述区间段数目为N，且所述N为正整数；则根据确定的量化精度，计算待划分的区间段数目，按照等分的方式将所述量化区间划分为与所述区间段数目相同的多个量化区间段，并为每个量化区间段分配一个唯一区间编号，包括：将确定的量化精度作为底数2的指数进行计算，并对计算结果减1后得到待划分的区间段数目N；按照等分的方式将所述量化区间均匀划分为N个量化区间段，并使用0至N
‑
1中每个正整数为每个量化区间段分别赋予一个区间编号。6.如权利要求1
‑
2、4任一项所述的翻译模型压缩方法，所述区间段数目为N，且所述N为
正整数；则根据确定的量化精度，计算待划分的区间段数目，按照等分的方式将所述量化区间划分为与所述区间段数目相同的多个量化区间段，并为每个量化区间段分配一个唯一区间编号，包括：将确定的量化精度作为底数2的指数进行计算，并对计算结果减1后得到待划分的区间段数目N；按照等分的方式将所述量化区间均匀划分为N个量化区间段，并使用0至N
‑
1中每个正整数为每个量化区间段分别赋予一个区间编号；以及，为所述量化区间以外的分布区间统一赋予特殊编号N。7.如权利要求6所述的翻译模型压缩方法，在将以区间编号表示的词表向量写入所述目标翻译模型之后，所述方法还包括：分别将所述量化区间以外的分布区间包含的词表向量以对应的原值写入所述目标翻译模型，并使用特殊编号N进行统一标记。8.如权利要求1
‑
4任一项所述的翻译模型压缩方法，所述量化区间是对称分布区间，或者，非对称分布区间。9.如权利要求1
‑
4任一项...

【专利技术属性】
技术研发人员：徐浩广，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：