机器学习模型压缩方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种机器学习模型压缩方法、装置、计算机设备和存储介质。所述方法包括：获取机器学习模型；所述机器学习模型是预训练模型；确定所述机器学习模型的每一层中模型参数的概率分布的集合；确定所述集合中的概率分布的重心；分别确定每一层中的模型参数的概率分布与同层的所述重心之间的距离；从每一层的模型参数中，剪除所述距离满足预设接近条件的模型参数。采用本方法能够提高模型压缩的准确性。

Compression method, device, computer equipment and storage medium of machine learning model

【技术实现步骤摘要】
机器学习模型压缩方法、装置、计算机设备和存储介质
本申请涉及人工智能
和机器学习
，特别是涉及一种机器学习模型压缩方法、装置、计算机设备和存储介质。
技术介绍
随着人工智能技术的飞速发展，机器学习技术应运而生。通过机器学习技术训练得到的各种机器学习模型，解决了很多问题，为各行各业的开展都提供了很大的帮助。机器学习模型中具有很多模型参数(即模型参数)，对计算资源的占用就会比较大。因此，对模型进行合理的压缩剪枝非常必要。传统方法中，是通过几何平均来进行剪枝，从而砍除模型中多余的模型参数。然而，几何平均很难找到模型中的冗余信息，所以，导致模型压缩的效果比较差，准确率比较低。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高压缩准确率的机器学习模型压缩方法、装置、计算机设备和存储介质。一种机器学习模型压缩方法，所述方法包括：获取机器学习模型；所述机器学习模型是预训练模型；确定所述机器学习模型的每一层中模型参数的概率分布的集合；确定所述集合中的概率分布的重心；分本文档来自技高网...

【技术保护点】
1.一种机器学习模型压缩方法，其特征在于，所述方法包括：/n获取机器学习模型；所述机器学习模型是预训练模型；/n确定所述机器学习模型的每一层中模型参数的概率分布的集合；/n确定所述集合中的概率分布的重心；/n分别确定每一层中的模型参数的概率分布与同层的所述重心之间的距离；/n从每一层的模型参数中，剪除所述距离满足预设接近条件的模型参数。/n

【技术特征摘要】
1.一种机器学习模型压缩方法，其特征在于，所述方法包括：
获取机器学习模型；所述机器学习模型是预训练模型；
确定所述机器学习模型的每一层中模型参数的概率分布的集合；
确定所述集合中的概率分布的重心；
分别确定每一层中的模型参数的概率分布与同层的所述重心之间的距离；
从每一层的模型参数中，剪除所述距离满足预设接近条件的模型参数。


2.根据权利要求1所述的方法，其特征在于，所述获取机器学习模型包括：
获取当前轮训练前的初始机器学习模型；
根据训练样本，基于所述初始机器学习模型进行当前轮的机器学习训练，得到当前轮训练后的机器学习模型。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将剪除模型参数后的机器学习模型作为当前轮训练前的初始机器学习模型，返回根据训练样本，基于所述初始机器学习模型进行当前轮的机器学习训练的步骤以继续执行，直至达到迭代停止条件。


4.根据权利要求1所述的方法，其特征在于，所述从每一层的模型参数中，剪除所述距离满足预设接近条件的模型参数包括：
获取预设的剪枝比例；
针对每一层的模型参数，按照所述距离对所述模型参数进行排序；
按照排序，从同一层的模型参数中，选取满足所述剪枝比例的模型参数；
将选取的所述模型参数剪除。


5.根据权利要求4所述的方法，其特征在于，所述将选取的所述模型参数剪除包括：
将选取的所述模型参数对应的调整系数置为零；
将每一层的模型参数分别与对应的调整系数相乘，得到剪除模型参数后的机器学习模型。


6.根据权利要求1至5中任一项所述的方法，其特征在于，所述确定所述机器学习模型的每一层中模型参数的概率分布的集合包括：
获取所述机器学习模型的每一层所对应的模型参数矩阵；
根据每一层的所述模型参数矩阵，构造相应的代价矩阵；
根据每一层的所述代价矩阵中的每一列元素，确定每一层中各模型参数的概率分布。


7.根据权利要求6所述的方法，其特征在于，所述确定所述集合中的概率分布的重心包括：
分别根据所述集合中各概率分布，确定传输矩阵；
根据所述代价矩阵和所述传输矩阵，确定重心函数；
通过所述重心函数，迭代地求取最优传输矩阵，并根据所述最优传输矩阵，确定所述集合中的概率分布的重心；所述重心到各所述概率分布之间的距离之和最小。


8.根据权利要求7所述的方法，其特征在于，所述根据所述代价矩...

【专利技术属性】
技术研发人员：沈力，沈钰聪，黄浩智，王璇，刘威，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44