【技术实现步骤摘要】
本公开涉及人工智能，尤其涉及大语言模型领域，具体地，涉及一种模型压缩方法、装置、电子设备以及存储介质。
技术介绍
1、大语言模型作为自然语言处理领域的重要技术，以模型体积巨大、通用性广泛为主要特征，在泛用型任务中表现出色。在机器翻译、文本生成、问答系统等诸多领域具有广阔的应用场景。
技术实现思路
1、本公开提供了一种模型压缩方法、装置、电子设备以及存储介质。
2、根据本公开的一方面，提供了一种模型压缩方法，包括：响应于接收到待压缩模型的初始模型参数以及针对初始模型参数设置的目标压缩精度，从初始模型参数中读取待压缩模型的模型权重矩阵；对模型权重矩阵进行稀疏化处理，得到稀疏权重矩阵，其中，初始模型参数包括模型权重矩阵，根据稀疏权重矩阵确定的模型的目标精度与待压缩模型的初始精度的差值小于预设阈值；对稀疏权重矩阵中的目标权重进行融合，得到融合权重，目标权重表征待压缩模型中具有耦合关系的子网络的模型权重，待压缩模型包括至少一个子网络；根据目标压缩精度，对包括融合权重的目标模型参数进行量化...
【技术保护点】
1.一种模型压缩方法，包括：
2.根据权利要求1所述的方法，其中，所述待压缩模型包括多个通道；所述对所述模型权重矩阵进行稀疏化处理，得到稀疏权重矩阵包括：
3.根据权利要求2所述的方法，其中，所述将所述模型权重矩阵中属于同一通道的模型权重作为一个单位，对所述模型权重矩阵进行稀疏化处理包括：
4.根据权利要求3所述的方法，其中，所述对所述列中的列模型权重进行稀疏化处理包括：
5.根据权利要求4所述的方法，其中，
6.根据权利要求4或5所述的方法，其中，所述对与所述第一部分权重相同行的第一目标权重进行调整包括：<...
【技术特征摘要】
1.一种模型压缩方法，包括：
2.根据权利要求1所述的方法，其中，所述待压缩模型包括多个通道；所述对所述模型权重矩阵进行稀疏化处理，得到稀疏权重矩阵包括：
3.根据权利要求2所述的方法，其中，所述将所述模型权重矩阵中属于同一通道的模型权重作为一个单位，对所述模型权重矩阵进行稀疏化处理包括：
4.根据权利要求3所述的方法，其中，所述对所述列中的列模型权重进行稀疏化处理包括：
5.根据权利要求4所述的方法，其中，
6.根据权利要求4或5所述的方法，其中，所述对与所述第一部分权重相同行的第一目标权重进行调整包括：
7.根据权利要求3所述的方法，其中，所述对所述行中的行模型权重进行稀疏化处理包括：
8.根据权利要求7所述的方法，其中，
9.根据权利要求7或8所述的方法，其中，所述对与所述第二部分权重相同列的第二目标权重进行调整包括：
10.根据权利要求1-9中任一项所述的方法，其中，所述具有耦合关系的子网络构成一个层结构网络，所述待压缩模型包括至少一个层结构网络；所述对所述稀疏权重矩阵中的目标权重进行融合，得到融合权重包括：
11.根据权利要求1-10中任一项所述的方法，其中，所述具有耦合关系的子网络构成一个层结构，所述待压缩模型包括至少一个层结构网络；所述根据所述目标压缩精度，对包括所述融合权重的目标模型参数进行量化，得到量化参数包括：
12.根据权利要求11所述的方法，其中，所述层模型权重包括与所述层结构网络相关的层初始权重和层融合权重，所述层融合权重表征对所述稀疏参数矩阵中与所述层结构网络相关的层目标权重进行融合得到的融合权重，所述层初始权重表征所述层模型权重中除所述层目标权重之外的其他权重；所述根据所述目标压缩精度和所述数据分布范围，对所述层激活值和所述层模型权重进行量化，得到与所述层结构网络相对应的层量化参数包括：
13.根据权利要求12所述的方法，其中，所述根据所述整数型参数，确定所述层量化参数包括：
14.根据权利要求13所述的方法，其中，所述根据所述整数型参数和所述第一量化损失...
【专利技术属性】
技术研发人员：金义博，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。