【技术实现步骤摘要】
本公开涉及计算机，特别涉及一种权重加载方法、数据处理方法、权重加载装置、数据处理装置、电子设备及计算机可读存储介质。
技术介绍
1、大模型(large model，lm)可能具有超过千亿规模的巨量参数，这为大模型的部署和应用带来了巨大挑战。并且，随着用户对隐私性、时效性等需求的增长，在手机、笔记本电脑等端设备上本地部署大模型逐渐变得必要，这对降低大模型的存储空间和运算时的传输带宽提出了更高要求。
技术实现思路
1、本公开提供一种权重加载方法、数据处理方法、权重加载装置、数据处理装置、电子设备及计算机可读存储介质。
2、第一方面，本公开提供了一种权重加载方法，该权重加载方法包括：根据与预设模型的权重矩阵对应的输入数据，从所述权重矩阵中选取一部分权重参数作为目标权重参数；将所述目标权重参数和与所述权重矩阵对应的补充矩阵加载到目标设备，以供所述目标设备基于所述目标权重参数和所述补充矩阵分别与所述输入数据进行数据处理并融合得到数据处理结果；其中，所述补充矩阵为低秩矩阵。
3...
【技术保护点】
1.一种权重加载方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述对所述权重矩阵进行低秩分解，得到多个所述补充子矩阵，包括：
5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述对所述补充矩阵进行稀疏处理，得到稀疏补充矩阵，包括：
7.根据权利要求1所述的方法，其特征在于，所述根据与预设模型的权重矩阵对应的输入数据，...
【技术特征摘要】
1.一种权重加载方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述对所述权重矩阵进行低秩分解，得到多个所述补充子矩阵，包括：
5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述对所述补充矩阵进行稀疏处理，得到稀疏补充矩阵，包括：
7.根据权利要求1所述的方法，其特征在于，所述根据与预设模型的权重矩阵对应的输入数据，从所述权重矩阵中选取一部分权重参数作为目标权重参数，包括：
8.根据权利要求1或7所述的方法，其特征在于，所述根据与预设模型的权重矩阵对应的输入数据，从所述权重矩阵中选取一部分权重参数作为目标权重参数，包括：
9.根据权利要求8所述的方法，其特征在于，所述确定与所述权重矩阵对应的稀疏化...
【专利技术属性】
技术研发人员：刘发强，祝夭龙，
申请(专利权)人：北京灵汐科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。