【技术实现步骤摘要】
本申请涉及人工智能，更具体地说，涉及一种信息处理方法、装置及电子设备和存储介质。
技术介绍
1、大模型(large model，lm)通常指的是包含超大规模参数的神经网络模型，如自然语言处理领域中的大语言模型、transformer、bert等模型。大模型的出现使得计算机能够更好地理解和处理大规模数据，并在各种复杂任务中表现出色。
2、随着大模型性能不断提升，能帮助用户解决越来越多的问题，考虑到用户隐私问题，更多的大模型需要移植到端侧设备进行部署。但是，由于端侧设备存在内存和计算能力受限等问题，将大模型部署到端侧设备后容易出现设备无法正常运行或者设备卡死的问题。
技术实现思路
1、本申请的目的是提供一种信息处理方法、装置及电子设备和存储介质，包括如下技术方案：
2、一种信息处理方法，所述方法包括：
3、读取大模型的至少部分原始参数；
4、基于设备资源的被占用信息确定所述至少部分原始参数中目标原始参数的量化位数；
5、基于所述目标原...
【技术保护点】
1.一种信息处理方法，所述方法包括：
2.根据权利要求1所述的方法，在读取大模型的至少部分原始参数之前，还包括：
3.根据权利要求2所述的方法，所述根据所述设备资源的被占用信息确定所述所有原始参数中的目标原始参数，以及确定所述目标原始参数的量化位数，包括：
4.根据权利要求1所述的方法，还包括：在运行所述大模型的过程中，监测所述设备资源的被占用信息；
5.根据权利要求4所述的方法，还包括：
6.根据权利要求1所述的方法，所述设备资源的被占用信息包括：所述设备资源的占用率；
7.根据权利要求1所述的...
【技术特征摘要】
1.一种信息处理方法，所述方法包括：
2.根据权利要求1所述的方法，在读取大模型的至少部分原始参数之前，还包括：
3.根据权利要求2所述的方法，所述根据所述设备资源的被占用信息确定所述所有原始参数中的目标原始参数，以及确定所述目标原始参数的量化位数，包括：
4.根据权利要求1所述的方法，还包括：在运行所述大模型的过程中，监测所述设备资源的被占用信息；
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。