【技术实现步骤摘要】
本申请涉及人工智能，特别是涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
1、在深度学习领域，大模型因其卓越的学习能力而成为研究的热点。然而，这些模型的参数数量庞大，通常拥有数亿、数十亿甚至数千亿参数，导致部署推理过程中面临巨大的计算和存储挑战。为了解决这些问题，量化技术应运而生，该技术通过降低模型参数的数值精度，实现模型的压缩以期降低硬件需求和推理加速的目标。
2、混合精度量化技术是指在进行模型量化过程中，筛选出一定比例权值较高的参数不进行量化，权重较高的参数指的是对模型的性能影响比较大的参数，以期望这样既能保证模型性能，又能降低模型的大小。但是目前常用的量化技术在重要高权重参数筛选过程中凭借经验主义去确定比例，无法保证数据压缩与模型性能之间的平衡。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够保证模型性能的情况下，减少模型存储量或计算量的数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一...
【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述各个模型参数对应的激活值的大小，对所述原始神经网络中初始量化保留比以上的模型参数进行量化处理，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述量化后的神经网络的性能，对所述初始量化保留比进行迭代调整，直至满足预设要求，得到目标量化保留比，包括：
4.根据权利要求3所述的方法，其特征在于，在所述基于所述更新的量化保留比，对所述原始神经网络模型进行量化处理，得到中间神经网络模型之后，还包括：
5.根据权利要求...
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述各个模型参数对应的激活值的大小，对所述原始神经网络中初始量化保留比以上的模型参数进行量化处理，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述量化后的神经网络的性能，对所述初始量化保留比进行迭代调整，直至满足预设要求，得到目标量化保留比，包括：
4.根据权利要求3所述的方法，其特征在于，在所述基于所述更新的量化保留比，对所述原始神经网络模型进行量化处理，得到中间神经网络模型之后，还包括：
5.根据权利要求3所述的方法，其特征在于，在所述量化后的神经网络的性能满足预设要求的情况下，则将所述初始量化保留比缩小至原来的一半，得到更新的量化保留...
【专利技术属性】
技术研发人员：朱登龙，王伟印，赵斌，吕浩铭，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。