【技术实现步骤摘要】
本申请涉及图像数据处理，具体而言，涉及一种基于大模型的图像数据处理方法及装置、存储介质。
技术介绍
1、目前，在图像数据处理领域内，已经存在使用大模型处理图像数据的技术，不过随着模型规模的不断增长，如何压缩模型以便在资源受限的设备上部署模型来处理图像数据成为一个技术重点。其中，量化就是一种常见的模型压缩方法，具体是将模型中的浮点数参数转换成低位宽的整数来减小模型大小，从而加快模型的推理速度。不过这种转换过程本质是将原始的连续值参数空间映射到了更小范围的离散值空间，会造成模型精度损失，随着模型量化的级别越小，模型精度就会越差。
2、在相关技术中，已经存在一些方法来平衡模型量化级别和模型精度，例如使用量化感知训练（quantization-aware training，qat）训练模型时引入干扰因素来适应量化引入的误差，或者使用混合精度训练（mixed precision training，mpt）训练模型时使用不同位宽的数值来平衡计算效率和模型精度。不过这些方法在模型量化级别和模型精度的平衡效果并不是很好，仍然存在模型压缩效果不高的缺陷，也无法提高使用大模型处理图像数据的处理效果。
3、针对相关技术中，如何提高使用大模型处理图像数据的处理效果的技术问题，尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种基于大模型的图像数据处理方法及装置、存储介质，以至少解决相关技术中，如何提高使用大模型处理图像数据的处理效果的技术问题。
2、根据本
3、在一个示例性实施例中，所述方法还包括：通过以下方式计算所述第一图像数据的第一梯度向量：对所述第一图像数据进行拆分，得到多组第二图像数据，其中，每一组第二图像数据所包含的数据量与所述第一图像数据的数据量之间的差值小于预设阈值；针对所述每一组第二图像数据包含的第三图像数据，计算出所述第三图像数据的梯度向量；基于多个第三图像数据的梯度向量之间的和值确定出所述第一梯度向量。
4、在一个示例性实施例中，为所述第一模型参数值生成符合差分隐私的高斯噪声，并将所述高斯噪声加入所述第二梯度向量，得到所述第一图像数据的第三梯度向量，包括：从所述第一图像数据对应的第一模型参数值中确定出所述第二梯度向量对应的第三模型参数值；为所述第三模型参数值生成符合差分隐私的高斯噪声，并将所述高斯噪声加入所述第二梯度向量，得到所述第一图像数据的第三梯度向量；和/或，针对多个第三模型参数值，将多个高斯噪声依次加入所述第二梯度向量，得到所述第一图像数据的第三梯度向量。
5、在一个示例性实施例中，对所述第一梯度向量进行梯度裁剪，得到第二梯度向量，包括：在确定所述第一梯度向量的范数大于预设范数的情况下，将所述第一梯度向量的范数缩放为所述预设范数，所述预设范数与所述第二梯度向量的范数相同；其中，所述第二梯度向量表示为g2，g2=c×g1/||g1||，c为所述梯度裁剪阈值，g1为所述第一梯度向量，||g1||为所述第一梯度向量的范数，且||g1||≥c，g1/||g1||为单位矢量。
6、在一个示例性实施例中，对所述第一梯度向量进行梯度裁剪，得到第二梯度向量，包括：确定出用于对所述第一梯度向量进行梯度裁剪的预设梯度范围，其中，所述预设梯度范围包括梯度下限值和梯度上限值，所述第一梯度向量包括多个参数值对应的梯度值；从所述多个参数值对应的梯度值中确定出第一梯度值，其中，所述第一梯度值属于所述预设梯度范围；基于多个第一梯度值确定出所述第二梯度向量。
7、在一个示例性实施例中，按照梯度下降算法使用所述第三梯度向量对所述第一模型参数值进行更新，得到第二模型参数值，包括：按照梯度更新公式使用所述第三梯度向量对所述第一模型参数值进行更新，得到第二模型参数值；其中，所述梯度更新公式表示如下：；所述f1为第i-1次迭代更新后的第二模型参数值，所述f2为第i次迭代更新后的第一模型参数值，为第i-1次迭代的第三梯度向量，所述表示第i-1次迭代的学习率，i为正整数，。
8、在一个示例性实施例中，使用所述第二模型参数值对所述大模型进行训练，包括：确定出所述第一图像数据对应的浮点类型数据，其中，所述浮点类型数据至少包括浮点最大值和浮点最小值；使用量化区间对所述浮点类型数据进行量化，得到整型数据，其中，整型数据至少包括量化最小值和量化最大值；其中，通过以下公式对所述浮点类型数据进行反量化，得到反量化之后的数据。
9、。
10、v为所述浮点类型数据，为反量化之后的数据，，为所述整型数据，s为所述浮点类型数据和所述整型数据之间的量化比例关系，为所述量化最小值，为所述量化最大值；使用所述第二模型参数值和所述反量化之后的数据对所述大模型进行训练。
11、在一个示例性实施例中，所述方法还包括：对所述反量化之后的数据进行求偏导，得到所述量化区间对应的梯度区间；确定出用于更新所述梯度区间的初始值；基于所述初始值计算得到用于对所述梯度区间进行更新的前向更新参数，并对所述前向更新参数求偏导以得到后向更新参数；使用所述前向更新参数和所述后向更新参数对所述梯度区间进行更新，并将所述进行更新的更新结果发送给目标对象；在接收到所述目标对象发送的反馈信息的情况下，如果确定所述反馈信息用于指示更新所述量化区间，则对更新后的梯度区间进行偏导数的逆运算，得到更新的量化区间。
12、在一个示例性实施例中，在使用所述第二模型参数值对所述大模型进行训练之后，所述方法还包括：从测试数据集中确定出问答测试数据，其中，所述问答测试数据包括多组问答信息，每一组问答信息至少包括测试问题和测试答案；将所述每一组问答信息中的测试问题输入至训练完成的大模型，得到所述训练完成的大模型输出的模型答案；确定出所述训练完成的大模型输出所述模型答案使用的输出时间段，并计算所述模型答案对应的字符串长度和所述输出时间段之间的比值；在确定所述比值小于预设比值的情况下，向目标对象发送第一训练结果，其中，所述第一训练结果用于表示所述训练完成的大模型的比值小于所述预设比值。
13、在一本文档来自技高网...
【技术保护点】
1.一种基于大模型的图像数据处理方法，其特征在于，包括：
2.根据权利要求1所述的基于大模型的图像数据处理方法，其特征在于，所述方法还包括：通过以下方式计算所述第一图像数据的第一梯度向量：
3.根据权利要求1所述的基于大模型的图像数据处理方法，其特征在于，为所述第一模型参数值生成符合差分隐私的高斯噪声，并将所述高斯噪声加入所述第二梯度向量，得到所述第一图像数据的第三梯度向量，包括：
4.根据权利要求1所述的基于大模型的图像数据处理方法，其特征在于，对所述第一梯度向量进行梯度裁剪，得到第二梯度向量，包括：
5.根据权利要求1所述的基于大模型的图像数据处理方法，其特征在于，对所述第一梯度向量进行梯度裁剪，得到第二梯度向量，包括：
6.根据权利要求1所述的基于大模型的图像数据处理方法，其特征在于，按照梯度下降算法使用所述第三梯度向量对所述第一模型参数值进行更新，得到第二模型参数值，包括：
7.根据权利要求1所述的基于大模型的图像数据处理方法，其特征在于，使用所述第二模型参数值对所述大模型进行训练，包括：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。