数据处理模型的确定方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种数据处理模型的确定方法、装置、电子设备及存储介质，所述方法包括：获取样本数据集；将样本数据集中每个样本数据转换成样本向量数据，根据每个样本向量数据对应的分布区间对样本数据集中样本数据进行分组，将每个样本数据组中的样本数据输入预设模型的当前量化层，将每个样本数据组对应的初始量化系数确定为当前量化层的当前量化系数，基于当前量化层输出当前量化数据；基于每个样本数据组中的样本数据、当前量化系数以及当前量化数据，得到每个样本数据组对应的目标量化系数；并对预设模型进行量化处理，得到数据处理模型。本公开可以在不损失推理效率的前提下提升模型的量化精度，降低模型的存储空间。

【技术实现步骤摘要】

本公开涉及计算机，尤其涉及一种数据处理模型的确定方法、装置、电子设备及存储介质。

技术介绍

1、相关技术中，llm模型已经在aigc领域充分证明了其潜力和优越性，然而，由于llm模型本身巨大的参数量和计算量，其推理的成本开销远大于普通模型，常见的llm一般为7b，13b，70b的参数量级，高算力和高存储需求严重限制了llm模型的广泛应用。

技术实现思路

1、本公开提供一种数据处理模型的确定方法、装置、电子设备及存储介质，以至少解决相关技术中数据处理模型占用的存储空间大、推理速度慢的问题。本公开的技术方案如下：

2、根据本公开实施例的第一方面，提供一种数据处理模型的确定方法，包括：

3、获取样本对象集中每个样本对象对应的样本数据，得到样本数据集；所述样本数据为样本文本或样本图像的表征数据；

4、将所述样本数据集中每个样本数据转换成样本向量数据，根据每个样本向量数据对应的分布区间对所述样本数据集中样本数据进行分组，并确定每个样本数据组对应的初始量化系数；p>

5、将每个本文档来自技高网...

【技术保护点】

1.一种数据处理模型的确定方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于每个样本数据组中的样本数据、所述当前量化系数以及所述当前量化数据，对所述当前量化系数进行调整，得到每个样本数据组对应的目标量化系数，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述当前损失数据对所述当前量化系数以及所述当前矩阵参数进行调整，得到每个样本数据组对应的目标量化系数以及目标矩阵参数，包括：

4.根据权利要求2所述的方法，其特征在于，所述基于所述当前损失数据对所述当前量化系数以及所述当前矩阵参数进行调整，得到每个样本数据组对应的目...

【技术特征摘要】

1.一种数据处理模型的确定方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于每个样本数据组中的样本数据、所述当前量化系数以及所述当前量化数据，对所述当前量化系数进行调整，得到每个样本数据组对应的目标量化系数，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述当前损失数据对所述当前量化系数以及所述当前矩阵参数进行调整，得到每个样本数据组对应的目标量化系数以及目标矩阵参数，包括：

4.根据权利要求2所述的方法，其特征在于，所述基于所述当前损失数据对所述当前量化系数以及所述当前矩阵参数进行调整，得到每个样本数据组对应的目标量化系数以及目标矩阵参数，包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述根据每个样本向量数据对应的分布区间对所述样本数据集中样本数据进行分组，并确定每个样本数据组对应的初始量化系数，包括：

7.根据权利要求6所述的方法，其特征在于，所述将所述样本数据集中样本数...

【专利技术属性】
技术研发人员：吴蔚，臧成杰，褚欢鹏，刘凌志，
申请(专利权)人：北京凌川科技有限公司，
类型：发明
国别省市：