【技术实现步骤摘要】
本申请涉及神经网络领域，尤其是一种基于神经网络硬件的量化方法、系统、设备及存储介质。
技术介绍
1、神经网络是大模型的基础。深度学习是指具有多个隐藏层的神经网络模型，而大模型则是深度学习模型中的一种，其参数规模较大，具有更强的表达能力和学习能力。因此，大模型通常基于神经网络架构进行构建和训练。
2、随着deepseek的大火，打破传统对大模型的认识，大模型的实现并非只是算力叠加，轻量化和可部署的模型的才是大模型实现的关键，ai科技公司对于大模型部署的成本尤其看重。模型轻量化的过程，少不了权重数据的量化，因此大模型发展的趋势就是将模型权重数据类型逐渐从高精确度四字节的fp32转变成相对低精确度两字节的bf16，以及一字节的fp8，甚至少于一字节的fp6、fp4等更小粒度的数据类型，权重数据类型粒度的降低使得模型的参数大小有最大程度的降低，使得部署所需的存储成本也进一步的降低
3、数据量化过程相对比较繁琐，对于算力资源比较丰富的gpu来实现这些量化操作可以用堆算力多并行来降低整个处理时延，但是对于小算力的硬件来实现模...
【技术保护点】
1.一种基于神经网络硬件的量化方法，其特征在于，所述方法包括：
2.根据权利要求1所述方法，其特征在于，所述层归一化所述初始数据得到数据类型为BF16的activation数据包括：
3.根据权利要求1所述方法，其特征在于，所述神经网络包括权重数据，所述根据所述矩阵乘法器处理并计算所述activation数据得到第一数据包括：
4.根据权利要求3所述方法，其特征在于，所述量化所述activation数据并利用所述矩阵乘法器计算得到第一数据包括：
5.根据权利要求4所述方法，其特征在于，所述找出所述activation数据...
【技术特征摘要】
1.一种基于神经网络硬件的量化方法，其特征在于，所述方法包括：
2.根据权利要求1所述方法，其特征在于，所述层归一化所述初始数据得到数据类型为bf16的activation数据包括：
3.根据权利要求1所述方法，其特征在于，所述神经网络包括权重数据，所述根据所述矩阵乘法器处理并计算所述activation数据得到第一数据包括：
4.根据权利要求3所述方法，其特征在于，所述量化所述activation数据并利用所述矩阵乘法器计算得到第一数据包括：
5.根据权利要求4所述方法，其特征在于，所述找出所述activation数据中的最大activation数据值包括：<...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：深存科技无锡有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。