【技术实现步骤摘要】
本申请涉及人工智能，尤其是涉及一种多核大模型计算方法、装置、设备及存储介质。
技术介绍
1、随着ai大模型、智能驾驶等新技术的崛起，用户对高带宽的内存的需求越来越高。由于数据量的提升，ai服务器需要在短时间内处理大量数据，使得ai服务器对带宽提出了更高的要求，而hbm(high bandwidth memory，高带宽内存)可以是ai服务器的基本配置，hbm具备超高的带宽能力，应用hbm可以使得计算和存储的大模型应用性能得到显著提升。此外，hbm可以应用在汽车领域中，汽车中的摄像头数量众多，汽车系统中所有摄像头需要处理和传输的数据量极大，采用hbm技术可以提高带宽，以提高数据处理和数据传输的能力。
2、在大模型数据处理的过程中，如何充分利用hbm的超高带宽能力，使硬件的算力资源发挥到最优，尤为重要；传统的多核大模型的计算方法，偏重于计算资源的叠加，使得计算资源有很大的富余，然而这种方法会导致对硬件算力资源的利用率低，从而造成硬件成本的浪费。
技术实现思路
1、为了有助于解决传统...
【技术保护点】
1.一种多核大模型计算方法，其特征在于：所述方法应用于多核大模型计算系统，所述多核大模型计算系统包括中央处理单元，高带宽内存单元和核心计算单元，所述方法包括：
2.根据权利要求1所述的方法，其特征在于：所述大模型包含词库，所述中央处理单元将所述模型文本数据转换成嵌入向量数据包括：
3.根据权利要求1所述的方法，其特征在于：所述核心计算单元读取所述高带宽内存单元中的所述大模型权重文件，根据所述大模型权重文件中的权重数据和大模型网络结构的中间层的层数对所述嵌入向量数据进行处理，生成注意力参数包括：
4.根据权利要求3所述的方法，其特征在...
【技术特征摘要】
1.一种多核大模型计算方法，其特征在于：所述方法应用于多核大模型计算系统，所述多核大模型计算系统包括中央处理单元，高带宽内存单元和核心计算单元，所述方法包括：
2.根据权利要求1所述的方法，其特征在于：所述大模型包含词库，所述中央处理单元将所述模型文本数据转换成嵌入向量数据包括：
3.根据权利要求1所述的方法，其特征在于：所述核心计算单元读取所述高带宽内存单元中的所述大模型权重文件，根据所述大模型权重文件中的权重数据和大模型网络结构的中间层的层数对所述嵌入向量数据进行处理，生成注意力参数包括：
4.根据权利要求3所述的方法，其特征在于：所述基础算子包括矩阵乘算子，所述核心计算单元根据读取的所述当前中间层的权重数据，采用大模型中的基础算子对所述嵌入向量数据进行处理，生成当前层的注意力参数包括：
5.根据权利要求1所述的方法，其特征在于：所述当前层的注...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，
申请(专利权)人：深存科技无锡有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。