【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种模型芯片架构实现方法、装置、电子设备、存储介质和计算机程序产品。
技术介绍
1、大模型尤其是那些在自然语言处理和多模态任务中表现卓越的模型，通常拥有庞大的参数量，这使得它们在推理过程中展现出卓越的性能，同时也带来了较高的计算成本。
2、大模型的推理过程往往涉及多个不同的阶段，各阶段对计算资源的需求各不相同，目前的实现方案是在相同的芯片上依次完成各阶段的任务。然而，某些阶段对算力要求较高，某些阶段对存储带宽要求较高，如果均在同一芯片上完成不同阶段的任务，会造成计算资源的浪费，计算成本较高；此外，在不同的并行策略下均采用相同的芯片，会造成资源浪费，计算效率低下。
技术实现思路
1、本专利技术提供一种模型芯片架构实现方法、装置、电子设备、存储介质和计算机程序产品，用以解决现有技术中在同一芯片上完成不同阶段的任务，会造成计算资源的浪费，计算成本较高的缺陷。
2、本专利技术提供一种模型芯片架构实现方法，包括：
3、确定模型在目标...
【技术保护点】
1.一种模型芯片架构实现方法，其特征在于，包括：
2.根据权利要求1所述的模型芯片架构实现方法，其特征在于，所述基于所述计算访存比以及所述计算强度，从各芯片架构中确定所述目标阶段对应的目标芯片架构，包括：
3.根据权利要求1所述的模型芯片架构实现方法，其特征在于，所述目标阶段的计算访存比基于如下步骤确定：
4.根据权利要求3所述的模型芯片架构实现方法，其特征在于，所述基于所述输入矩阵与所述权重矩阵，确定计算量以及数据读取量，包括：
5.根据权利要求3所述的模型芯片架构实现方法，其特征在于，所述基于所述计算量以及所述数据读...
【技术特征摘要】
1.一种模型芯片架构实现方法，其特征在于，包括：
2.根据权利要求1所述的模型芯片架构实现方法，其特征在于，所述基于所述计算访存比以及所述计算强度，从各芯片架构中确定所述目标阶段对应的目标芯片架构，包括：
3.根据权利要求1所述的模型芯片架构实现方法，其特征在于，所述目标阶段的计算访存比基于如下步骤确定：
4.根据权利要求3所述的模型芯片架构实现方法，其特征在于，所述基于所述输入矩阵与所述权重矩阵，确定计算量以及数据读取量，包括：
5.根据权利要求3所述的模型芯片架构实现方法，其特征在于，所述基于所述计算量以及所述数据读取量，确定所述计算访存比，包括：
6.根据权利要求1至5任一项所述的模型芯片架...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：上海壁仞科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。