一种网络结构、并行推理模型的编译加载方法及芯片系统技术方案

本文提供了一种网络结构、并行推理模型的编译加载方法及芯片系统，所述结构包括主控芯片、第一模块芯片和多个第二模块芯片；所述主控芯片与所述第一模块芯片连接，所述主控芯片用于向所述第一模块芯片传输任务指令和任务数据；所述第一模块芯片与所述第二模块芯片连接，所述第一模块芯片用于根据所述任务指令编译加载所述任务数据，生成分发数据，并将所述分发数据广播至所述第二模块芯片，以使所述第二模块芯片存储接收到的分发数据，本文能够提高Chiplet架构下并行推理效率，有效提升Chiplet架构的竞争力。

【技术实现步骤摘要】
一种网络结构、并行推理模型的编译加载方法及芯片系统
本文属于芯片
，具体涉及一种网络结构、并行推理模型的编译加载方法及芯片系统。
技术介绍
Chiplet（可称小芯片）为硅片级别的重用。从系统端出发，将复杂功能进行分解，然后开发出多种具有单一特定功能、可相互进行模块化组装的裸芯片，如实现数据存储、计算、信号处理、数据流管理等功能，并最终以此为基础，建立一个Chiplet的芯片网络。人工智能（ArtificialIntelligence，简称AI）相关的Chiplet系统通常由Host和多个Chiplet构成，Host负责下发任务以及推理数据，Chiplet负责执行推理任务。并行深度学习推理通常有两个重要的步骤，即模型加载和模型推理。模型编译加载根据硬件信息将原始推理模型编译为硬件相关的可执行模型，并且将可执行模型加载到所有的Chiplet的内存中；模型推理是指在所有Chiplet上使用可执行模型对数据进行分类和识别。随着研究的不断深入，目前的推理模型越来越复杂，参数也越来越多，这样也带来了并行推理中模型加载的效率问题。通常本文档来自技高网...

【技术保护点】
1.一种网络结构，其特征在于，所述结构包括主控芯片、第一模块芯片和多个第二模块芯片；/n所述主控芯片与所述第一模块芯片连接，所述主控芯片用于向所述第一模块芯片传输任务指令和任务数据；/n所述第一模块芯片与所述第二模块芯片连接，所述第一模块芯片用于根据所述任务指令编译加载所述任务数据，生成分发数据，并将所述分发数据广播至所述第二模块芯片，以使所述第二模块芯片存储接收到的分发数据。/n

【技术特征摘要】
1.一种网络结构，其特征在于，所述结构包括主控芯片、第一模块芯片和多个第二模块芯片；
所述主控芯片与所述第一模块芯片连接，所述主控芯片用于向所述第一模块芯片传输任务指令和任务数据；
所述第一模块芯片与所述第二模块芯片连接，所述第一模块芯片用于根据所述任务指令编译加载所述任务数据，生成分发数据，并将所述分发数据广播至所述第二模块芯片，以使所述第二模块芯片存储接收到的分发数据。


2.根据权利要求1所述的网络结构，其特征在于，
所述第一模块芯片包括第一控制单元、第一计算单元和第一存储单元；
所述第二模块芯片包括第二控制单元、第二计算单元和第二存储单元；
所述第一控制单元的性能大于所述第二控制单元的性能，所述第一计算单元的计算性能大于所述第二计算单元的计算性能，所述第一存储单元的存储量大于所述第二存储单元的存储量。


3.根据权利要求1所述的网络结构，其特征在于，所述第一模块芯片还用于存储所述分发数据。


4.根据权利要求1所述的网络结构，其特征在于，所述任务数据包括原始推理模型和/或推理数据；
当所述任务数据为所述原始推理模型时，所述第一模块芯片用于编译加载所述原始推理模型，生成与所述第二模块芯片对应的可执行模型，并将所述可执行模型广播至所述第二模块芯片；
当所述任务数据为推理数据时，所述第一模块芯片用于将所述推理数据进行第一处理，并将处理后的推理数据分发至所述第二模块芯片；接收所述第二模块芯片根据所述推理数据的推理结果，并对所述推理结果进行第二处理，将处理后的推理结果返回给所述主控芯片。


5.根据权利要...

【专利技术属性】
技术研发人员：丁皓，林士涵，李力游，
申请(专利权)人：南京蓝洋智能科技有限公司，
类型：发明
国别省市：江苏;32