【技术实现步骤摘要】
本专利技术涉及大模型推理，具体涉及一种基于众核架构的计算与通信融合算子编译方法与装置。
技术介绍
1、目前，大语言模型(large language models，简称llm)发展迅速，被越来越多地应用到机器翻译、智能查询、代码调试等各种需要语言处理的场景中。当前大语言模型因其千亿级参数量远超单处理器存储容量，因此，单一处理器难以完成整个大语言模型的推理过程，从而出现了使用众核处理器的处理器架构来应用大模型的推理服务，进而涉及不同卡之间的计算通信。
2、现有技术通常将计算和卡间通信当成两种独立的任务执行，采用串行或粗粒度(多batch)间的计算通信并行。尤其在众核处理器上，通常配备计算库专注于核间计算和核间通信的优化；配备通信库专注于卡间通信和计算的优化。而核间、卡间的并行优化支持度不高。由于计算负载不均、通讯延迟、同步等问题，在多卡并行推理场景下，很难达到合理的计算资源和带宽利用率。
技术实现思路
1、针对现有技术的技术缺陷，本专利技术实施例的目的在于提供一种基于众核架构的计...
【技术保护点】
1.一种基于众核架构的计算与通信融合算子编译方法，其特征在于，应用于大模型多卡异构编译部署，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述算子融合规则遵循于连续的两个计算算子加通信算子的组合。
3.如权利要求1或2所述的方法，其特征在于，所述进行评估具体包括：
4.如权利要求3所述的方法，其特征在于，组内采用任务级并行，计算组处理算子计算任务，通信组负责卡间通信所需的数据收集和交互处理；
5.如权利要求1所述的方法，其特征在于，所述融合代价模型的构建包括：
6.如权利要求1所述的方法，其特征在于...
【技术特征摘要】
1.一种基于众核架构的计算与通信融合算子编译方法，其特征在于，应用于大模型多卡异构编译部署，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述算子融合规则遵循于连续的两个计算算子加通信算子的组合。
3.如权利要求1或2所述的方法，其特征在于，所述进行评估具体包括：
4.如权利要求3所述的方法，其特征在于，组内采用任务级并行，计算组处理算子计算任务，通信组负责卡间通信所需的数据收集和交互处理；
5.如权利要求1所述的方法，其特征在于，所述融合代价模型的构建包括：
6....
【专利技术属性】
技术研发人员：展续尧，郑思杰，张祥建，
申请(专利权)人：北京谦合益邦云信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。