李皓霖专利技术

李皓霖共有1项专利

  • 本发明公开了一种用于大语言模型分布式推理的计算任务分配系统,包括环境部署模块、模型分割模块、计算任务分配模块和子模型运行模块。本发明通过模型拆分、流水线式推理和线性规划,能够在手机端实现分布式的运行大语言模型进行推理等工作,充分调用边缘...
1