本发明公开了基于层内并行与通信量化的大语言模型分布式推理方法。该方法涉及分布式推理技术领域，包括以下步骤：计算资源效率评估与调控；网络环境适配评估；推理结果生成与输出。本发明通过在大语言模型分布式推理中，先评估计算资源利用效率，若效率不...