本发明公开一种在NCOS上的大语言模型推理加速方法，旨在解决现有优化技术的局限。该方法通过搭建基于NCOS的推理系统架构，以具备任务感知能力的NCOS调度引擎替换传统通用系统层，实现模型分布式部署与资源优化调度；对GPU显存KV缓存逻辑...

本发明涉及一种用RDMA加速文件获取的方法，属于AI训练、推理及大型CPU计算密集型场景的文件传输技术领域。针对传统文件读取存在的IO瓶颈、客户端内存限制及专用硬件部署成本高的问题，本发明采用客户端‑服务端架构，分离控制面与数据面，服务...