本发明公开了一种大模型异构推理方法和系统。该方法包括：针对大模型，根据计算与存储特性确定待卸载的目标组件和保留组件，所述目标组件是存储密集且计算强度低于设定标准的组件，所述保留组件是计算密集型组件；将所述目标组件卸载至不同于GPU的异构...

本发明公开了一种用于大模型长上下文推理的算法方法，涉及大语言模型技术领域，包括以下步骤：将输入的长文本序列划分为多个初始文本块；基于初始文本块生成语义摘要，并对语义摘要进行聚类分析，将语义相近的初始文本块合并为语义超块，形成具有语义代表...

本发明公开了一种灵活的算子替换实验平台，涉及GPU算子替换实验技术领域，包括规则解析模块、沙箱构建模块、通信规划模块、设备适配模块、算子切换模块、实验监控模块及策略固化模块；所述规则解析模块，用于接收算子替换规则文件，解析其中的目标模块...