本发明提供一种用于生成式模型的推理方法、系统、设备和介质。方法包括：获取待处理数据，并将待处理数据输入至大语言模型；针对每一个注意力层进行如下推理：基于输入至注意力层的数据，生成查询向量、键向量和值向量，生成的键向量和值向量组合为缓存块...