温馨提示：您尚未登录，请点 登陆 后下载，如果您还没有账户请点 注册 ，登陆完成后，请刷新本页查看技术详细信息。

本发明涉及一种用于聊天机器人的编译次数优化方法、设备及介质，该方法基于深度学习编译器来实现，通过对大模型推理的部分流程进行修改，包括对大模型推理阶段输入提示令牌和历史推理的键值缓存进行补齐，同时对指数归一化之前进行掩码数据处理。与现有技术相...
该专利属于上海人工智能创新中心所有，仅供学习研究参考，未经过上海人工智能创新中心授权不得商用。

详细技术文档下载地址

温馨提示：您尚未登录，请点 登陆 后下载，如果您还没有账户请点 注册 ，登陆完成后，请刷新本页查看技术详细信息。