温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本申请公开了一种数据处理方法及装置,该方法包括:在生成式人工智能模型执行推理任务的过程中,将内存中存储的推理任务中已经生成的词元对应的满足压缩条件的初始键值数据进行压缩处理,压缩处理的结果包括压缩键值数据以及压缩键值数据与初始键值数据之间的...该专利属于鼎道智芯(上海)半导体有限公司所有,仅供学习研究参考,未经过鼎道智芯(上海)半导体有限公司授权不得商用。
温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本申请公开了一种数据处理方法及装置,该方法包括:在生成式人工智能模型执行推理任务的过程中,将内存中存储的推理任务中已经生成的词元对应的满足压缩条件的初始键值数据进行压缩处理,压缩处理的结果包括压缩键值数据以及压缩键值数据与初始键值数据之间的...