下载大模型的数据token化方法、装置及大模型训练方法的技术资料

文档序号:42106310

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。

本申请提供一种大模型的数据token化方法、装置及大模型训练方法,该方法包括按照预设的第一字节长度对目标数据从头进行分割,分割后形成的数据序列记为基元序列;遍历基元序列中的每一个数据基元,若基元序列中的第i个数据基元的二进制码值及第i+1个...
该专利属于易中华所有,仅供学习研究参考,未经过易中华授权不得商用。

详细技术文档下载地址

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。