【技术实现步骤摘要】
本专利技术涉及模型推理，尤其涉及一种模型验证方法、装置、电子设备及存储介质。
技术介绍
1、模型推理是指使用已经训练好的机器学习模型或深度学习模型来进行预测或处理新的输入数据，并且通过确定新的输入数据是否在机器学习模型或者深度学习模型生成的短语库中的方式，验证模型的推理性能使用。因此，结合模型推理存在的存储瓶颈问题，如何加速模型推理过程则成为当前亟需解决的关键问题。
2、相关技术中，解码结构的大语言模型在模型推理时，通常会将新生成的词元与短语库中每个短语的第一个词元分别进行匹配，若某个短语的第一个词元与新生成的词元匹配成功，则对该短语中的所有词元均进行模型验证。
3、然而，由于大语言模型在模型推理时一次只能产生一个词元，并且新生成的词元与短语的第一个词元一致时验证对应短语，导致对短语的利用率较低，没有充分加速模型推理速度。
技术实现思路
1、本专利技术提供一种模型验证方法、装置、电子设备及存储介质，用以解决现有技术中对短语的利用率较低，没有充分加速模型推理速度的缺陷...
【技术保护点】
1.一种模型验证方法，其特征在于，包括：
2.根据权利要求1所述的模型验证方法，其特征在于，所述目标位置和所述目标短语的数量分别为多个且一一对应，所述基于所述目标位置和所述预设位置，从所述目标短语中确定待验证词元集，包括：
3.根据权利要求2所述的模型验证方法，其特征在于，所述基于所述待验证词元集进行模型验证，包括：
4.根据权利要求3所述的模型验证方法，其特征在于，所述第一待验证词元集的确定过程，还包括：
5.根据权利要求3或4所述的模型验证方法，其特征在于，所述基于各所述第一待验证词元集进行模型验证，包括：
<...【技术特征摘要】
1.一种模型验证方法，其特征在于，包括：
2.根据权利要求1所述的模型验证方法，其特征在于，所述目标位置和所述目标短语的数量分别为多个且一一对应，所述基于所述目标位置和所述预设位置，从所述目标短语中确定待验证词元集，包括：
3.根据权利要求2所述的模型验证方法，其特征在于，所述基于所述待验证词元集进行模型验证，包括：
4.根据权利要求3所述的模型验证方法，其特征在于，所述第一待验证词元集的确定过程，还包括：
5.根据权利要求3或4所述的模型验证方法，其特征在于，所述基于各所述第一待验证词元集进行模型验证，包括：<...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：上海壁仞科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。