模型部署方法与电子设备技术

本公开提供了一种模型部署方法与电子设备，涉及深度学习技术领域。模型部署方法包括：根据目标数据处理模型的多个神经网络层每层需要占用的计算时间将所述多个神经网络层顺次分配到N个计算设备，使各计算设备上的神经网络层对应的计算时间总数之间的差值不大于预设值，N≥2；通过所述N个计算设备运行所述目标数据处理模型，以对多个待处理请求进行流水并行处理。本公开实施例可以改善流水并行模型的均衡性。

【技术实现步骤摘要】

所属的技术人员能够理解，本专利技术的各个方面可以实现为系统、方法或程序产品。因此，本专利技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本专利技术的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本专利技术各种示本文档来自技高网...

【技术保护点】

1.一种模型部署方法，其特征在于，包括：

2.如权利要求1所述的模型部署方法，其特征在于，所述根据目标数据处理模型的多个神经网络层每层需要占用的计算时间将所述多个神经网络层顺次分配到N个计算设备包括：

3.如权利要求1所述的模型部署方法，其特征在于，将所述多个神经网络层顺次分配到N个计算设备包括：

4.如权利要求1～3任一项所述的模型部署方法，其特征在于，所述目标数据处理模型为生成式预训练模型，所述多个神经网络层包括顺次排列的嵌入层、多个解码层、归一化层，根据目标数据处理模型的多个神经网络层每层需要占用的计算时间将所述多个神经网络层顺次分配到N个计算设...

【技术特征摘要】

1.一种模型部署方法，其特征在于，包括：

2.如权利要求1所述的模型部署方法，其特征在于，所述根据目标数据处理模型的多个神经网络层每层需要占用的计算时间将所述多个神经网络层顺次分配到n个计算设备包括：

3.如权利要求1所述的模型部署方法，其特征在于，将所述多个神经网络层顺次分配到n个计算设备包括：

4.如权利要求1～3任一项所述的模型部署方法，其特征在于，所述目标数据处理模型为生成式预训练模型，所述多个神经网络层包括顺次排列的嵌入层、多个解码层、归一化层，根据目标数据处理模型的多个神经网络层每层需要占用的计算时间将所述多个神经网络层顺次分配到n个计算设备包括：

5.如权利要求1～3任一项所述的模型部署方法，其特征在于，所述目标数据处理模型为生成式预训练模型，所述目标数据处理模型包括顺次排列的第一归一化层、一个嵌入层、多个解码层、第二归一化层，根据目标数据处理模型的多个神经网络层每层需要占用的计算时间将所述多个神经网络层顺次分配到n个计算设备包括：

6.如权利要求1所述的模型部署方法，其特征在于，通过所述n个计算设备运行所述目标数据处理模型包括：设置最后一个解码层仅对需要解码的令牌进行解码处理...

【专利技术属性】
技术研发人员：李一鹏，柳俊丞，梁德澎，
申请(专利权)人：北京硅动科技有限公司，
类型：发明
国别省市：