一种模型处理方法、数据处理方法和设备技术

本申请涉及一种模型处理方法、数据处理方法和设备，其中，所述方法包括：获取人工智能(AI)芯片中的待处理数据的原始格式、待部署模型的输入数据的目标格式；在所述待处理数据的原始格式、与所述输入数据的目标格式不同的情况下，确定转换算子；其中，所述转换算子用于将待处理数据由所述原始格式转换为所述目标格式；基于所述转换算子以及所述待部署模型得到目标模型；其中，所述目标模型用于在所述AI芯片中对所述待处理数据进行处理。片中对所述待处理数据进行处理。片中对所述待处理数据进行处理。

【技术实现步骤摘要】
一种模型处理方法、数据处理方法和设备


[0001]本申请涉及信息处理
，尤其涉及模型处理方法、数据处理方法和设备。

技术介绍

[0002]随着技术的发展，人工智能(Artificial Intelligence，AI)被应用在各种场景中。AI是利用数字计算机或数字计算机控制的及其模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。随着AI的不断兴起，深度学习模型成为当前广泛应用的模型，这种模型被应用于各种电子设备中。然而，已训练好的模型可能并非兼容全部的电子设备，因此，如何在保证模型在电子设备中进行数据处理的精确性的同时，保证高效的在电子设备中部署模型，就成为需要解决的问题。

技术实现思路

[0003]本申请提供了一种模型处理方法、数据处理方法和设备。
[0004]根据本申请的一方面，提供了一种模型处理方法，包括：
[0005]获取人工智能AI芯片中的待处理数据的原始格式、待部署模型的输入数据的目标格式；
[0006]在所述待处理数据的原始格式、与所述输入数据的目标格式不同的情况下，确定转换算子；其中，所述转换算子用于将待处理数据由所述原始格式转换为所述目标格式；
[0007]基于所述转换算子以及所述待部署模型得到目标模型；其中，所述目标模型用于在所述AI芯片中对所述待处理数据进行处理。
[0008]根据本申请的一方面，提供了一种数据处理方法，所述方法包括：
[0009]将第一数据输入目标模型，得到所述目标模型输出的处理结果；其中，所述目标模型为基于模型处理方法得到的。
[0010]根据本申请的另一方面，提供了一种第一设备，所述第一设备包括：
[0011]获取单元，用于获取人工智能AI芯片中的待处理数据的原始格式、待部署模型的输入数据的目标格式；
[0012]算子确定单元，用于在所述待处理数据的原始格式、与所述输入数据的目标格式不同的情况下，确定转换算子；其中，所述转换算子用于将待处理数据由所述原始格式转换为所述目标格式；
[0013]模型处理单元，用于基于所述转换算子以及所述待部署模型得到目标模型；其中，所述目标模型用于在所述AI芯片中对所述待处理数据进行处理。
[0014]根据本申请的另一方面，提供了一种第二设备，包括：
[0015]信息处理单元，用于将第一数据输入目标模型，得到所述目标模型输出的处理结果；其中，所述目标模型为基于模型处理方法得到的。
[0016]根据本申请的另一方面，提供了一种第一设备，包括：处理器和存储器，该存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以使
所述第一设备执行前述方法。
[0017]根据本申请的另一方面，提供了一种第二设备，包括：处理器和存储器，该存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以使所述第二设备执行前述方法。
[0018]根据本申请的另一方面，提供了一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如前述任意一项实施例提供的方法。
[0019]根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使该计算机执行本申请任意一项实施例所提供的方法。
[0020]根据本申请的另一方面，提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现本申请任意一项实施例所提供的方法。
[0021]采用本申请，在AI芯片中的待处理数据的原始格式、和待部署模型的输入数据的目标格式不同的情况下，确定转换算子，根据该转换算子以及待部署模型得到目标模型并部署在AI芯片中。由于该转换算子能够将待处理数据的原始格式转换为目标格式，因此添加了转换算子之后所得到的目标模型能够在AI芯片中对待处理数据进行正确的处理，保证了该目标模型在电子设备中进行数据处理的精确性；并且，由于无需对待部署模型本身进行修改或者重新训练，仅需要在待部署模型的基础上增加转换算子就能够得到目标模型，所以能够保证在AI芯片中高效的部署模型。
[0022]应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0023]附图用于更好地理解本方案，不构成对本申请的限定。其中：
[0024]图1是根据本申请实施例的模型处理方法的一种流程示意图。
[0025]图2是根据本申请实施例的在待部署模型的运算图中添加转换算子的示意图。
[0026]图3是根据本申请实施例的在待部署模型的运算图中添加转换算子的又一种示意图。
[0027]图4～图7是根据相关技术的部署模型的几种场景示意图。
[0028]图8是根据本申请实施例的模型处理方法的一种示例性流程示意图。
[0029]图9是根据本申请实施例的模型处理方法在NPU中部署目标模型的场景示意图。
[0030]图10是根据本申请实施例的数据处理方法的一种流程示意图。
[0031]图11是根据本申请一实施例的第一设备的一种示意性框图。
[0032]图12是根据本申请一实施例的第二设备的一种示意性框图。
[0033]图13是根据本申请实施例的通信设备示意性框图。
[0034]图14是根据本申请实施例的芯片的示意性框图。
具体实施方式
[0035]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
[0036]本申请实施例的技术方案可以应用于各种电子设备。该电子设备可以是终端设备也可以是服务器。该终端设备也可以称为用户设备(User Equipment，UE)、接入终端、用户
单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置等。在本申请实施例中，终端设备可以部署在陆地上，包括室内或室外、手持、穿戴或车载；也可以部署在水面上(如轮船等)；还可以部署在空中(例如飞机、气球和卫星上等)。
[0037]在本申请实施例中，终端设备可以是手机(Mobile Phone)、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(Virtual Reality，VR)终端设备、增强现实(Augmented Reality，AR)终端设备、工业控制(industrial control)中的无线终端设备、无人驾驶(self
‑
driving)中的无线终端设备、远程医疗(remote medical)中的无线终端设备、智能电网(smart grid)中的无线终端设备、运输安全(transportation safety)中的无线终端设备、智慧城市(smart city)中的无线终端设备或智慧家庭(smart home)中的无线终端设备等。...

【技术保护点】

【技术特征摘要】
1.一种模型处理方法，所述方法包括：获取人工智能AI芯片中的待处理数据的原始格式、待部署模型的输入数据的目标格式；在所述待处理数据的原始格式、与所述输入数据的目标格式不同的情况下，确定转换算子；其中，所述转换算子用于将待处理数据由所述原始格式转换为所述目标格式；基于所述转换算子以及所述待部署模型得到目标模型；其中，所述目标模型用于在所述AI芯片中对所述待处理数据进行处理。2.根据权利要求1所述的方法，其特征在于，所述基于所述转换算子以及所述待部署模型得到目标模型，包括：在所述待部署模型的运算图中，将所述转换算子添加至所述待部署模型的第一层之前，得到更新后的待部署模型的运算图；基于所述更新后的待部署模型的运算图，得到所述目标模型。3.根据权利要求2所述的方法，其特征在于，所述在所述待处理数据的原始格式、与所述输入数据的目标格式不同的情况下，确定转换算子，包括以下至少之一：在所述待处理数据的原始位宽、与所述输入数据的目标位宽不同的情况下，基于所述待处理数据的原始位宽以及所述输入数据的目标位宽，确定位宽转换算子；所述位宽转换算子用于将所述待处理数据由所述原始位宽转换至所述目标位宽；在所述待处理数据的原始尺寸、与所述输入数据的原始尺寸不同的情况下，基于所述待处理数据的原始尺寸以及所述输入数据的目标尺寸，确定尺寸转换算子组；所述尺寸转换算子组用于将所述待处理数据由所述原始尺寸转换至所述目标尺寸；在所述待处理数据的原始通道数量、与所述输入数据的目标通道数量不同的情况下，基于所述待处理数据的原始通道数量以及所述输入数据的目标通道数量，确定通道转换算子；所述通道转换算子用于将所述待处理数据由所述原始通道数量转换至所述目标通道数量。4.根据权利要求3所述的方法，其特征在于，所述在所述待部署模型的运算图中，将所述转换算子添加至所述待部署模型的第一层之前，得到更新后的待部署模型的运算图，包括：在所述转换算子包含所述位宽转换算子以及所述尺寸转换算子组的情况下，在所述待部署模型的运算图中，将所述位宽转换算子添加至所述尺寸转换算子组之前、且将所述尺寸转换算子组添加至所述待部署模型的第一层之前，得到所述更新后的待部署模型的运算图。5.根据权利要求3所述的方法，其特征在于，所述基于所述待处理数据的原始尺寸以及所述输入数据的目标尺寸，确定尺寸转换算子组，包括：基于所述待处理数据的原始尺寸以及所述输入数据的目标尺寸，确定总缩放比例；基于所述总缩放比例，确定所述尺寸转换算子组中包含的尺寸转换算子的数量、以及尺寸转换算子的缩放比例。6.根据权利要求5所述的方法，其特征在于，所述基于所述总缩放比例，确定所述尺寸转换算子组中包含的尺寸转换算子的数量、以及尺寸转换算子的缩放比例，包括以下之一：在所述总缩放比例小于或等于缩放预设值的情况下，确定所述尺寸转换算子组中包含
的所述尺寸转换算子的数量为一个，并确定所述尺寸转换算子的缩放比例等于所述总缩放比例；其中，所述缩放预设值为单个尺寸转换算子的最大缩放比例；在所述总缩放比例大于所述缩放预设值的情况下，基于所述总缩放比例以及所...

【专利技术属性】
技术研发人员：李文进，
申请(专利权)人：哲库科技上海有限公司，
类型：发明
国别省市：