【技术实现步骤摘要】
本公开的实施例涉及计算机科学，并且更具体地，涉及用于量化神经网络模型的方法、装置、计算设备、计算机可读存储介质和计算机程序产品。
技术介绍
1、随着计算机科学技术的发展，神经网络模型被广泛地应用于图像处理、语音识别、文本处理等应用。音频、图像及文本可以被提供给经过训练的神经网络模型，由模型产生相应的处理结果，例如，将语音转换为文本，或识别图像中的物体等。
2、神经网络模型可以部署于在线系统和离线系统。对于在线系统，神经网络模型位于服务器处，终端设备将待处理数据上传到服务器，由服务器执行任务。而离线系统是模型被下发到终端设备处(比如手机、嵌入式系统等)，由终端设备来运行模型。然而这类设备的硬件性能通常比较弱，并且如果模型很大，会导致模型下发的失败率增大。通常使用量化技术来降低模型大小，然而现有的量化技术难以在满足模型性能要求的同时对模型进行有效压缩。
技术实现思路
1、有鉴于此，本公开的实施例提出了用于量化神经网络模型的方法、装置、计算设备、计算机可读存储介质和计算机程序产品。
2、根据本公开的第一方面，提供了一种用于量化神经网络模型的方法。方法包括：基于训练数据集对神经网络模型进行更新，将经更新的神经网络模型的第一部分的第一组参数调整到第一范围内，并且将经更新的神经网络模型的第二部分的第二组参数调整到第二范围内，第二范围的大小超过第一范围的大小。方法还包括使用第一数目的位来量化经调整的第一组参数。方法还包括使用第二数目的位来量化经调整的第二组参数，第二数目大
3、在第一方面的一些实施例中，方法还可以包括：在使用第二数目的位来量化经调整的第二组参数之前，基于练数据集以及经量化的第一组参数来迭代更新第二组参数。基于这种方式，可以对神经网络模型进行微调，改善神经网络模型的性能。
4、在第一方面的一些实施例中，基于经量化的第一组参数来迭代更新经调整的第二组参数可以包括：在保持经量化的第一组参数不变的情况下，基于训练数据集对神经网络模型进行迭代更新，其中，经迭代更新的神经网络模型包括经迭代更新的第二组参数。基于这种方式，可以对神经网络模型进行重训练，以补偿一部分参数的量化带来的性能损失。
5、在第一方面的一些实施例中，将经更新的神经网络模型的第一部分的第一组参数调整到第一范围内可以包括：将第一组参数中的大于第一范围的上限值的参数调整为上限值，并且将第一组参数中的小于第一范围的下限值的参数调整为下限值。基于这种方式，可以将神经网络模型的参数限制在指定范围内，使得量化后的参数仍具有较高的精度。
6、在第一方面的一些实施例中，使用第一数目的位来量化经调整的第一组参数可以包括：基于第一数目，将第一范围划分为多个子范围；以及基于多个子范围和第一组参数中的每个参数的值，确定每个参数的量化值。基于这种方式，可以有效地将参数量化，以实现神经网络模型的高效压缩。
7、在第一方面的一些实施例中，方法还可以包括：基于经量化的第一组参数和经量化的第二组参数，生成经量化的神经网络模型，并且将经量化的神经网络模型传输至终端设备。基于这种方式，可以生成并在终端设备处部署轻量级神经网络模型来实现离线系统。
8、在第一方面的一些实施例中，训练数据集可以包括音频数据、图像数据、视频数据、文本数据中的至少一项。基于这种方式，神经网络模型可以被应用于音频处理、图像处理、视频处理、文本处理等应用领域和完成特定的任务。
9、在第一方面的一些实施例中，第一数目为4，并且第二数目为8。基于这种的方式，第一组参数可以具有比第二组参数更高的压缩率。
10、在第一方面的一些实施例中，第一部分包括基于线性变换的网络，第一组参数包括用于线性变换的权重，第二部分包括卷积神经网络，第二组参数包括卷积神经网络的卷积核的参数。基于这种方式，可以对总数更多的权重参数进行更高的压缩，而对总数较少的卷积参数进行较少的压缩，由此神经网络模型整体上实现了更高的压缩率，而性能影响较小。
11、在第一方面的一些实施例中，神经网络模型包括用于语音识别，并且包括基于变换器(transformer)的模型。
12、在第一方面的一些实施例中，对神经网络模型进行更新包括基于浮点数格式来更新神经网络模型。基于这样的方式，可以用较高的精度进行神经网络模型的训练。
13、根据本公开的第二方面，提供了一种用于量化神经网络模型的装置。装置包括训练单元、第一调整单元、第二调整单元、第一量化单元和第二量化单元。训练单元被配置为使用训练数据集来更新神经网络模型。第一调整单元被配置为将经更新的〃神经网络模型的第一部分的第一组参数调整到第一范围内。第二调整单元被配置为将经更新的神经网络模型的第二部分的第二组参数调整到第二范围内，第二范围的大小超过第一范围的大小。第一量化单元被配置为使用第一数目的位来量化经调整的第一组参数。第二量化单元被配置为使用第二数目的位来量化经调整的第二组参数，第二数目大于第一数目。
14、第二方面的一些实施例可以具有实现第一方面所述的动作或功能的单元，其所能达到的有益效果与第一方面也类似。为了简洁起见，这里不再重复。
15、根据本公开的第三方面，提供了一种计算设备，包括至少一个处理单元和至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令，指令当由至少一个处理单元执行时，使计算设备执行根据本公开的第一方面所述的方法。
16、根据本公开的第四方面，提供了一种计算机可读存储介质，包括机器可执行指令，机器可执行指令在由设备执行时使设备执行根据本公开的第一方面所述的方法。
17、根据本公开的第五方面，提供了一种计算机程序产品，包括机器可执行指令，机器可执行指令在由设备执行时使设备执行根据本公开的第一方面所述的方法。
18、提供
技术实现思路
部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。
技术实现思路
部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。
【技术保护点】
1.一种用于量化神经网络模型的方法，包括：
2.根据权利要求1所述的方法，还包括：在使用第二数目的位来量化经调整的第二组参数之前，
3.根据权利要求2所述的方法，其中，所述基于所述训练数据集以及经量化的第一组参数来迭代更新经调整的第二组参数包括：
4.根据权利要求1所述的方法，其中，所述将经更新的所述神经网络模型的第一部分的第一组参数调整到第一范围内包括：
5.根据权利要求1所述的方法，其中，所述使用第一数目的位来量化经调整的所述第一组参数包括：
6.根据权利要求1所述的方法，还包括：
7.根据权利要求1至6中任一项所述的方法，其中，所述第一数目为4，并且所述第二数目为8。
8.根据权利要求1至6中任一项所述的方法，其中，
9.根据权利要求1至6中任一项所述的方法，其中，所述神经网络模型用于语音识别，并且包括基于变换器的模型。
10.根据权利要求1所述的方法，其中对神经网络模型进行更新包括：
11.一种用于量化神经网络模型的装置，包括：
12.一种计
13.一种计算机可读存储介质，包括机器可执行指令，所述机器可执行指令在由设备执行时使所述设备执行根据权利要求1至10中的任一项所述的方法。
14.一种计算机程序产品，包括机器可执行指令，所述机器可执行指令在由设备执行时使所述设备执行根据权利要求1至10中的任一项所述的方法。
...【技术特征摘要】
1.一种用于量化神经网络模型的方法，包括：
2.根据权利要求1所述的方法，还包括：在使用第二数目的位来量化经调整的第二组参数之前，
3.根据权利要求2所述的方法，其中，所述基于所述训练数据集以及经量化的第一组参数来迭代更新经调整的第二组参数包括：
4.根据权利要求1所述的方法，其中，所述将经更新的所述神经网络模型的第一部分的第一组参数调整到第一范围内包括：
5.根据权利要求1所述的方法，其中，所述使用第一数目的位来量化经调整的所述第一组参数包括：
6.根据权利要求1所述的方法，还包括：
7.根据权利要求1至6中任一项所述的方法，其中，所述第一数目为4，并且所述第二数目为8。<...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。