神经网络模型的压缩方法、训练方法、处理方法和装置制造方法及图纸

本公开提供了一种神经网络模型的压缩方法、训练方法、处理方法、装置、设备、存储介质以及程序产品，涉及人工智能领域，尤其涉及深度学习、自然语言处理、计算机视觉和语音处理领域。具体实现方案为：神经网络模型的压缩方法包括：通过将多媒体数据输入神经网络模型，从神经网络模型中获取多个初始参数；根据多个初始参数的数值范围，将多个初始参数划分为多个初始参数组，多个初始参数组的每个初始参数组包括多个初始参数中的至少一个初始参数；通过处理器基于多个平滑系数，分别对多个初始参数组的每个初始参数组的至少一个初始参数进行平滑，得到多个平滑参数；通过处理器对多个平滑参数进行量化，得到压缩后的神经网络模型。得到压缩后的神经网络模型。得到压缩后的神经网络模型。

【技术实现步骤摘要】
神经网络模型的压缩方法、训练方法、处理方法和装置


[0001]本公开涉及人工智能领域，尤其涉及深度学习和自然语言处理(Natural Language Processing，NLP)、计算机视觉和语音处理等


技术介绍

[0002]随着计算机技术和电子技术的发展，深度学习技术在计算机视觉、自然语言处理和智能语音等多个领域得到了广泛应用。预训练模型从大规模数据学习普适性的表征，可以在应用于不同下游应用时仅进行微调，而无需大量训练，提高了深度学习技术的应用便利性。
[0003]预训练模型的尺寸通常较大，应用时需要占用大量内容，且具有庞大的计算开销。因此，限制了预训练模型在计算能力有限的设备上的应用。

技术实现思路

[0004]本公开提供了一种神经网络模型的压缩方法、压缩模型的训练方法、多媒体数据的处理方法、装置、设备、存储介质以及程序产品。
[0005]根据本公开的一方面，提供了一种神经网络模型的压缩方法，包括：通过将多媒体数据输入神经网络模型，从神经网络模型中获取多个初始参数；根据多个初始参数的数值范围，将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络模型的压缩方法，包括：通过将多媒体数据输入神经网络模型，从神经网络模型中获取多个初始参数；根据所述多个初始参数的数值范围，将所述多个初始参数划分为多个初始参数组，所述多个初始参数组的每个初始参数组包括所述多个初始参数中的至少一个初始参数；通过处理器基于多个平滑系数，分别对所述多个初始参数组的每个初始参数组的至少一个初始参数进行平滑，得到多个平滑参数，所述多个平滑参数分别与所述多个初始参数一一对应；以及通过处理器对所述多个平滑参数进行量化，得到压缩后的神经网络模型。2.根据权利要求1所述的方法，其中，所述多个初始参数组包括K个初始参数组，K为正整数；所述基于多个平滑系数，分别对所述多个初始参数组的每个初始参数组的至少一个初始参数进行平滑，得到多个平滑参数包括：分别基于N组平滑系数对所述K个初始参数组进行平滑，得到N个平滑参数组，所述N组平滑系数的每组平滑系数包括K个平滑系数，K个平滑系数与所述K个初始参数组一一对应，所述每个平滑参数组包括平滑后的K个初始参数组，N为正整数；分别对所述N个平滑参数组进行量化，得到N个压缩后的神经网络模型；通过将多媒体数据作为待处理数据输入所述N个压缩后的神经网络模型，计算所述N个压缩后的神经网络模型的N个量化损失；以及从所述N个平滑参数组中确定目标平滑参数组，所述目标平滑参数组包括所述多个平滑参数，所述目标平滑参数组对应的量化损失为损失N个量化损失中的最小量化损失。3.根据权利要求2所述的方法，其中，所述基于多个平滑系数分别对所述多个初始参数组进行平滑，得到多个平滑参数还包括：根据所述K个初始参数组中初始参数的数值和硬件参数，分别确定与所述K个初始参数组对应的K个平滑系数范围，所述硬件参数为运行所述神经网络模型的硬件的运行参数；以及根据所述K个平滑系数范围，生成所述N组平滑系数，所述每组平滑系数包括的K个平滑系数分别位于所述K个平滑系数范围内。4.根据权利要求2所述的方法，其中，所述通过将多媒体数据作为待处理数据输入所述N个压缩后的神经网络模型，计算所述N个压缩后的神经网络模型的N个量化损失包括：通过将多媒体数据作为待处理数据输入所述N个压缩后的神经网络模型，利用所述N个压缩后的神经网络模型对所述待处理数据进行数据运算，得到N个量化输出结果；通过将所述待处理数据输入所述神经网络模型，利用所述神经网络模型进行对所述待处理数据进行数据运算，得到初始输出结果；以及根据所述N个量化输出结果和所述初始输出结果，确定所述N个量化损失。5.根据权利要求1所述的方法，其中，所述基于多个平滑系数，分别对所述多个初始参数组的每个初始参数组的至少一个初始参数进行平滑，得到多个平滑参数包括：对于每个初始参数组，根据所述至少一个初始参数和多个平滑系数中对应的平滑系数，确定至少一个缩放值；以及对于每个初始参数组，根据所述至少一个缩放值，对所述至少一个初始参数进行缩放，得到至少一个平滑参数；
其中，所述多个平滑参数包括所述多个初始参数组中每个初始参数组对应的至少一个平滑参数。6.根据权利要求1所述的方法，其中，所述根据所述多个初始参数的数值范围，将所述多个初始参数划分为多个初始参数组包括：根据所述多个初始参数的数值范围，确定所述多个初始参数中的多个异常值和多个正常值；以及根据所述多个异常值和所述多个正常值，将所述多个初始参数划分为异常参数组和正常参数组。7.根据权利要求6所述的方法，其中，所述基于多个平滑系数，分别对所述多个初始参数组的每个初始参数组的至少一个初始参数进行平滑，得到多个平滑参数包括：基于所述多个平滑参数，分别对所述异常参数组的多个异常值进行平滑，得到多个平滑异常值；以及根据所述多个平滑异常值和所述正常参数组的多个正常值，生成所述多个平滑参数。8.根据权利要求1所述的方法，其中，所述根据所述多个初始参数的数值范围，将所述多个初始参数划分为多个初始参数组包括：根据所述多个初始参数的数值范围，确定所述多个初始参数中的多个异常值；以及根据所述多个异常值的数值范围，将所述多个异常值划分为多个异常参数组，所述多个异常参数组的每个异常参数组包括至少一个异常值。9.根据权利要求8所述的方法，其中，所述基于多个平滑系数，分别对所述多个初始参数组的每个初始参数组的至少一个初始参数进行平滑，得到多个平滑参数包括：基于所述多个平滑参数，分别对多个异常参数组的每个异常参数组的至少一个异常值进行平滑，得到多个平滑异常值；以及根据所述多个平滑异常值和所述多个初始参数中的多个正常值，生成所述多个平滑参数。10.根据权利要求1所述的方法，其中，所述多个初始参数包括多个激活值和与所述多个激活值分别对应的多个权重值；所述根据所述多个初始参数的数值范围，将所述多个初始参数划分为多个初始参数组包括：根据所述多个激活值的数值，对所述多个激活值进行聚类，得到多个激活值组，所述多个激活值组的每个激活值组包括至少一个激活值；以及根据所述每个激活值组中至少一个激活值和所述至少一个激活值对应的至少一个权重值，生成所述多个初始参数组。11.根据权利要求10所述的方法，其中，所述基于多个平滑系数，分别对所述多个初始参数组的每个初始参数组的至少一个初始参数进行平滑，得到多个平滑参数包括：分别根据所述多个平滑系数，确定所述多个初始参数组中每个初始参数组的至少一个激活值对应的至少一个缩放值；分别利用所述至少一个缩放值，缩小对应的初始参数组中的至少一个激活值，得到至少一个平滑激活值；以及分别利用所述至少一个缩放值，放大对应的初始参数组中的至少一个权重值，得到至少一个平滑权重值。
12.根据权利要求11所述的方法，其中，所述通过处理器对所述多个平滑参数进行量化，得到压缩后的神经网络模型包括：通过处理器对所述至少一个平滑激活值和所述至少一个平滑权重值进行量化，得到压缩后的神经网络模型。13.一种压缩模型的训练方法，包括：将作为样本数据的多媒体数据输入压缩模型，得到针对多个预定类别的概率向量，所述多媒体数据标注有类别信息；根据所述类别信息和所述概率向量，确定所述压缩模型的损失值；以及根据所述损失值，对所述压缩模型进行训练；其中，所述压缩模型是采用权利要求1～12中任一项所述的方法得到的压缩后的神经网络模型。14.一种多媒体数据的处理方法，包括：将待处理的多媒体数据输入压缩模型，得到表示所述多媒体数据所属类别的概率向量，所述概率向量包括所述多媒体数据属于多个预定类别中每个预定类别的概率值；以及根据所述概率向量，确定所述多个预定类别中所述多媒体...

【专利技术属性】
技术研发人员：徐畅，李明昊，于广华，王豪爽，沙燕霖，于佃海，马艳军，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：