计算机可读记录介质、机器学习的方法以及信息处理设备技术

公开了计算机可读记录介质、机器学习的方法以及信息处理设备。一种计算机可读记录介质，其中存储有用于使计算机执行处理的程序，该处理包括：针对包括多个层的神经网络的训练模型中的多个层的每个元素，计算在减少一个元素之前与减少一个元素之后之间的张量的误差的阈值；在层中的每一层中的元素按照减少率候选中的每一个减少的情况下，基于阈值以及在减少之前与减少之后之间的张量的误差，来选择要向层中的每一层应用一个减少率候选的减少率候选；以及基于训练模型的推理准确度和机器学习之后的简化模型的推理准确度，来确定要向层中的每一层应用一个减少率的减少率，简化模型通过根据要应用的减少率候选减少训练模型中的层的每个元素而获得。的层的每个元素而获得。的层的每个元素而获得。

【技术实现步骤摘要】
计算机可读记录介质、机器学习的方法以及信息处理设备


[0001]本文中讨论的实施方式涉及其中存储有机器学习程序的计算机可读记录介质、用于机器学习的方法以及信息处理设备。

技术介绍

[0002]用于AI(人工智能)任务诸如图像处理的NN(神经网络)往往利用复杂的配置实现高性能(例如，高推理准确度)。另一方面，NN的复杂配置可能会增加由计算器执行NN时的计算次数以及由计算器执行NN时所使用的存储器的大小。
[0003]作为用于减少计算次数——换言之缩短计算持续时间(加速)以及用于减小存储器的大小——换言之缩减NN的机器学习模型的方法，“修剪(pruning)”是已知的。
[0004]修剪是用于通过减少(修剪)NN的边(权重)、节点和通道中的至少一类元素来减少机器学习模型的数据大小并且减少计算持续时间和通信持续时间的方法。
[0005]过度修剪会导致NN的推理准确度降低。因此，重要的是在保持推理准确度的同时或在将推理准确度的降低水平保持在预定水平的同时执行NN的修剪。
[0006]例如，在修剪中，已知的方法选择不会显著本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机可读记录介质，其中存储有用于使计算机执行处理的机器学习程序，所述处理包括：针对包括多个层的神经网络的训练模型中的所述多个层的每个元素，计算在减少一个元素之前与减少一个元素之后之间的张量的误差的阈值；在所述多个层中的每一层中的所述元素按照多个减少率候选中的每一个减少的情况下，基于多个所述阈值以及在减少之前与减少之后之间的张量的误差，来选择要向所述多个层中的每一层应用一个减少率候选的减少率候选；以及基于所述训练模型的推理准确度和机器学习之后的简化模型的推理准确度，来确定要向所述多个层中的每一层应用一个减少率的减少率，所述简化模型是通过根据要应用的所述减少率候选减少所述训练模型中的所述多个层的每个元素而获得的。2.根据权利要求1所述的计算机可读记录介质，其中，计算所述阈值包括基于在减少所述多个层中的每一层的元素时所述训练模型的损失函数的值和所述多个层中的每一层的权重梯度来计算所述阈值。3.根据权利要求1或2所述的计算机可读记录介质，其中，确定所述减少率包括：当机器学习之后的所述简化模型的推理准确度与余量之和低于所述训练模型的推理准确度时，丢弃多个所选择的减少率候选；以及当机器学习之后的所述简化模型的推理准确度与所述余量之和等于或高于所述训练模型的推理准确度时，确定采用多个所选择的减少率候选作为要向所述多个层中的每一层应用一个减少率的减少率。4.根据权利要求3所述的计算机可读记录介质，其中，计算所述阈值包括缩放所述阈值，使得所述多个层的阈值的L2范数变得等于或小于阈值上限。5.根据权利要求4所述的计算机可读记录介质，其中，计算所述阈值包括：当机器学习之后的所述简化模型的推理准确度与所述余量之和低于所述训练模型的推理准确度时，降低所述阈值上限；以及当机器学习之后的所述简化模型的推理准确度与所述余量之和等于或高于所述训练模型的推理准确度时，提高所述阈值上限。6.根据权利要求5所述的计算机可读记录介质，其中，计算所述阈值包括更新所述阈值上限，使得在每次执行选择所述减少率候选时所述多个层的减少率候选的组合不同。7.根据权利要求5或6所述的计算机可读记录介质，其中，计算所述阈值包括设置所述阈值上限的初始值，以计算阈值，使得所述多个层中所述阈值最大的层的元素被减少，并且使得除了所述阈值最大的层之外的层的元素不被减少。8.根据权利要求1至7中任一项所述的计算机可读记录介质，其中，所述处理还包括：重复执行计算所述阈值、选择所述减少率候选和确定所述减少率，直到执行次数或所述减少率满足预定条件；以及在满足所述预定条件时，输出确定的减少率。9.一种用于机器学习的方法，所述方法包括：针对包括多...

【专利技术属性】
技术研发人员：坂井靖文，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：