机器学习方法、信息处理设备和计算机可读记录介质技术

提供了机器学习方法、信息处理设备和计算机可读记录介质。计算机可读记录介质中存储有用于使计算机执行处理的机器学习程序，所述处理包括：选择包括多个层的神经网络的已训练模型中的多个层的每个元素的缩减率；以及当神经网络包括输出作为对来自第一层的张量和在第一层之前的一个或更多个第二层的一个或更多个张量进行给定计算的结果的张量的计算处理时，基于在第一层中要以第一缩减率缩减的一个或更多个元素以及在一个或更多个第二层中的每个第二层中要以一个或更多个第二缩减率缩减的一个或更多个元素，调整第一缩减率以及一个或更多个第二缩减率。个或更多个第二缩减率。个或更多个第二缩减率。

【技术实现步骤摘要】
机器学习方法、信息处理设备和计算机可读记录介质


[0001]本文中讨论的实施方式涉及其中存储有机器学习程序的计算机可读记录介质、用于机器学习的方法和信息处理设备。

技术介绍

[0002]用于诸如图像处理的AI(人工智能)任务的NN(神经网络)倾向于以复杂配置实现高性能(例如，高推断准确度)。另一方面，NN的复杂配置可以增加由计算器执行NN时的计算次数和由计算器执行NN时使用的存储器大小。
[0003]作为用于减少计算次数，换言之，缩短计算持续时间(加速)，以及用于减少存储器的大小，换言之，缩减NN的机器学习模型的大小的方法，已知“修剪(pruning)”。
[0004]修剪是通过缩减(修剪)NN的边(权重)、节点和通道中的至少一种类型的元素来缩减机器学习模型的数据大小并且缩减计算持续时间和通信持续时间的方法。
[0005]过多的修剪导致NN的推断准确度降低。因此，重要的是在保持推断准确度的同时或在将推断准确度的降低水平保持在预定水平的同时执行NN的修剪。
[0006]例如，在修剪中，已知的方法选择不显著影响NN的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机可读记录介质，所述计算机可读记录介质中存储有用于使计算机执行处理的机器学习程序，所述处理包括：选择包括多个层的神经网络(160)的已训练模型(11c)中的所述多个层的每个元素的缩减率；以及当所述神经网络(160)包括输出作为对来自第一层的张量和在所述第一层之前的一个或更多个第二层的一个或更多个张量进行给定计算的结果的张量的计算处理时，基于在所述第一层中要以第一缩减率缩减的一个或更多个元素以及在所述一个或更多个第二层中的每个第二层中要以一个或更多个第二缩减率缩减的一个或更多个元素，调整所述第一缩减率以及所述一个或更多个第二缩减率。2.根据权利要求1所述的计算机可读记录介质，其中，所述调整包括：调整所述第一缩减率以及所述一个或更多个第二缩减率，使得来自所述第一层的张量的元素数目与来自所述一个或更多个第二层的张量中的每个张量的元素数目匹配。3.根据权利要求1或2所述的计算机可读记录介质，其中，所述调整包括：调整所述第一缩减率以及所述一个或更多个第二缩减率，使得在所述第一层以及所述一个或更多个第二层中的所有层中要缩减的元素被视为在所述第一层以及所述一个或更多个第二层中的每个层中要缩减的元素，并且使得从在所述第一层以及所述一个或更多个第二层中的每个层中要缩减的元素中排除在所述第一层以及所述一个或更多个第二层中的至少一个层中不缩减的元素。4.根据权利要求1至3中任一项所述的计算机可读记录介质，其中，所述处理还包括：针对所述多个层的每个元素计算缩减之前的张量与缩减之后的张量之间的误差的多个阈值；所述选择包括：基于所述多个阈值和在所述多个层中的每个层中通过多个缩减率候选中的每个缩减率候选来缩减所述元素的情况下缩减之前的张量与缩减之后的张量之间的误差，选择要应用于所述多个层中的每个层的缩减率候选作为所述每个元素的缩减率；所述调整包括：将所选择的缩减率候选中用于所述第一层以及所述一个或更多个第二层的缩减率候选调整为所述第一缩减率以及所述一个或更多个第二缩减率；以及所述处理还包括：基于所述已训练模型(11c)的推断准确度和机器学习之后的缩减模型的推断准确度来确定要应用于所述多个层中的每个层的缩减率，所述缩减模型通过根据要应用的缩减率候选来缩减所述已训练模型(11c)中的所述多个层的每个元素来获得。5.根据权利要求1至4中任一项所述的计算机可读记录介质，其中，所述元素是选自通道、权重和节点的元素。6.一种用于机器学习的方法，包括：选择包括多个层的神经网络(160)的已训练模型(11c)中的所述多个层的每个元素的缩减率；以及当所述神经网络(160)包括输出作为对来自第一层的张量和在所述第一层之前的一个或更多个第二层的一个或更多个张量进行给定计算的结果的张量的计算处理时，基于在所述第一层中要以第一缩减率缩减的一个或更多个元素以及在所述一个或更多个第二层中的每个第二层中要以一个或更多个第二缩减率缩减的一个或更多个元素来调整所述第一缩减率以及所述一个或更多个第二缩减率。
7.根据权利要求6所述的方法，其中，所述调整包括：调整所述第一缩减率以及所述一个或更多个第二缩减率，使得来自所述第一层的张量的元素数目与来自所述一个或更多个第二层的张量中的每个张量的元素数目匹配。8.根据权利要求6或7所述的方法，其中，所述调整包括：调整所述第一缩减率以及所述一个或更多个第二缩减率，使得在所述第一层以及所述一个或更多个第二层中的所有层中要缩减的元素被视为在所述第一层以及所述一个或更多个第二层中的每个层中要缩减的元素，并且使得从在所述第一层以及...

【专利技术属性】
技术研发人员：坂井靖文，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：