学习处理装置以及方法制造方法及图纸

本发明专利技术提供一种能够在短时间内完成轻量模型的学习的学习处理装置以及方法。一种从已有的第一学习模型得到新的第二学习模型的学习处理装置，具备：输入部，其得到学习第一学习数据集来事先生成的第一学习模型和未被剪枝的神经网络，以下称神经网络为NN；重要参数确定部(304)，其使用第一学习模型和NN对作为学习对象的NN进行初始化，使用第二学习数据集和初始化后的NN，确定初始化后的NN的识别处理中的参数的重要度；新模型生成部(306)，其使用参数的重要度，进行从初始化后的NN删除不重要的参数的剪枝处理，生成第二NN；学习部，其使用第二学习数据集而学习第二NN；以及输出部，其将学习后的所述第二NN作为第二学习模型而输出。学习后的所述第二NN作为第二学习模型而输出。学习后的所述第二NN作为第二学习模型而输出。

【技术实现步骤摘要】
【国外来华专利技术】学习处理装置以及方法


[0001]本专利技术涉及利用神经网络的学习处理装置以及方法。

技术介绍

[0002]在以图像处理、自然语言处理、语音识别为代表的信号处理的领域中，有时使用利用多层神经网络的学习处理装置来进行识别处理。近年来的神经网络为了提高识别性能而具有大量参数，需要庞大的运算量。但是，在学习后进行的识别处理时，为了处理大量的图像等数据，优选以较少的参数和较少的运算量来进行处理。在本专利技术中，将能够以较少的参数和运算量进行处理的神经网络称为轻量模型。
[0003]作为在学习后削减多层神经网络的参数和运算量的技术，有剪枝。剪枝是在学习后的神经网络中确定并删除不需要的参数、不需要的运算来削减神经网络的识别处理所需要的参数和运算量的技术。
[0004]例如，在专利文献1中，研究了随机删除学习后的神经网络的单元，在再学习后进行成本函数的评价，将成本函数最好的结构作为神经网络的最佳结构而输出的机制。
[0005]现有技术文献
[0006]专利文献
[0007]专利文献1：日本特开2015
‑...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种学习处理装置，其从已有的第一学习模型得到新的第二学习模型，其特征在于，所述学习处理装置具备：输入部，其得到学习第一学习数据集而事先生成的第一学习模型和未被剪枝的神经网络；重要参数确定部，其使用所述第一学习模型和所述神经网络对作为学习对象的所述神经网络进行初始化，使用第二学习数据集和初始化后的所述神经网络，确定初始化后的所述神经网络的识别处理中的参数的重要度；新模型生成部，其使用所述参数的重要度，进行从初始化后的所述神经网络删除不重要的参数的剪枝处理，生成第二神经网络；学习部，其使用所述第二学习数据集来学习所述第二神经网络；以及输出部，其将学习后的所述第二神经网络作为第二学习模型而输出。2.根据权利要求1所述的学习处理装置，其特征在于，所述学习处理装置具备：显示部，其针对多个所述第一学习模型分别求出由所述重要参数确定部求出的参数的重要度，与所述第一学习模型的类别一起进行存储，并作为重要度信息进行提示。3.根据权利要求2所述的学习处理装置，其特征在于，所述重要度包括重要度总和与剪枝后重要度总和。4.根据权利要求1所述的学习处理装置，其特征在于，所述学习处理装置具备：部分再初始化部，其针对所述重要参数确定部提供的重要度，在所述第一学习模型未能对学习对象的识别处理中重要的特征进行学习的情况下，部分地将被剪枝的参数再次初始化，所述学习处理装置在部分地再初始化后进行所述新模型生成部的处理。5.根据权利要求1所述的学习处理装置，其特征在于，神经网络是卷积神经网络，通过松弛伯努利分布对卷积神经网络所包含的卷积层的一部分或全部学习是否将卷积层的输出的特征通道用于识别。6.根据权利要求5所述...

【专利技术属性】
技术研发人员：石川昌义，大内将记，新藤博之，丰田康隆，筱田伸一，
申请(专利权)人：株式会社日立高新技术，
类型：发明
国别省市：