数据处理装置、数据处理方法以及压缩数据制造方法及图纸

数据处理部(101)使用神经网络来处理输入数据。压缩控制部(102)生成定义了量化步长的量化信息。编码部(103)对网络结构信息和量化信息进行编码而生成压缩数据，网络结构信息包含以由压缩控制部(102)决定的量化步长量化后的参数数据。

Data processing device, data processing method and compressed data

【技术实现步骤摘要】
【国外来华专利技术】数据处理装置、数据处理方法以及压缩数据
本专利技术涉及对与神经网络的结构相关的信息进行编码并压缩的数据处理装置、数据处理方法以及压缩数据。
技术介绍
作为解决输入数据的分类问题以及回归问题的方法，具有机器学习。机器学习具有对脑的神经回路(神经元)进行模拟的神经网络这样的手法。在神经网络中，利用通过神经元相互连接而成的网络来表现的概率模型(识别模型、生成模型)进行输入数据的分类(识别)或回归。进而，在不仅具有全连接层(Fully-connectedLayer)而且具有卷积层(ConvolutionLayer)和池化层(PoolingLayer)的神经网络即卷积神经网络(ConvolutionalNeuralNetwork)中，能够生成实现数据的滤波处理的网络等实现分类以及回归以外的数据处理的网络。例如，能够将图像或声音作为输入，通过卷积神经网络实现如下处理：实现输入信号的噪声去除或高品质化等的图像或声音的滤波处理、压缩声音等失去高频的声音的高频复原处理、一部分区域缺损的图像的复原处理(inpainting)、图像的超分辨率处理等。除此以外，近年来还发表了如下的对抗性生成网络(GenerativeAdversarialNetwork)这样的新神经网络：输入到判定通过生成模型生成的数据是否是真的数据(是否不是通过生成模型生成的数据)的识别模型来进行数据的真伪判定，将生成模型和识别模型组合起来构筑网络，以使生成模型不被识别模型识破生成数据是生成数据，且识别模型识破生成数据是生成数据的方式，对抗性地进行学习，从而高精度地生成生成模型。在这些神经网络中，通过使用大量数据的学习而优化网络参数，从而能够实现高性能化。但是，神经网络的数据大小存在大容量化的倾向，使用神经网络的计算机的计算负载也增加。相对于此，在非专利文献1中，记载有对作为神经网络的参数的边的权重进行标量量化并编码的技术。通过对边的权重进行标量量化并编码，对与边相关的数据的数据大小进行压缩。现有技术文献专利文献非专利文献2：VincentVanhoucke,AndrewSenior,MarkZ.Mao,“ImprovingthespeedofneuralnetworksonCPUs”,Proc.DeepLearningandUnsupervisedFeatureLearningNIPSWorkshop,2011.
技术实现思路
专利技术要解决的课题然而，对神经网络中的多个边分别赋予的权重的最优值根据网络的学习结果而不同，并非恒定。因此，边的权重的压缩大小产生偏差，在非专利文献1记载的技术中，存在无法实现与神经网络的边相关的参数数据的高压缩这样的课题。本专利技术用于解决上述课题，其目的在于，得到能够对神经网络的参数数据进行高压缩的数据处理装置、数据处理方法以及压缩数据。用于解决课题的手段本专利技术的数据处理装置具备数据处理部、压缩控制部以及编码部。数据处理部使用神经网络对输入数据进行处理。压缩控制部决定对神经网络的参数数据进行量化时的量化步长，生成定义了量化步长的量化信息。编码部对网络结构信息和量化信息进行编码而生成压缩数据，网络结构信息包含以由压缩控制部决定的量化步长量化后的参数数据。专利技术效果根据本专利技术，对定义了对神经网络的参数数据进行量化时的量化步长的量化信息和包含以量化信息中的量化步长量化后的参数数据的网络结构信息进行编码而生成压缩数据。由此，能够对神经网络的参数数据进行高压缩。通过使用从压缩数据解码出的量化信息和网络结构信息，能够在解码侧构成在编码侧优化后的神经网络。附图说明图1是示出本专利技术的实施方式1的数据处理装置(编码器)的结构的框图。图2是示出实施方式1的数据处理装置(解码器)的结构的框图。图3A是示出实现实施方式1的数据处理装置的功能的硬件结构的框图。图3B是示出执行实现实施方式1的数据处理装置的功能的软件的硬件结构的框图。图4是示出实施方式1的数据处理装置(编码器)的动作的流程图。图5是示出实施方式1的数据处理装置(解码器)的动作的流程图。图6是示出实施方式1中的神经网络的结构例的图。图7是示出实施方式1中的一维数据的卷积处理的例子的图。图8是示出实施方式1中的二维数据的卷积处理的例子的图。图9是示出神经网络的第l层的层中的每个节点的边的权重信息的矩阵的图。图10是示出神经网络的第l层的层中的每个节点的边的权重信息的量化步长的矩阵的图。图11是示出卷积层中的边的权重信息的矩阵的图。图12是示出卷积层中的边的权重信息的量化步长的矩阵的图。图13是示出实施方式1中的构成量化信息的信息的语法的图。图14是示出实施方式1中的构成量化信息的信息的矩阵单位的语法的图。图15是示出实施方式1中的构成量化信息的信息的层单位的语法的图。具体实施方式以下，为了更详细地说明本专利技术，参照附图对用于实施本专利技术的方式进行说明。实施方式1图1是示出本专利技术的实施方式1的数据处理装置100的结构的框图。在图1中，数据处理装置100使用已学习的神经网络来处理输入数据，输出处理结果。并且，数据处理装置100作为对量化信息和网络结构信息进行编码的编码器发挥功能，具备数据处理部101、压缩控制部102以及编码部103。数据处理部101使用上述神经网络来处理输入数据。并且，数据处理部101输入由压缩控制部102生成的量化信息，以量化信息中定义的量化步长对神经网络的参数数据进行量化。然后，数据处理部101将包含量化后的上述参数数据的网络结构信息输出到编码部103。在数据处理部101中使用的上述神经网络既可以使用预先确定的网络，也可以通过学习进行参数数据的优化。在对神经网络的参数数据进行学习的情况下，针对预先确定的初始状态(参数数据的初始值)的神经网络，使用作为学习对象的输入数据进行神经网络的学习，然后输入由压缩控制部102生成的量化信息，以量化信息中定义的量化步长对神经网络的参数数据进行量化。然后，将该量化后的神经网络作为接下来的学习的初始状态实施上述的学习和量化。将作为反复进行L次(L为1以上的整数)该学习和量化处理的结果而得到的神经网络作为网络结构信息的一部分而输出到编码部103。另外，在L＝1的情况下，不再学习量化后的神经网络，因此，可以说是与使用在数据处理部101中未学习而在外部已学习的神经网络相同的处理。换言之，区别仅在于在数据处理部101中进行学习还是在外部进行学习。网络结构信息是表示神经网络的结构的信息，例如包含网络的层数、每个层的节点数、连接节点之间的边、按照每个边赋予的权重信息、表示节点的输出的活性化函数以及每个层的类别信息(例如卷积层、池化层、全连接层)等。神经网络的参数数据例如有对神经网络中的连接节点之间的边赋予本文档来自技高网...

【技术保护点】
1.一种数据处理装置，其特征在于，该数据处理装置具备：/n数据处理部，其使用神经网络来处理输入数据；/n压缩控制部，其决定对所述神经网络的参数数据进行量化时的量化步长，生成定义了量化步长的量化信息；以及/n编码部，其对网络结构信息和所述量化信息进行编码而生成压缩数据，所述网络结构信息包含以由所述压缩控制部决定的量化步长量化后的参数数据。/n

【技术特征摘要】
【国外来华专利技术】1.一种数据处理装置，其特征在于，该数据处理装置具备：
数据处理部，其使用神经网络来处理输入数据；
压缩控制部，其决定对所述神经网络的参数数据进行量化时的量化步长，生成定义了量化步长的量化信息；以及
编码部，其对网络结构信息和所述量化信息进行编码而生成压缩数据，所述网络结构信息包含以由所述压缩控制部决定的量化步长量化后的参数数据。


2.一种数据处理装置，其特征在于，该数据处理装置具备：
数据处理部，其使用神经网络来处理输入数据；以及
解码部，其对压缩数据进行解码，该压缩数据是对定义了对所述神经网络的参数数据进行量化时的量化步长的量化信息和包含以所述量化信息中的量化步长量化后的参数数据的网络结构信息进行编码而成的，
所述数据处理部使用由所述解码部从压缩数据解码出的所述量化信息和所述网络结构信息对参数数据进行逆量化，使用包含逆量化后的参数数据的所述网络结构信息构成所述神经网络。


3.根据权利要求1或2所述的数据处理装置，其特征在于，
所述神经网络的参数数据是对所述神经网络中的连接节点之间的边赋予的权重信息。


4.根据权利要求1所述的数据处理装置，其特征在于，
所述压缩控制部按照每个边切换量化步长，
所述编码部对定义了每个所述边的量化步长的所述量化信息进行编码。


5.根据...

【专利技术属性】
技术研发人员：峯泽彰，守屋芳美，王梦雄，杉本和夫，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：日本;JP