数据处理装置、数据处理系统和数据处理方法制造方法及图纸

具有：数据处理部(10)，其学习神经网络；以及编码部(11)，其生成对用于识别神经网络的模型的模型标题信息、用于识别神经网络的层的层标题信息和层单位的边的权重信息进行编码而成的编码数据，编码部(11)对表示神经网络的层构造的层构造信息和表示被编码的各层是从参照模型的层的更新还是新层的新层标志进行编码。码。码。

【技术实现步骤摘要】
【国外来华专利技术】数据处理装置、数据处理系统和数据处理方法


[0001]本专利技术涉及生成对与神经网络的结构有关的信息进行编码而成的编码数据的数据处理装置、数据处理系统和数据处理方法。

技术介绍

[0002]作为解决输入数据的分类(识别)问题和回归问题的方法，存在机器学习。在机器学习中，存在对脑的神经回路(神经元)进行模拟的神经网络这样的方法。在神经网络(以下记作NN)中，通过由神经元相互结合而成的网络表现的概率模型(识别模型、生成模型)进行输入数据的分类(识别)或回归。
[0003]此外，NN通过使用大量数据的学习对NN的参数进行优化，由此能够实现高性能化。但是，近年来的NN大规模化，NN的数据大小存在大容量化的倾向，使用NN的计算机的计算负荷也增加。
[0004]例如，在非专利文献1中记载有对表示NN的结构的信息即边的权重(包含偏置值)进行标量量化后进行编码的技术。通过对边的权重进行标量量化后进行编码，与边有关的数据的数据大小被压缩。
[0005]现有技术文献
[0006]非专利文献
[0007]非专利文献1：Vincent Vanhoucke，Andrew Senior，Mark Z.Mao，“Improving the speed of neural networks on CPUs”，Proc.Deep Learning and Unsupervised Feature Learning NIPS Workshop，2011.

技术实现思路

[0008]专利技术要解决的问题
[0009]在经由数据传输网络使多个客户端与服务器连接的系统中，对表示在服务器侧学习得到的NN的构造的数据进行编码，在客户端侧对编码数据进行解码，由此，多个客户端有时分别使用在服务器学习得到的NN进行数据处理。在现有的系统中，在更新NN的构造的情况下，除了向客户端传输与更新后的层有关的信息之外，还向客户端传输与未更新的层有关的信息。因此，存在无法削减所传输的数据大小这样的课题。
[0010]本专利技术用于解决上述课题，其目的在于，得到能够削减表示NN的构造的数据的数据大小的数据处理装置、数据处理系统和数据处理方法。
[0011]用于解决问题的手段
[0012]本专利技术的数据处理装置具有：数据处理部，其学习神经网络；以及编码部，其生成对用于识别NN的模型的模型标题信息、用于识别NN的层的层标题信息和层单位的边的权重信息进行编码而成的编码数据，编码部对表示神经网络的层构造的层构造信息和表示被编码的各层是从参照模型的层的更新还是新层的新层标志进行编码。
[0013]专利技术的效果
[0014]根据本专利技术，编码部对表示NN的层构造的层构造信息和表示被编码的各层是从参照模型的层的更新还是新层的新层标志进行编码。表示NN的构造的数据中的仅与更新后的层有关的信息被编码并传输，因此，能够削减表示NN的构造的数据的数据大小。
附图说明
[0015]图1是示出实施方式1的数据处理系统的结构的框图。
[0016]图2是示出NN的结构例的图。
[0017]图3是示出实施方式1的数据处理装置(编码器)的结构的框图。
[0018]图4是示出实施方式1的数据处理装置(解码器)的结构的框图。
[0019]图5是示出实施方式1的数据处理装置(编码器)的动作的流程图。
[0020]图6是示出实施方式1的数据处理装置(解码器)的动作的流程图。
[0021]图7是示出实施方式1中的编码数据的例子的图。
[0022]图8是示出实施方式1中的编码数据的另一例的图。
[0023]图9是示出实施方式1中的一维数据的卷积处理的例子的图。
[0024]图10是示出实施方式1中的二维数据的卷积处理的例子的图。
[0025]图11是示出NN的第1层的层中的每个节点的边的权重信息的矩阵的图。
[0026]图12是示出NN的第1层的层中的每个节点的边的权重信息的量化步长的矩阵的图。
[0027]图13是示出卷积层中的边的权重信息的矩阵的图。
[0028]图14是示出卷积层中的边的权重信息的量化步长的矩阵的图。
[0029]图15是示出实施方式1的数据处理装置(编码器)的变形例的结构的框图。
[0030]图16是示出实施方式1中的编码数据的更新的概要的图。
[0031]图17是示出与图16所示的编码数据的更新对应的网络模型的结构的图。
[0032]图18是示出模型信息标题所包含的层构造信息的例子的图。
[0033]图19是示出与模型信息标题所包含的层构造信息对应的层识别信息的例子的图。
[0034]图20A是示出实现实施方式1的数据处理装置的功能的硬件结构的框图。图20B是示出执行实现实施方式1的数据处理装置的功能的软件的硬件结构的框图。
具体实施方式
[0035]实施方式1.
[0036]图1是示出实施方式1的数据处理系统的结构的框图。在图1所示的数据处理系统中，服务器1经由数据传输网络2而与客户端3
‑
1、3
‑
2、
…
、3
‑
N连接。N是2以上的自然数。服务器1是通过使用大量数据的学习对NN(神经网络)的参数进行优化而生成高性能的NN的数据处理装置，是图1所示的数据处理系统具有的第1数据处理装置。
[0037]数据传输网络2是传输在服务器1与客户端3
‑
1、3
‑
2、
…
、3
‑
N之间交换的数据的网络，是互联网或内联网。例如，在数据传输网络2中，从服务器1向客户端3
‑
1、3
‑
2、
…
、3
‑
N发送用于生成NN的信息。
[0038]客户端3
‑
1、3
‑
2、
…
、3
‑
N是生成由服务器1学习到的NN并使用生成的NN进行数据处理的设备。例如，客户端3
‑
1、3
‑
2、
…
、3
‑
N是个人计算机(PC)、摄像机或机器人这样的具有通
信功能和数据处理功能的设备。客户端3
‑
1、3
‑
2、
…
、3
‑
N分别是图1所示的数据处理系统具有的第2数据处理装置。
[0039]在图1所示的数据处理系统中，在客户端3
‑
1、3
‑
2、
…
、3
‑
N中，NN的模型、参数的数据大小和表示适当性能的值分别不同。因此，即使使用非专利文献1记载的技术对NN的模型和参数进行编码，也需要压缩成分别适合于客户端3
‑
1、3
‑
2、
本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种数据处理装置，其特征在于，所述数据处理装置具有：数据处理部，其学习神经网络；以及编码部，其生成对用于识别所述神经网络的模型的模型标题信息、用于识别所述神经网络的层的层标题信息和层单位的边的权重信息进行编码而成的编码数据，所述编码部对表示所述神经网络的层构造的层构造信息和表示被编码的各层是从参照模型的层的更新还是新层的新层标志进行编码。2.根据权利要求1所述的数据处理装置，其特征在于，所述编码部从上位比特起以比特平面为单位对属于层的边的权重信息进行编码。3.根据权利要求1或2所述的数据处理装置，其特征在于，所述编码部对属于由所述层标题信息识别的1个以上的层的边的权重信息进行编码。4.根据权利要求1或2所述的数据处理装置，其特征在于，所述编码部对边的权重值与特定值的差分进行编码。5.根据权利要求1或2所述的数据处理装置，其特征在于，所述编码部将边的权重信息分成基础编码数据和增强编码数据进行编码。6.根据权利要求1或2所述的数据处理装置，其特征在于，所述数据处理装置具有解码部，该解码部对由所述编码部生成的编码数据进行解码，所述数据处理部使用由所述解码部解码后的信息学习所述神经网络。7.一种数据处理系统，其特征在于，所述数据处理系统具有第1数据处理装置和...

【专利技术属性】
技术研发人员：峯泽彰，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：