神经网络装置、信号生成方法及程序制造方法及图纸

神经网络装置具备：抽取部，其通过将输入信号的离散值基于预先确定的阈值变换为比输入信号的量化级数少的级数的离散值而生成抽取信号；调制部，其通过对抽取部生成的抽取信号的离散值进行脉冲宽度调制，生成通过脉冲宽度表示抽取信号的离散值的脉冲宽度调制信号；加权部，其包含神经形态元件，该神经形态元件通过将与可变的特性的值对应的权重相对于调制部生成的脉冲宽度调制信号进行乘法运算，输出脉冲宽度调制信号被加权了的加权信号。

【技术实现步骤摘要】
【国外来华专利技术】神经网络装置、信号生成方法及程序
本专利技术涉及神经网络装置、信号生成方法及程序。本申请基于2018年3月6日于日本申请的日本特愿2018-040214号主张优先权，并在此引用其内容。
技术介绍
一直以来，研究神经网络的技术。以深度学习为代表，使用了神经网络技术的高度的信息的识别技术、分类技术在金融、营销、认证、安全等的广泛的领域中实用化。这种技术中，通常需要庞大量的积和运算，大多情况下使用云服务器或巨大的计算机来执行。近年来，研究可利用电导率(电阻的倒数)模拟性地变化的神经形态(Neuromorphic)元件而低功耗且高速地执行上述的积和运算的新的运算机构。它们通过模拟人类的大脑的识别工艺中的神经元与突触的关系而要实现低耗电量、高速的信号处理，并进行将神经网络的结构作为静态的网络模型进行模拟的技术或根据尖峰信号的时机要实现神经元的点火模型的技术等、广泛的研究。作为一个例子，在专利文献1中公开有一种方法，其在尖峰型的神经网络中，将通过实数值模拟求得的权重(结合权重)载入包含离散值突触·器件的神经网络的电路芯片，该电路芯片包含神经形态元件(参照专利文献1。)。但是，在将神经形态元件应用于神经网络的情况下，通常，输入信号被脉冲宽度调制(PWM)，因此，作为技术问题之一，存在提高输入信号的分辨率时，神经形态元件所进行的运算时间根据该分辨率而增加这样的技术问题。另一方面，在将输入信号调制成电压或电流值的神经形态元件的情况下，一般而言，当对神经形态元件施加较高的电压时，元件的电阻值其本身变化，或引起元件的故障，因此，需要通过大量步骤在非常有限的电压范围中进行分压。其结果，存在需要脉冲电压的高精度的控制及电流检测电路的构成分辨率化这样的技术问题。现有技术文献专利文献专利文献1：国际公开第2012/055593号
技术实现思路
专利技术所要解决的技术问题如上所述，在神经网络的积和运算中使用神经形态元件的情况下，存在运算时间由于输入信号相对于该神经形态元件的分辨率的高度而增加这样的技术问题。本专利技术是考虑到这种情况而研发的，其课题在于，提供在神经网络的积和运算中使用神经形态元件的情况下，能够抑制运算时间的增加的神经网络装置、信号生成方法及程序。另外，本专利技术在使用采用调制了电压值或电流值的输入信号的神经形态元件的情况下，期待电路的简化。解决问题的技术手段本专利技术的一个方式是一种神经网络装置，具备：抽取(Decimation)部，其通过将输入信号的离散值基于预先确定的阈值变换为比所述输入信号的量化级数少的级数的离散值而生成抽取信号；调制部，其通过对所述抽取部生成的所述抽取信号的离散值进行脉冲宽度调制，生成通过脉冲宽度表示所述抽取信号的离散值的脉冲宽度调制信号；加权部，其包含神经形态元件，所述神经形态元件通过将与可变的特性的值对应的权重相对于所述调制部生成的所述脉冲宽度调制信号进行乘法运算，输出所述脉冲宽度调制信号被加权了的加权信号。本专利技术的一个方式为，在上述的神经网络装置中，所述阈值基于所述加权部输出的所述加权信号的加权结果而确定。本专利技术的一个方式为，在上述的神经网络装置中，所述抽取部对于多个所述输入信号生成分别对应的所述抽取信号，所述调制部使信号波形的变化时机互不相同地生成与所述抽取部生成的多个所述抽取信号分别对应的所述脉冲宽度调制信号。本专利技术的一个方式为，在上述的神经网络装置中，所述阈值将所述输入信号的量化级数不等宽地进行分割。本专利技术的一个方式为，在上述的神经网络装置中，所述抽取部通过将所述输入信号的量化级数分割成两部分而生成二值的所述抽取信号，所述调制部生成与所述抽取信号对应的二值的所述脉冲宽度调制信号，所述加权部输出二值的所述脉冲宽度调制信号被加权了的所述加权信号，还具备检测所述加权部出力的所述加权信号的电流的大小的电流检测部。本专利技术的一个方式为，在上述的神经网络装置中，还具备：阈值取得部，其取得用于所述抽取部所进行的所述抽取信号的生成的所述阈值。本专利技术的一个方式为，在上述的神经网络装置中，所述阈值基于所述输入信号可变地确定。本专利技术的一个方式为，在上述的神经网络装置中，所述抽取部生成的所述抽取信号的离散值的级数在比所述输入信号的量化级数少的级数的范围内基于所述输入信号的值可变地确定。本专利技术的一个方式为一种信号生成方法，具有：抽取步骤，通过将输入信号的离散值基于预先确定的阈值变换为比所述输入信号的量化级数少的级数的离散值而生成抽取信号；调制步骤，通过对在所述抽取步骤生成的所述抽取信号的离散值进行脉冲宽度调制，生成通过脉冲宽度表示所述抽取信号的离散值的脉冲宽度调制信号；加权步骤，神经形态元件通过将与可变的特性的值对应的权重相对于在所述调制步骤生成的所述脉冲宽度调制信号进行乘法运算，输出所述脉冲宽度调制信号被加权了的加权信号。本专利技术的一个方式为一种程序，用于使神经网络装置具备的计算机执行如下步骤：抽取步骤，通过将输入信号的离散值基于预先确定的阈值变换为比所述输入信号的量化级数少的级数的离散值而生成抽取信号；调制步骤，通过对在所述抽取步骤生成的所述抽取信号的离散值进行脉冲宽度调制，生成通过脉冲宽度表示所述抽取信号的离散值的脉冲宽度调制信号；加权步骤，通过相对于所述神经形态元件供给所述脉冲宽度调制信号，输出所述加权信号，所述神经形态元件通过将与可变的特性的值对应的权重相对于在所述调制步骤生成的所述脉冲宽度调制信号进行乘法运算，输出所述脉冲宽度调制信号被加权了的加权信号。专利技术的效果根据本专利技术的一个方式，在神经网络的积和运算中使用神经形态元件的情况下，能够抑制运算时间的增加。附图说明图1是表示本专利技术的实施方式所涉及的神经网络系统的概略的结构的方块图。图2是表示本专利技术的实施方式所涉及的神经网络电路的概略的结构的方块图。图3是表示本专利技术的实施方式所涉及的元件阵列的概念的结构的方块图。图4是表示本专利技术的实施方式所涉及的识别对象的图像的例子的图。图5是表示本专利技术的实施方式所涉及的与参数α、β相关的特性的一个例子的图。图6是表示本专利技术的实施方式所涉及的权重的学习的结果的一个例子的图。图7是表示与设定于本专利技术的实施方式所涉及的神经形态元件的动态范围对应的识别精度的一个例子的图。图8是表示将关于所有的层相同的动态范围设定于神经形态元件的情况下的结果的一个例子的图。图9是表示将关于本专利技术的实施方式所涉及的各层不同的动态范围设定于神经形态元件的情况下的结果的一个例子的图。图10是表示将关于所有的层相同的动态范围设定于神经形态元件的情况下的结果的另一个例子的图。图11是表示将关于本专利技术的实施方式所涉及的各层不同的动态范围设定于神经形态元件的情况下的结果的另一个例子的图。图12是表示与设定于本专利技术的实施方式所涉及的神经形态元件的动态范围的偏移量对应的识别精度的一个例子的图。图13是本文档来自技高网...

【技术保护点】
1.一种神经网络装置，其中，/n具备：/n抽取部，其通过将输入信号的离散值基于预先确定的阈值变换为比所述输入信号的量化级数少的级数的离散值而生成抽取信号；/n调制部，其通过对所述抽取部生成的所述抽取信号的离散值进行脉冲宽度调制，从而生成通过脉冲宽度表示所述抽取信号的离散值的脉冲宽度调制信号；以及/n加权部，其包含神经形态元件，所述神经形态元件通过将与可变的特性的值对应的权重相对于所述调制部生成的所述脉冲宽度调制信号进行乘法运算，从而输出所述脉冲宽度调制信号被加权了的加权信号。/n

【技术特征摘要】
【国外来华专利技术】20180306 JP 2018-0402141.一种神经网络装置，其中，
具备：
抽取部，其通过将输入信号的离散值基于预先确定的阈值变换为比所述输入信号的量化级数少的级数的离散值而生成抽取信号；
调制部，其通过对所述抽取部生成的所述抽取信号的离散值进行脉冲宽度调制，从而生成通过脉冲宽度表示所述抽取信号的离散值的脉冲宽度调制信号；以及
加权部，其包含神经形态元件，所述神经形态元件通过将与可变的特性的值对应的权重相对于所述调制部生成的所述脉冲宽度调制信号进行乘法运算，从而输出所述脉冲宽度调制信号被加权了的加权信号。


2.根据权利要求1所述的神经网络装置，其中，
所述阈值基于所述加权部输出的所述加权信号的加权结果而确定。


3.根据权利要求1或2所述的神经网络装置，其中，
所述抽取部对于多个所述输入信号生成分别对应的所述抽取信号，
所述调制部使信号波形的变化时机互不相同地生成与所述抽取部生成的多个所述抽取信号分别对应的所述脉冲宽度调制信号。


4.根据权利要求1～3中任一项所述的神经网络装置，其中，
所述阈值将所述输入信号的量化级数不等宽地进行分割。


5.根据权利要求1～4中任一项所述的神经网络装置，其中，
所述抽取部通过将所述输入信号的量化级数分割成两部分而生成二值的所述抽取信号，
所述调制部生成与所述抽取信号对应的二值的所述脉冲宽度调制信号，
所述加权部输出二值的所述脉冲宽度调制信号被加权了的所述加权信号，
还具备：电流检测部，其检测所述加权部出力的所述加权信号的电流的大小。


6.根据权利要求1～5中任一项所述的神...

【专利技术属性】
技术研发人员：寺崎幸夫，
申请(专利权)人：TDK株式会社，
类型：发明
国别省市：日本;JP