多层人造神经网络及其控制方法技术

本发明专利技术提供一种多层人造神经网络及其控制方法，其中包含多个神经元、一储存装置与一控制器。该多个神经元用以根据多个参数进行运算。该储存装置用以储存多组参数，其中的每一组参数各自对应于一运算层。该控制器于一第一时间点控制该储存装置将对应于一第一运算层的一组参数提供给该多个神经元，以令该多个神经元构成该第一运算层的至少一部份。该控制器并于一第二时间点控制该储存装置将对应于一第二运算层的一组参数提供给该多个神经元，以令该多个神经元构成该第二运算层的至少一部份。

Multilayer artificial neural network and its control method

The invention provides a multilayer artificial neural network and a control method thereof, which comprises a plurality of neurons, a storage device and a controller. The plurality of neurons are used to operate according to a number of parameters. The storage device is used to store multiple sets of parameters, each of which is corresponding to an operation layer. The controller controls the storage device at a first time point and provides a set of parameters corresponding to a first operation layer to the plurality of neurons so that the plurality of neurons constitute at least a portion of the first arithmetic layer. The controller controls the storage device at a second time point and provides a set of parameters corresponding to a second operation layer to the plurality of neurons so that the plurality of neurons constitute at least a portion of the second computing layer.

【技术实现步骤摘要】
多层人造神经网络及其控制方法
本专利技术与人造神经网络(artificialneuralnetwork)相关，并且尤其与能用于进行深度学习(deeplearning)的多层人造神经网络相关。
技术介绍
以人造神经网络进行机器学习的概念存在已久，但先前受限于处理器运算能力，相关研究始终无法顺利推进。近十年来，随着处理器运算速度、存储器存取速度以及机器学习演算法等各方面技术的长足进步，能产出正确判断结果的人造神经网络逐渐成为可能，因而在自动驾驶、影像辨识、自然语言辨识、数据探勘等领域中重新受到高度重视。大脑中最基本的运算单位—神经元，是通过多个树突(dendrite)收集多个输入信号，并通过轴突(axon)传递输出信号(通常是传递至另一个神经元的树突作为输入信号)。单一人造神经元的典型运作可被数学化表示如下：y＝f(∑iwixi+b)，其中符号x表示输入信号，y表示输出信号；每一个树突各自加诸于其输入信号x的权重w是模拟该树突所连接的前一个神经元对于此神经元的影响程度；符号b表示此神经元本身贡献的偏移量(bias)。符号f代表一特定非线性函数，在人造神经网络中常用Σ函数(sigmoidfunction)、双曲正切函数(tanhfunction)或是整流后线性函数(rectifiedlinearfunction)进行实际运算。一个人造神经网络所采行的判断规则可说是由该网络中所有神经元的权重w与偏移量b共同定义。采用监督式学习(supervisedlearning)的人造神经网络会在学习过程中将训练样本输入人造神经网络，并根据最后产出的判断结果调整各个神经元的权重w与偏移量b，以期找出令判断结果与训练样本相符的对映规则。采用非监督式学习(unsupervisedlearning)的人造神经网络则是在不知道判断结果与训练样本是否相符的情况下，自行调整各个神经元的权重w与偏移量b，设法找出潜在规则。无论是采用哪一种学习策略，目标皆是为网络中的每一个神经元找出适当的参数(权重w、偏移量b)供日后使用。现行的人造神经网络通常被设计为具有多层(multi-layer)结构。除了最前端的输入层与最后端的输出层，其他串接在输入层与输出层之间的称为隐藏层(hiddenlayer)。输入层用以接收外部数据，不进行运算。隐藏层与输出层则是各自以前一层的输出信号做为当层的输入信号，并且各自包含多个根据前述数学式进行运算的神经元。若以神经元连接方式区分，每一个隐藏层与输出层可以各自是一卷积层(convolutionallayer)或一全连接层(fully-connectedlayer)。卷积层与全连接层的主要差别在于：全连接层中的每一个神经元都会被各自连接到其相邻前后层中的所有神经元，而卷积层中的每一个神经元只会被连接到前一层中的部分神经元。为了减少参数的数量，卷积层中的多个神经元会共用同一组权重w与偏移量b。目前有多种人造神经网络架构，对于卷积层与全连接层的配置组合各有不同的规划。以AlexKrizhevsky等学者于2012年提出的AlexNet架构为例，其中总共包含六十五万个神经元，构成依序串接的五个卷积层以及三个全连接层。一般而言，人造神经网络中的层数愈多，愈能模拟复杂的函式(亦即较复杂的判断规则)。然而，当层数增加，整个网络中所需要的神经元数量会随之大幅增长，导致庞大的硬件成本负担。此难处无疑是日后将人造神经网络推广应用至消费性电子产品的阻碍。
技术实现思路
为解决上述问题，本专利技术提出一种新的多层人造神经网络及其控制方法。根据本专利技术的一具体实施例为一种多层人造神经网络，其中包含多个神经元、一储存装置与一控制器。该多个神经元用以根据多个参数进行运算。该储存装置用以储存多组参数，其中的每一组参数各自对应于一运算层。该控制器于一第一时间点控制该储存装置将对应于一第一运算层的一组参数提供给该多个神经元，以令该多个神经元构成该第一运算层的至少一部份。该控制器并于一第二时间点控制该储存装置将对应于一第二运算层的一组参数提供给该多个神经元，以令该多个神经元构成该第二运算层的至少一部份。根据本专利技术的另一具体实施例为一种应用于一多层人造神经网络的控制方法。该多层人造神经网络包含用以根据多个参数进行运算的多个神经元。根据该控制方法，于一第一时间点，对应于一第一运算层的一组参数被提供给该多个神经元，以令该多个神经元构成该第一运算层的至少一部份。此外，于一第二时间点，对应于一第二运算层的一组参数被提供给该多个神经元，以令该多个神经元构成该第二运算层的至少一部份。本专利技术实施例的多层人造神经网络，不同于先前技术中人造神经网络的层数、架构、各层神经元数量、神经元间连接方式都是固定的情况，其可提供更灵活有弹性的运算方案，因此不限于特定应用。针对性质较单纯的外部数据，输入分析器可令人造神经网络被组态为具有较少的总运算层数，以节省运算资源并避免过度拟合。相对地，针对较复杂的外部数据，输入分析器可令人造神经网络被组态为具有较多的总运算层数，以提高判断结果与输入数据的相合程度。相较于先前技术，根据本专利技术的人造神经网络显然可利用较少数量的神经元产出相同的运算结果，因而得以大幅节省硬件成本。关于本专利技术的优点与精神可以通过以下专利技术详述及所附图式得到进一步的了解。附图说明图1呈现一个具有三层结构的人造神经网络做为说明范例。图2A为根据本专利技术的一实施例中的多层人造神经网络的功能方块图；图2B～图2D用以表示该多层人造神经网络在不同时间点的电路组态。图3为根据本专利技术的另一实施例中的多层人造神经网络的功能方块图。图4为根据本专利技术的又一实施例中的多层人造神经网络的功能方块图。图5为根据本专利技术的多层人造神经网络进一步包含一输入分析器的实施例。图6为根据本专利技术的一实施例中的多层人造神经网络的控制方法的流程图。附图标号：10：输入层120、130：隐藏层140：输出层D1～D3：外部数据121～124、131～132、141、N1～N4：神经元100、200、300、400：人造神经网络152：储存装置152A、152B、152C：储存区域154：控制器156：输入分析器161～165：输入接脚171～174、191～194：多工器181～185：输出接脚S601～S603：流程步骤具体实施方式须说明的是，本专利技术的图式包含呈现多种彼此关联的功能性模块的功能方块图。该多个图式并非细部电路图，且其中的连接线仅用以表示信号流。功能性元件及/或程序间的多种互动关系不一定要通过直接的电连接始能达成。此外，个别元件的功能不一定要如图式中绘示的方式分配，且分散式的区块不一定要以分散式的电子元件实现。根据本专利技术的一具体实施例为一种多层人造神经网络，其中包含多个神经元、一储存装置与一控制器。该控制器被设计为在不同时间点令该储存装置将对应于不同运算层的参数提供给该多个神经元。图1呈现一个具有三层结构的人造神经网络作为范例。须说明的是，虽然实务中的人造神经网络所包含的神经元数量和连接复杂度皆远高于此范例所示者，但本专利技术所属
中相关技术人员通过后续介绍可理解，本专利技术的范畴不限于特定网络结构复杂度。请参阅图1。输入层110用以接收外部数据D1～D3。隐藏层120、130为全连接层，并且分别包含四个本文档来自技高网...

【技术保护点】
一种多层人造神经网络，其特征在于，包含：多个神经元，用以根据多个参数进行运算；一储存装置，耦接至该多个神经元，用以储存多组参数，其中的每一组参数各自对应于一运算层；以及一控制器，耦接至该储存装置，用以于一第一时间点控制该储存装置将对应于一第一运算层的一组参数提供给该多个神经元，以令该多个神经元构成该第一运算层的至少一部份，该控制器并于一第二时间点控制该储存装置将对应于一第二运算层的一组参数提供给该多个神经元，以令该多个神经元构成该第二运算层的至少一部份。

【技术特征摘要】
2016.05.11 US 15/152,5281.一种多层人造神经网络，其特征在于，包含：多个神经元，用以根据多个参数进行运算；一储存装置，耦接至该多个神经元，用以储存多组参数，其中的每一组参数各自对应于一运算层；以及一控制器，耦接至该储存装置，用以于一第一时间点控制该储存装置将对应于一第一运算层的一组参数提供给该多个神经元，以令该多个神经元构成该第一运算层的至少一部份，该控制器并于一第二时间点控制该储存装置将对应于一第二运算层的一组参数提供给该多个神经元，以令该多个神经元构成该第二运算层的至少一部份。2.如权利要求1所述的多层人造神经网络，其特征在于，该储存装置被进一步用以暂存一组或多组数据；于该第二时间点，该控制器进一步控制该储存装置将对应于该第二运算层的一组暂存数据提供给该多个神经元，做为多个输入信号。3.如权利要求2所述的多层人造神经网络，其特征在于，暂存于该储存装置中的该一组或多组数据是先前由该多个神经元所产生并传递至该储存装置。4.如权利要求2所述的多层人造神经网络，其特征在于，进一步包含：多个输入接脚，用以接收多笔外部数据；以及一可重新组态布线电路，设置于该多个输入接脚、该储存装置以及该多个神经元之间；其中于该第一时间点，该控制器控制该可重新组态布线电路将该多个输入接脚连接至该多个神经元，令该多个输入接脚所接收的该多笔外部数据得以被提供至该多个神经元，做为多个输入信号；于该第二时间点，该控制器控制该可重新组态布线电路将该储存装置连接至该多个神经元，令该储存装置得以将对应于该第二运算层的该组暂存数据提供给该多个神经元，做为多个输入信号。5.如权利要求4所述的多层人造神经网络，其特征在于，暂存于该储存装置中的该一组或多组数据是先前由该多个神经元所产生并传递至该储存装置。6.如权利要求1所述的多层人造神经网络，其特征在于，进一步包含：多个输出接脚；以及一可重新组态布线电路，设置于该多个输出接脚、该储存装置以及该多个神经元之间；其中该控制器控制该可重新组态布线电...

【专利技术属性】
技术研发人员：刘峻诚，
申请(专利权)人：耐能有限公司，
类型：发明
国别省市：美国,US