类神经网络系统的设计方法技术方案

本发明专利技术公开了一种类神经网络的设计方法，包括下列步骤：定义一类神经网络系统，其具有一原始的权重群组，其中该原始的权重群组包括多个神经元连接权重；进行一训练程序，以获得该原始的权重群组中该些神经元连接权重的数值；设定一临限值，使得该些神经元连接权重被区分为一第一部份神经元连接权重与一第二部份神经元连接权重，且该第一部份神经元连接权重的绝对值小于该临限值；将该第一部份神经元连接权重的数值修改为0；以及形成一修改的权重群组，包括修改为0的该第一部份神经元连接权重与该第二部份神经元连接权重。

【技术实现步骤摘要】
类神经网络系统的设计方法
本专利技术是有关于类神经网络系统(neuralnetworksystem)，且特别是有关于一种类神经网络系统的设计方法。
技术介绍
近年来，深度学习演算法(deeplearningalgorithm)广泛的被运用在许多系统上以提供智慧处理能力，例如数据辨识(dataclassification)和物件检测(objectdetection)。为了在应用上达到高准确率(highinferenceaccuracy)，深度学习模型(deeplearningmodel)的架构变的越来越复杂。因为这些被训练的模型(pre-trained)大小增加，故外部记忆体的容量也必须增加以便用来储存模型中的数据。然而，外部记忆体的数据读取时间较长，反而会限制住系统效能。
技术实现思路
本专利技术有关于一种类神经网络的设计方法，包括下列步骤：定义一类神经网络系统，其具有一原始的权重群组，其中该原始的权重群组包括多个神经元连接权重；进行一训练程序，以获得该原始的权重群组中该些神经元连接权重的数值；设定一临限值，使得该些神经元连接权重被区分为一第一部份神经元连接权重与一第二部份神经元连接权重，且该第一部份神经元连接权重的绝对值小于该临限值；将该第一部份神经元连接权重的数值修改为0；以及形成一修改的权重群组，包括修改为0的该第一部份神经元连接权重与该第二部份神经元连接权重。为了对本专利技术的上述及其他方面有更佳的了解，下文特举实施例，并配合所附图式详细说明如下。附图说明图1所绘示为辨识数字的类神经网络系统示意图。图2所绘示为不同尺寸用于辨识数字的类神经网络系统的准确度与权重数目示意图。图3所示为各种储存装置的特性示意图。图4A为类神经网络系统的神经元连接权重的数值分布曲线示意图。图4B为类神经网络系统中临限值(Wth)的设定与辨识准确度之间的关系示意图。图5所绘示为本专利技术类神经网络系统的设计方法流程图。图6A所绘示为运用于本专利技术类神经网络系统的权重群组的储存格式及其映射示意图。图6B所绘示为建立修改的权重群组的详细运作方法。图7A所绘示为本专利技术类神经网络系统的硬件架构。图7B所绘示为译码电路示意图。具体实施方式以下结合附图和具体实施例对本专利技术进行详细描述，但不作为对本专利技术的限定。请参照图1，其所绘示为辨识数字的类神经网络系统示意图。举例来说，利用类神经网络系统100运用于辨识手写板102上所书写的数字，且手写板102是由784(28×28)个感应点所建构而成。类神经网络系统100包括输入层(inputlayer)110、隐藏层(hiddenlayer)120与输出层(outputlayer)130。基本上，手写板上的每个感应点会对应到输入层的一个输入神经元(inputneuron)，因此输入层110共有784(28×28)个输入神经元I0～I783，并可视为输入层110的大小(size)为784。由于类神经网络系统100需要辨识0～9的十个数字，因此输出层130共有10个输出神经元(outputneuron)O0～O9，并可视为输出层130的大小(size)为10。再者，类神经网络系统100的隐藏层120被设计为具有30个神经元H0～H29，亦即隐藏层130的大小(size)为30。因此，类神经网络系统100的尺寸为784-30-10。每个神经元之间的连线皆代表一个神经元连接权重(neuronconnectionweight)。如图1所示，输入层110中的784个输入神经元I0～I783连接至隐藏层120的神经元H0，而对应的784个神经元连接权重为(IH0,0～IH783,0)。同理，输入层110中的784个输入神经元I0～I783对应地连接至隐藏层120的30个神经元H0～H30。因此，输入层110与隐藏层120之间有734×30个神经元连接权重(IH0,0～IH783,0)、(IH0,1～IH783,1)～(IH0,29～IH783,29)。同理，隐藏层120的30个神经元H0～H30对应地连接至输出层130的10个神经元O0～O9。因此，隐藏层120与输出层130之间有30×10个神经元连接权重(HO0,0～HO29,0)～(HO0,9～HO29,9)。其中，类神经网络系统100中所有的神经元连接权重(IH0,0～IH783,0)～(IH0,29～IH783,29)与(HO0,0～HO29,0)～(HO0,9～HO29,9)即组合成为一权重群组(weightgroup)。每一层的神经元的计算方式为：将前一层的每个神经元乘以对应的神经元连接权重后并加总之。以隐藏层120的神经元H0为例，同理，隐藏层120中其他神经元H1～H29也是以相同的方式来计算。同理，输出层130的输出神经元而输出层130其他神经元O1～O9也是以相同的方式来计算。在实际应用类神经网络系统100之前，需要进行训练程序(trainingphase)，以获得权重群组中所有神经元连接权重的数值。举例来说，经过多次的迭代训练(iterationsoftraining)并获得所有神经元连接权重的数值后，即可获得一个训练完成的(well-trained)类神经网络系统100。在应用程序(applicationphase)时，即可在手写板102上写入数字，并由类神经网络系统100来进行辨识。如图1所示，于手写板102上写入数字7后，输出层130中的输出神经元O7输出最高的数值，亦即类神经网络系统100辨识出数字7。当然，图1的类神经网络系统100仅是一个范例。对于更复杂的类神经网络系统，可以使用多个隐藏层来让类神经网络具备更佳的辨识能力，而每个隐藏层的尺寸也不限定。除了上述神经元的计算方式之外，有的类神经网络系统的神经元在计算时不仅是将前一层的每个神经元乘以对应的神经元连接权重并加总外，还会再加上一偏压值(bias)。以隐藏层120的神经元H0为例，其中，BIH0表示该偏压值。换言之，此类神经网络系统的权重群组中包括多个神经元连接权重以及多个偏压值。而在训练程序后，即可获得权重群组中所有神经元连接权重的数值以及所有偏压值的数值。基本上，上述类神经网络的偏压值BIH0也可视为一个神经元连接权重。亦即，上述的式子中，也可以视为一个神经元乘以偏压值BIH0，只是偏压值BIH0所对应的神经元是一个虚拟的神经元，其数值永远为1。请参照图2，其所绘示为不同尺寸用于辨识数字的类神经网络系统的准确度与权重数目示意图。如图2所示，当类神经网络系统仅有输入层与输出层时，亦即尺寸为784-10，神经元连接权重的数目约有7.85K个，其辨识准确度(accuracy)约为86％。当类神经网络系统的复杂度增加，具有输入层、一个隐藏层与输出层时，尺寸为784-1000-10，神经元连接权重的数目约有795.01K个，其辨识准确度约上升至92％。再者，当类神经网络系统的复杂度再增加，具有输入层、二个隐藏层与输出层时，尺寸为784-1000-500-10，神经元连接权重的数目约有1290.51K个，其辨识准确度约上升至96％。明显地，类神经网络系统越复杂，辨识度会明显地提升，而权重群组中的神经元连接权重的数目也会增加。虽然复杂的类神经网络系统可以提升辨识准确度，但是数目过多的神本文档来自技高网...

【技术保护点】
1.一种类神经网络的设计方法，其特征在于，包括下列步骤：定义一类神经网络系统，其具有一原始的权重群组，其中该原始的权重群组包括多个神经元连接权重；进行一训练程序，以获得该原始的权重群组中该些神经元连接权重的数值；设定一临限值，使得该些神经元连接权重被区分为一第一部份神经元连接权重与一第二部份神经元连接权重，且该第一部份神经元连接权重的绝对值小于该临限值；将该第一部份神经元连接权重的数值修改为0；以及形成一修改的权重群组，包括修改为0的该第一部份神经元连接权重与该第二部份神经元连接权重。

【技术特征摘要】
1.一种类神经网络的设计方法，其特征在于，包括下列步骤：定义一类神经网络系统，其具有一原始的权重群组，其中该原始的权重群组包括多个神经元连接权重；进行一训练程序，以获得该原始的权重群组中该些神经元连接权重的数值；设定一临限值，使得该些神经元连接权重被区分为一第一部份神经元连接权重与一第二部份神经元连接权重，且该第一部份神经元连接权重的绝对值小于该临限值；将该第一部份神经元连接权重的数值修改为0；以及形成一修改的权重群组，包括修改为0的该第一部份神经元连接权重与该第二部份神经元连接权重。2.如权利要求1所述的类神经网络的设计方法，其特征在于，更包括：于进行一应用程序时，该类神经网络系统利用该修改的权重群组来进行运算。3.如权利要求2所述的类神经网络的设计方法，其特征在于，更包括下列步骤：根据该第一部份神经元连接权重与该第二部份神经元连接权重来形成一系数表与一非零权重表。4.如权利要求3所述的类神经网络的设计方法，其特征在于，更包括下列步骤：根据该系数表与该非零权重表的内容来形成该修改的权重群组。5.如权利要求3所述的类神经网络的设计方法，其特征在于，当该原始的权重群组中的一第一神经元连接权重的绝对值大于或等于该临限值时，将该第一神经元连接权重的数值储存于该系数表，并设定一第一指示位存于该非零权重表中，以...

【专利技术属性】
技术研发人员：李镇宜，喻婉茹，
申请(专利权)人：光宝科技股份有限公司，
类型：发明
国别省市：中国台湾,71