更新神经网络模型的方法和电子装置制造方法及图纸

本发明专利技术公开一种更新神经网络模型的方法和电子装置

【技术实现步骤摘要】
更新神经网络模型的方法和电子装置


[0001]本专利技术涉及一种人工智能技术，且特别涉及一种更新神经网络模型的方法和电子装置
。

技术介绍

[0002]目前，市面上已经出现能协助使用者自行开发客制化的神经网络模型的产品
。
然而，这些产品仅着重于利用启发式方法
(heuristic method)
产生具有较佳效能的神经网络模型，而忽略了如何有效降低神经网络模型的复杂度的问题
。
因此，产生的神经网络模型往往仅能在具有高运算力的装置上运作
。
在运算能力有限的情况下
(
例如：使用边缘运算装置运行人工智能模型
)
，神经网络模型可能无法顺利运算或神经网络模型的效能可能降低
。
[0003]然而，若利用传统的量化方法来量化神经网络模型以降低模型复杂度，则经量化的神经网络模型的效能可能会因逐层
(
例如：神经网络模型的卷积层
)
累积的量化误差而降低
。

技术实现思路

[0004]本专利技术提供一种更新神经网络模型的方法和电子装置，可通过对神经网络模型的神经元的权重进行量化以产生新神经元，可为神经网络模型进行模型降阶
(model order
‑
reduction)。
[0005]本专利技术的一种更新神经网络模型的电子装置，包含收发器以及处理器
。
收发器用以接收神经网络模型以及训练数据，其中神经网络模型包含第一神经元以及与第一神经元连接的第二神经元
。
处理器耦接收发器，其中处理器经配置以执行下列步骤：将训练数据输入至第一神经元以由第二神经元输出第一预测值
。
量化第一神经元的第一权重以产生第三神经元，并且量化第二神经元的第二权重以产生与第三神经元连接的第四神经元
。
将训练数据输入至第三神经元以由第四神经元输出第二预测值
。
根据第一预测值和第二预测值更新第一神经元的第一激励函数以及第二神经元的第二激励函数，以产生经更新的神经网络模型，其中收发器用以输出经更新的神经网络模型
。
[0006]本专利技术的一种更新神经网络模型的方法，用于具有收发器及处理器的电子装置，包含：通过收发器接收神经网络模型以及训练数据，其中神经网络模型包含第一神经元以及与第一神经元连接的第二神经元；通过处理器将训练数据输入至第一神经元以由第二神经元输出第一预测值；量化第一神经元的第一权重以产生第三神经元，并且量化第二神经元的第二权重以产生与第三神经元连接的第四神经元；将训练数据输入至第三神经元以由第四神经元输出第二预测值；根据第一预测值和第二预测值更新第一神经元的第一激励函数以及第二神经元的第二激励函数，以产生经更新的神经网络模型；以及输出经更新的神经网络模型
。
[0007]基于上述，本专利技术的电子装置可在维持神经网络模型的效能的情况下，达到模型降阶的目的
。
附图说明
[0008]图1为本专利技术的一实施例绘示一种电子装置的示意图；
[0009]图2为本专利技术的一实施例绘示更新神经网络模型的方法的流程图；
[0010]图3为本专利技术的一实施例绘示原始神经元以及新神经元的示意图；
[0011]图4为本专利技术的一实施例绘示量化预测值
S5
的数据类型格式的示意图；
[0012]图5为本专利技术的一实施例绘示一种更新神经网络模型的方法的流程图
。
[0013]符号说明
[0014]100:
电子装置
[0015]110:
处理器
[0016]120:
存储介质
[0017]130:
收发器
[0018]200:
神经网络模型
[0019]310、320、330、340:
神经元
[0020]400:
数据类型格式
[0021]401:
最高有效
i
位
[0022]402:
最低有效
j
位
[0023]F、G:
激励函数
[0024]S1:
数据
[0025]S2、S3、S4、S5:
预测值
[0026]S201、S202、S203、S204、S205、S206、S207、S208、S209、S210、S211、S212、S501、S502、S503、S504、S505、S506:
步骤
[0027]S6:
经量化的预测值
[0028]W1、W2、W3、W4:
权重
具体实施方式
[0029]为了使本专利技术的内容可以被更容易明了，以下特举实施例作为本专利技术确实能够据以实施的范例
。
另外，凡可能之处，在附图及实施方式中使用相同标号的元件
/
构件
/
步骤，代表相同或类似部件
。
[0030]图1根据本专利技术的一实施例绘示一种电子装置
100
的示意图，其中电子装置
100
可用以更新神经网络模型，由此降低神经网络模型的复杂度
。
电子装置
100
可包含处理器
110、
存储介质
120
以及收发器
130。
[0031]处理器
110
例如是中央处理单元
(central processing unit
，
CPU)
，或是其他可编程的一般用途或特殊用途的微控制单元
(micro control unit
，
MCU)、
微处理器
(microprocessor)、
数字信号处理器
(digital signal processor
，
DSP)、
可编程控制器
、
特殊应用集成电路
(application specific integrated circuit
，
ASIC)、
图形处理器
(graphics processing unit
，
GPU)、
图像信号处理器
(image signal processor
，
ISP)、
图像处理单元
(image processing unit
，
IPU)、
算数逻辑单元
(arithmetic logic unit
，
ALU)、
复杂可编程逻辑装置
(complex programmable logic device
，
CPLD)、
现场可编程逻辑门阵列
...

【技术保护点】

【技术特征摘要】
1.
一种更新神经网络模型的电子装置，包括：收发器，用以接收该神经网络模型以及训练数据，其中该神经网络模型包括第一神经元以及与该第一神经元连接的第二神经元；以及处理器，耦接该收发器，其中该处理器经配置以执行：将该训练数据输入至该第一神经元以由该第二神经元输出第一预测值；量化该第一神经元的第一权重以产生第三神经元，并且量化该第二神经元的第二权重以产生与该第三神经元连接的第四神经元；将该训练数据输入至该第三神经元以由该第四神经元输出第二预测值；以及根据该第一预测值和该第二预测值更新该第一神经元的第一激励函数以及该第二神经元的第二激励函数，以产生经更新的该神经网络模型，其中，该收发器用以输出经更新的该神经网络模型
。2.
如权利要求1所述的电子装置，其中该处理器还经配置以执行：删除该第二预测值的位以产生经量化的该第二预测值；以及根据该第一预测值以及经量化的该第二预测值更新该第一激励函数以及该第二激励函数
。3.
如权利要求2所述的电子装置，其中该位包括最高有效位和最低有效位的至少其中之一
。4.
如权利要求1所述的电子装置，其中该处理器还经配置以执行：删除该第二预测值的位以产生经量化的该第二预测值；计算该第一预测值与经量化的该第二预测值之间的差值；以及响应于该差值小于阈值，利用该第四神经元的输出训练该第二神经元的下游神经元
。5.
如权利要求4所述的电子装置，其中该处理器还经配置以执行：响应于该差值大于或等于该阈值，利用该第二神经元的输出训练该下游神经元
。6.
如权利要求1所述的电子装置，其中该第一权重对应于第一浮点数格式，其中经量化的该第一权重对应于下列的其中之一：第二浮点数格式以及整数格式
。7.
如权利要求1所述的电子装置，其中该第一激励函数为分段函数
。8.
如权利要求1所述的电子装置，还包括：存储介质，耦接该处理器，用以存储该神经网络模型
。9.
如权利要求1所述的电子装置，还包括：存储介质，耦接该处理器，用以存储一叠代次数阈值，其中该处理器根据该叠代次数阈值决定是否停止更新该神经网络模型
。10.
一种更新神经网络模型的方法，用于具有收发器及处理器的电子装置，包括：通过该收发器接收该神经网络模型以及训练数据，其中该神...

【专利技术属性】
技术研发人员：林盈祯，李坤翰，
申请(专利权)人：纬创资通股份有限公司，
类型：发明
国别省市：