硬件加速器、电子装置和用于神经网络的装置制造方法及图纸

提供硬件加速器、电子装置和用于神经网络的装置。一种硬件加速器，所述硬件加速器包括：比较器；同或(XNOR)门；累加器；以及乘法和累加(MAC)运算器，其中，神经网络的基本块包括：第一批量归一化层、量化层、卷积层、激活层和第二批量归一化层，并且其中，基本块由通过第一批量归一化运算、符号函数运算、移位卷积运算、激活函数运算、第二批量归一化运算和残差连接操作的组合的装置驱动。作的组合的装置驱动。作的组合的装置驱动。

【技术实现步骤摘要】
硬件加速器、电子装置和用于神经网络的装置
[0001]本申请要求于2021年11月11日提交到韩国知识产权局的第10
‑
2021
‑
0154992号韩国专利申请的权益，该韩国专利申请的全部公开通过引用出于所有目的包含于此。


[0002]下面的描述涉及具有神经网络(NN)的方法和装置。

技术介绍

[0003]在人工智能(AI)的领域中实现的卷积神经网络可比其他AI技术具有更高的性能。然而，当卷积人工神经网络(ANN)被加深和加宽以用更多数据进行训练并达到高的性能时，卷积ANN的模型的大小可增加，并且运算时间可基于用于处理的运算的数量而增加。
[0004]为了解决这样的问题，方法可减小卷积ANN的大小。例如，可存在将卷积ANN的结构设计为微小(或轻量级)的方法，在其中ANN的分支被剪枝的训练的方法和将权重的值量化为更少的位(n位量化)的方法。

技术实现思路

[0005]本
技术实现思路
被提供从而以简要的形式介绍在以下具体实施方式中进一步描述的构思的选择。本专利技术内容不意在确定要求保本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种硬件加速器，所述硬件加速器包括：比较器；同或门；累加器；以及乘法和累加运算器，其中，神经网络的基本块包括：第一批量归一化层、量化层、卷积层、激活层和第二批量归一化层，并且其中，基本块通过第一批量归一化运算、符号函数运算、逐位卷积运算、激活函数运算、第二批量归一化运算和残差连接运算的组合由所述装置驱动。2.根据权利要求1所述的硬件加速器，其中，比较器被配置为：通过将对转换后的输入数据执行的符号函数运算的结果与预定值进行比较，来量化输入数据。3.根据权利要求1或2所述的硬件加速器，其中，第二批量归一化运算包括：第一部分和第二部分，并且转换后的输入数据包括所述第二部分，并且转换后的输入数据的所述第二部分被反应在使用第一批量归一化运算确定的第一批量归一化的输入数据中。4.根据权利要求1所述的硬件加速器，其中，同或门和累加器被配置为执行逐位卷积运算。5.根据权利要求1所述的硬件加速器，其中，第二批量归一化运算包括：第一部分和第二部分，以及乘法和累加运算器被配置为执行激活函数运算、残差连接运算和针对所述第一部分的运算。6.根据权利要求5所述的硬件加速器，其中，乘法和累加运算器被配置为：通过将激活函数应用于逐位卷积运算的逐位卷积运算结果，确定输出数据；将所述第一部分乘以输出数据；以及执行与输入数据相加的运算。7.根据权利要求6所述的硬件加速器，其中，激活函数包括：线性修正单元函数。8.一种用于硬件加速器的方法，所述方法包括：通过使用硬件加速器的比较器将对转换后的输入数据执行符号函数运算的结果与预定值进行比较，来量化输入数据；使用硬件加速器的同或门和累加器执行逐位卷积运算；以及使用硬件加速器的乘法和累加运算器执行激活函数运算和残差连接运算。9.根据权利要求8所述的方法，其中第二批量归一化运算包括：第一部分和第二部分，并且转换后的输入数据包括所述第二部分，并且转换后的输入数据的所述第二部分被反应在使用第一批量归一化运算确定的第一批量归一化的输入数据中。10.根据权利要求8所述的方法，其中第二批量归一化运算包括：第一部分和第二部分，并且使用乘法和累加运算器执行运算的步骤包括：执行激活函数运算、残差连接运算和针
...

【专利技术属性】
技术研发人员：刘承周，姜承烨，
申请(专利权)人：首尔大学校产学协力团，
类型：发明
国别省市：