用于执行卷积神经网络运算的处理装置与其操作方法制造方法及图纸

本发明专利技术提出一种用于执行卷积神经网络运算的处理装置与其操作方法。卷积神经网络运算包括多个卷积层。处理装置包括内部存储器与计算电路。计算电路执行各卷积层的卷积运算。内部存储器从外部存储器获取第一卷积层的权重数据，而计算电路利用第一卷积层的权重数据执行第一卷积层的卷积运算。于计算电路执行第一卷积层的卷积运算的期间，内部存储器从外部存储器获取第二卷积层的权重数据，以将第二卷积层的权重数据覆写第一卷积层的权重数据。

【技术实现步骤摘要】
用于执行卷积神经网络运算的处理装置与其操作方法
本揭露涉及一种计算装置，且特别是有关于一种用于执行卷积神经网络运算的处理装置与其操作方法。
技术介绍
人工智能近年得到迅速发展，极大地影响了人们的生活。基于人工神经网络，尤其是卷积神经网络(ConvolutionalNeuralNetwork，CNN)在很多应用中的发展日趋成熟，例如在计算机视觉领域中得到广泛使用。随着卷积神经网络的应用越来越广泛，越来越多的芯片设计厂商开始设计用于执行卷积神经网络运算的处理芯片。执行卷积神经网络运算的处理芯片需要复杂的运算与庞大的参数量来分析输入数据。对于用于执行卷积神经网络运算的处理芯片而言，为了加速处理速度与降低重复存取外部存储器所产生的功耗，处理芯片内部一般设置有内部存储器(又称为芯片内建内存(on-chip-memory))来存儲暂时计算结果与卷积运算所需的权重数据。然而，相对地，当需要高存儲容量的内部存储器来存儲所有权重数据时，也会造成处理芯片的芯片成本与芯片功耗上升。揭露内容有鉴于此，本揭露提供一种用于执行卷积神经网络运算的处理装置与其操作方法，其可降低处理装置中内部存储器的容量需求，从而达成降低处理装置的功耗与成本的目的。本专利技术实施例提出一种用于执行卷积神经网络运算的处理装置，此卷积神经网络运算包括多个卷积层。处理装置包括内部存储器与计算电路。计算电路耦接内部存储器，执行各卷积层的卷积运算。内部存储器从外部存储器获取这些卷积层中第一卷积层的权重数据，而计算电路利用第一卷积层的权重数据执行第一卷积层的卷积运算。于计算电路执行第一卷积层的卷积运算的期间，内部存储器从外部存储器获取卷积层中第二卷积层的权重数据，以将第二卷积层的权重数据覆写第一卷积层的权重数据。本专利技术实施例提出一种用于执行卷积神经网络运算的处理装置的操作方法，此卷积神经网络运算包括多个卷积层。所述方法包括下列步骤。由内部存储器从外部存储器获取卷积层中第一卷积层的权重数据，并由计算电路利用第一卷积层的权重数据执行第一卷积层的卷积运算。接着，于执行第一卷积层的卷积运算的期间，由内部存储器从外部存储器获取卷积层中第二卷积层的权重数据，以将第二卷积层的权重数据覆写第一卷积层的权重数据。基于上述，于本专利技术的实施例中，内部存储器先从外部存储器获取第一卷积层的权重数据，且计算电路自内部存储器取用第一卷积层的权重数据来执行第一卷积层的卷积运算。接着，内部存储器再从外部存储器获取卷积层中第二卷积层的权重数据，以将第二卷积层的权重数据覆写第一卷积层的权重数据。因此，于处理装置执行卷积神经网络运算的过程中，卷积神经网络运算所需的权重数据可分批依序写入处理装置的内部存储器。于是，设置于处理装置内的内部存储器的存儲容量需求可以降低，从而节省处理装置的硬件成本与电路面积。为让本揭露的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。附图说明图1是依照本专利技术一实施例的执行卷积神经网络运算的计算系统的示意图；图2是依照本专利技术一实施例的卷积神经网络模型的示意图；图3是依照本专利技术一实施例的卷积运算的示意图；图4是依照本专利技术一实施例的处理装置的示意图；图5是依照本专利技术一实施例的处理装置的操作方法的流程示意图；图6A是依据本专利技术一实施例的更新内部存储器中权重数据的示意图；图6B是依据本专利技术一实施例的更新内部存储器中权重数据的示意图；图6C是依据本专利技术一实施例的更新内部存储器中权重数据的示意图。附图标记说明10:计算系统；110:处理装置；120:外部存储器；130:总线；d_i:输入数据；d_o:输出数据；20:卷积神经网络模型；L1～L3:卷积层；FM1、FM2、FM3、FM_i、FM_(i+1):特征图；WM、WM_1～WM_5:卷积核；31～35:子特征图；111:内部存储器；112:计算电路；113:控制器；41:权重缓冲器；42:记忆电路；W1、W2:权重数据；WM1_1～WM1_a、WM2_1～WM2_b:卷积核；61:卷积核的部份；62:卷积核的部份；S501～S502：步骤。具体实施方式现将详细地参考本揭露的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同组件符号在图式和描述中用来表示相同或相似部分。应当理解，当诸如层、膜、区域或基板的组件被称为在另一组件“上”或“连接到”另一组件时，其可以直接在另一组件上或与另一组件连接，或者中间组件可以也存在。相反，当组件被称为“直接在另一组件上”或“直接连接到”另一组件时，不存在中间组件。如本文所使用的，“连接”可以指物理及/或电性连接。再者，“电性连接”或“耦合”可以是二组件间存在其它组件。图1是依照本专利技术一实施例的执行卷积神经网络运算的计算系统的示意图。请参照图1，计算系统10可基于卷积神经网络运算来分析输入数据以提取有效信息。计算系统10可安装于各式电子终端设备中以实现各种不同的应用功能。举例而言，计算系统10可安装于智能型手机、平板计算机、医疗设备或机器人设备中，本专利技术对此不限制。于一实施例中，计算系统10可基于卷积神经网络运算来分析指纹感测装置所感测的指纹图像或掌纹图像，以获取与感测指纹相关的信息。计算系统10可包括处理装置110以及外部存储器120。处理装置110以及外部存储器120可经由总线130进行通讯。于一实施例中，处理装置110可被实施为一系统芯片。处理装置110可依据接收到的输入数据执行卷积神经网络运算，其中卷积神经网络运算包括多个卷积层。这些卷积层至少包括第一卷积层与第二卷积层。需说明的是，本专利技术对于卷积神经网络运算所对应的神经网络模型并不加以限制，其可以为任何包括多个卷积层的神经网络模型，像是GoogleNet模型、AlexNet模型、VGGNet模型、ResNet模型、LeNet模型等各种卷积神经网络模型。外部存储器120耦接处理装置110，用于记录处理装置110执行卷积神经网络运算所需的各种参数，像是各个卷积层的权重数据等等。外部存储器120可以包含动态随机存取内存(dynamicrandomaccessmemory，DRAM)、闪存(flashmemory)或是其他内存。处理装置110可从外部存储器120读取执行卷积神经网络运算所需的各种参数，以对输入数据执行卷积神经网络运算。图2是依照本专利技术一实施例的卷积神经网络模型的示意图。请参照图2，处理装置110可将输入数据d_i输入至基于卷积神经网络模型20而产生输出数据d_o。于一实施例中，输入数据d_i可以是一张灰阶图像或彩色图像。从另一方面来看，输入数据d_i可以是一张指纹感测图像或一张掌纹感测图像。输出数据d_o可以是对输入数据d_i进行分类的分类类别、经过语义分割的分割图像，或是经过图像处理(本文档来自技高网...

【技术保护点】
1.一种用于执行卷积神经网络运算的处理装置，所述卷积神经网络运算包括多个卷积层，其特征在于，包括：/n内部存储器；以及/n计算电路，耦接所述内部存储器，执行各所述卷积层的卷积运算，/n其中，所述内部存储器从外部存储器获取所述卷积层中第一卷积层的权重数据，所述计算电路利用所述第一卷积层的权重数据执行所述第一卷积层的卷积运算，/n于所述计算电路执行所述第一卷积层的卷积运算的期间，所述内部存储器从所述外部存储器获取所述卷积层中第二卷积层的权重数据，以将所述第二卷积层的权重数据覆写所述第一卷积层的权重数据。/n

【技术特征摘要】
20200417 US 63/011,3141.一种用于执行卷积神经网络运算的处理装置，所述卷积神经网络运算包括多个卷积层，其特征在于，包括：
内部存储器；以及
计算电路，耦接所述内部存储器，执行各所述卷积层的卷积运算，
其中，所述内部存储器从外部存储器获取所述卷积层中第一卷积层的权重数据，所述计算电路利用所述第一卷积层的权重数据执行所述第一卷积层的卷积运算，
于所述计算电路执行所述第一卷积层的卷积运算的期间，所述内部存储器从所述外部存储器获取所述卷积层中第二卷积层的权重数据，以将所述第二卷积层的权重数据覆写所述第一卷积层的权重数据。


2.根据权利要求1所述的处理装置，其特征在于，所述处理装置还包括控制器，所述控制器反应于所述计算电路发出的通知讯号控制所述内部存储器从所述外部存储器获取所述第二卷积层的权重数据。


3.根据权利要求2所述的处理装置，其特征在于，所述计算电路包括权重缓冲器，在所述内部存储器将所述第一卷积层的权重数据提供给所述权重缓冲器之后，所述计算电路发出所述通知讯号给所述控制器。


4.根据权利要求1所述的处理装置，其特征在于，所述第一卷积层的权重数据包括所述第一卷积层的至少一卷积核，所述计算电路利用所述第一卷积层的权重数据执行所述第一卷积层的卷积运算而获取对应于所述至少一卷积核的至少一特征图。


5.根据权利要求1所述的处理装置，其特征在于，所述内部存储器获取所述第一卷积层的权重数据的一部份，所述计算电路利用所述第一卷积层的权重数据的所述部份执行所述第一卷积层的卷积运算而获取第一部份计算结果，
其中，于所述计算电路利用所述第一卷积层的权重数据的所述部份执行所述第一卷积层的卷积运算而获取所述第一部份计算结果的期间，所述内部存储器从所述外部存储器获取所述第一卷积层的权重数据的另一部份，以将所述第一卷积层的权重数据的所述另一部份覆写所述第一卷积层的权重数据的所述部份。


6.根据权利要求5所述的处理装置，其特征在于，所述第一卷积层的权重数据为具有M个信道的卷积核，而所述第一卷积层的权重数据的所述部份为所述卷积核中N个通道的权重值，且M大于N。


7.根据权利要求5所述的处理装置，其特征在于，所述计算电路将所述第一部份计算结果记录于一记忆电路中，所述计算电路利用所述第一卷积层的权重数据的所述另一部份执行所述第一卷积层的卷积运算而获取第二部份计算结果，所述计算电路透过累加所述第一部份计算结果与所述第二部份计算结果而获取所述第一卷积层的卷积计算结果。


8.根据权利要求1所述的处理装置，其特征在于，所述计算电路用于分析指纹感测装置所感测的指纹图像或掌纹图像。


9.一种用于执行卷积神经网络运算的处理装置的操作方法，所述卷...

【专利技术属性】
技术研发人员：程韦翰，
申请(专利权)人：神亚科技股份有限公司，
类型：发明
国别省市：中国台湾;71