描述了与深度学习加速器和存储器相关的系统、装置和方法。举例来说，一种数码相机可配置成执行具有矩阵操作数的指令且配置有：外壳；镜头；图像传感器，其定位在所述镜头后方以产生所述数码相机的视场的图像数据；随机存取存储器，其用以存储可由所述深度学习加速器执行的指令且存储人工神经网络的矩阵；收发器；以及控制器，其配置成基于接收所述图像数据作为输入的所述人工神经网络的输出产生在所述图像数据中捕捉的所述视场中的项目或事件的描述，且使用所述收发器将其传送到独立计算机。所述独立计算机可基于所述描述的处理选择性地向所述数码相机请求图像数据的一部分。性地向所述数码相机请求图像数据的一部分。性地向所述数码相机请求图像数据的一部分。
【技术实现步骤摘要】
【国外来华专利技术】具有深度学习加速器和随机存取存储器的智能数码相机
[0001]相关申请
[0002]本申请主张2020年6月19日申请且标题为“具有深度学习加速器和随机存取存储器的智能数码相机(INTELLIGENT DIGITAL CAMERA HAVING DEEP LEARNING ACCELERATOR AND RANDOM ACCESS MEMORY)”的第16/906,224号美国专利申请，其全部公开内容由此以引用的方式并入本文中。
[0003]本文所公开的至少一些实施例涉及数码相机，且更具体地但不限于由人工神经网络(ANN)的集成加速器供电的智能数码相机，所述人工神经网络例如通过机器学习和/或深度学习配置的ANN。
技术介绍
[0004]人工神经网络(ANN)使用神经元网络来处理到网络的输入，且产生来自网络的输出。
[0005]举例来说，网络中的每一神经元接收一组输入。到神经元的一些输入可以是网络中的某些神经元的输出；且到神经元的一些输入可以是提供给神经网络的输入。所述网络中的神经元之间的输入/输出关系表示所述网络中的神经元连接性。
[0006]举例来说，每一神经元可分别针对其输入具有偏置、激活函数和一组突触权重。激活函数可呈阶跃函数、线性函数、对数S型(log
‑
sigmoid)函数等形式。网络中的不同神经元可具有不同激活函数。
[0007]举例来说，每一神经元可生成其输入与其偏置的加权和，且接着产生作为加权和的函数的输出，所述输出是使用神经元的激活函数计算出的。
[0008]ANN的输入与输出之间的关系一般来说是由ANN模型定义的，所述ANN模型包含表示网络中的神经元的连接性的数据，以及每个神经元的偏置、激活函数和突触权重。基于给定ANN模型，计算装置可被配置成根据到网络的给定的一组输入计算网络的输出。
[0009]举例来说，可基于相机输入产生发到ANN网络的输入；且来自ANN网络的输出可为例如事件或物件等项目的识别。
[0010]一般来说，可使用监督方法来训练ANN，其中调整ANN中的参数以最小化或减少与相应输入相关联或由相应输入产生的已知输出与经由将输入应用于ANN而生成的所计算输出之间的误差。监督学习/训练方法的实例包含强化学习和具有误差校正的学习。
[0011]替代地或组合地，可以使用非监督方法来训练ANN，其中由给定的一组输入产生的确切输出在所述训练完成之前是未知的。可以训练ANN，以将项目分类成多个类别，或将数据点分类成群集。
[0012]可以将多个训练算法用于复杂机器学习/训练范例。
[0013]深度学习使用机器学习的多个层以从输入数据逐渐地提取特征。举例来说，较低层可配置成识别图像中的边缘；且较高层可配置成基于使用较低层检测到的边缘识别图像
中所捕获的项目，例如人脸、物件、事件等。深度学习可经由人工神经网络(ANN)实施，例如深度神经网络、深度信念网络、递归神经网络和/或卷积神经网络。
[0014]深度学习已应用于许多应用领域，例如计算机视觉、语音/音频辨识、自然语言处理、机器翻译、生物信息学、药物设计、医疗图像处理、游戏等。
附图说明
[0015]在附图的图式中作为实例而非限制示出实施例，在附图中，相同的参考标号指示类似元件。
[0016]图1展示根据一个实施例的具有经配置的深度学习加速器和随机存取存储器的集成电路装置。
[0017]图2示出根据一个实施例的配置成执行矩阵
‑
矩阵操作的处理单元。
[0018]图3展示根据一个实施例的配置成执行矩阵
‑
向量操作的处理单元。
[0019]图4展示根据一个实施例的配置成执行向量
‑
向量操作的处理单元。
[0020]图5示出根据一个实施例的配置成自主地应用到经训练人工神经网络的输入的深度学习加速器和随机存取存储器。
[0021]图6至8示出根据一些实施例的具有经配置的深度学习加速器和随机存取存储器的数码相机。
[0022]图9示出根据一个实施例的实施于数码相机中的方法。
具体实施方式
[0023]本文所公开的至少一些实施例提供数码相机，其具有配置成用较少能量消耗和计算时间执行人工神经网络(ANN)的计算的通用集成电路。集成电路包含深度学习加速器(DLA)和随机存取存储器。数码相机中产生的图像数据大体上由数码相机中实施的人工神经网络消耗，以产生体积比图像数据小的智能输出。因此，可减小对存储由数码相机产生的图像数据的容量的要求和/或对数码相机与使用数码相机的计算系统之间的通信带宽的要求。举例来说，可训练人工神经网络(ANN)以输出特定应用程序中所关注的所辨识事件、图案、特征或分类。所述输出可存储在数码相机的随机存取存储器中、用于产生从数码相机传输到独立计算系统的警告和/或用于选择性地保留和/或传输数码相机中产生的图像数据。
[0024]深度学习加速器(DLA)包含一组通用可编程硬件计算逻辑，其经专门化和/或优化以执行并行向量和/或矩阵计算，包含但不限于向量和/或者矩阵的相乘和累加。
[0025]此外，深度学习加速器(DLA)可包含一或多个算术逻辑单元(ALU)以对整数二进制数执行算术和逐位运算。
[0026]深度学习加速器(DLA)可经由一组指令进行编程，以执行人工神经网络(ANN)的计算。
[0027]对向量和矩阵运算的深度学习加速器(DLA)的粒度对应于可在由深度学习加速器(DLA)执行一个指令期间对其进行操作的向量/矩阵的最大单元。在对向量/矩阵操作数执行预定义操作的指令期间，深度学习加速器(DLA)可以并行操作向量/矩阵操作数的元素，以减少与存储器/数据存取相关联的执行时间和/或能量消耗。对深度学习加速器(DLA)的粒度的向量/矩阵操作数的操作可用作构建块以对较大大小的向量/矩阵实施计算。
[0028]典型/实际人工神经网络(ANN)的实施涉及具有大于深度学习加速器(DLA)的操作粒度的大小的向量/矩阵操作数。为了使用深度学习加速器(DLA)实施此类人工神经网络(ANN)，涉及较大大小的向量/矩阵操作数的计算可分解为深度学习加速器(DLA)的粒度的向量/矩阵操作数的计算。深度学习加速器(DLA)可以通过指令进行编程，以执行涉及大型向量/矩阵操作数的计算。举例来说，在响应于指令而操控深度学习加速器(DLA)的粒度的向量和矩阵时的深度学习加速器(DLA)的原子计算能力可经编程以在人工神经网络(ANN)中实施计算。
[0029]在一些实施方案中，深度学习加速器(DLA)不具有典型中央处理单元(CPU)的一些逻辑运算能力。然而，深度学习加速器(DLA)可配置有充足逻辑单元以处理提供到人工神经网络(ANN)的输入数据且根据针对深度学习加速器(DLA)产生的一组指令产生人工神经网络(ANN)的输出。因此，深度学习加速器(DLA)可在中央处理单元(CPU)或另一处理器的极少帮助或无帮助的本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种装置，其包括：图像传感器，其配置成产生所述装置的视场的图像数据；至少一个处理单元，其配置成执行具有矩阵操作数的指令；随机存取存储器，其配置成存储表示人工神经网络的权重的第一数据且存储表示指令的第二数据，所述指令能够由所述至少一个处理单元执行以使用表示所述人工神经网络的所述权重的所述第一数据实施所述人工神经网络的矩阵计算；收发器，其配置成与计算机系统通信，所述计算机系统与所述装置分离；以及控制器，其与所述收发器、所述传感器和所述随机存取存储器耦合，其中所述控制器配置成将所述图像数据写入到所述随机存取存储器作为到所述人工神经网络的输入；其中所述至少一个处理单元进一步配置成执行由存储于所述随机存取存储器中的所述第二数据表示的所述指令，以至少部分地基于存储于所述随机存取存储器中的所述第一数据和所述图像数据产生所述人工神经网络的输出；且其中所述控制器进一步配置成基于所述人工神经网络的所述输出提供表示在所述图像数据中捕捉的项目或事件的描述的第三数据，且控制所述收发器将表示所述描述的所述第三数据提供到所述计算机系统。2.根据权利要求1所述的装置，其中所述人工神经网络的所述输出包含物件、人或特征的识别、分类或类别以及所述物件、人或特征的位置和大小；并且所述描述是基于所述识别、分类或类别，且基于所述位置和大小。3.根据权利要求2所述的装置，其中所述人工神经网络的所述输出包含与所述物件、人或特征相关联的事件的识别；并且所述描述包含所述事件的所述识别。4.根据权利要求3所述的装置，其中所述控制器进一步配置成控制所述收发器向所述计算机系统提供基于所述人工神经网络的所述输出提取的所述物件、人或特征的代表性图像。5.根据权利要求4所述的装置，其中所述控制器配置成使所述收发器将所述描述和所述代表性图像一起传送到所述计算机系统。6.根据权利要求4所述的装置，其中所述控制器配置成使所述收发器响应于来自所述计算机系统的关于所述描述的请求而将所述代表性图像传送到所述计算机系统。7.根据权利要求4所述的装置，其中所述控制器配置成基于所述人工神经网络的所述输出选择性地存储图像数据以用于传输到所述计算机系统。8.根据权利要求7所述的装置，其进一步包括：实施深度学习加速器的现场可编程门阵列(FPGA)或专用集成电路(ASIC)的集成电路裸片，所述深度学习加速器包括所述至少一个处理单元以及控制单元，所述控制单元配置成从所述随机存取存储器加载所述指令以用于执行。9.根据权利要求8所述的装置，其中所述控制单元包含所述控制器。10.根据权利要求8所述的装置，其进一步包括：集成电路封装，其配置成至少围封FPGA或ASIC的所述集成电路裸片和所述随机存取存储器的一或多个集成电路裸片；以及其中所述图像传感器中的电路使用硅穿孔(TSV)连接到所述随机存取存储器的所述一或多个集成电路裸片。
11.根据权利要求10所述的装置，其中所述至少一个处理单元包含配置成对指令的两个矩阵操作数进行操作的矩阵
‑
矩阵单元；其中所述矩阵
‑
矩阵单元包含配置成并行操作的多个矩阵
‑
向量单元；其中所述多个矩阵
‑
向量单元中的每一个包含配置成并行操作的多个向量
‑
【专利技术属性】
技术研发人员：P，
申请(专利权)人：美光科技公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。