描述了与深度学习加速器和存储器相关的系统、装置和方法。举例来说，一种可移除式媒体(例如，存储卡或USB驱动器)可配置成执行具有矩阵操作数的指令，且配置有：接口，其用以接收视频流；以及随机存取存储器，其用以缓冲所述视频流的一部分作为到人工神经网络的输入，且存储可由所述深度学习加速器执行的指令和所述人工神经网络的矩阵。此类可移除式媒体可用于代替监控摄像头中使用的现有可移除式媒体以记录视频或图像。所述深度学习加速器可执行指令以使用所述人工神经网络产生对所述经缓冲部分的分析，从而使得经由使用所述可移除式媒体升级的所述监控摄像头能够基于所述分析提供智能服务。提供智能服务。提供智能服务。
【技术实现步骤摘要】
【国外来华专利技术】经由具有深度学习加速器和随机存取存储器的可移除式媒体的监控摄像头升级
[0001]相关申请
[0002]本申请案要求2020年6月19日申请的且标题为“经由具有深度学习加速器和随机存取存储器的可移除式媒体的监控摄像头升级(Surveillance Camera Upgrade via Removable Media having Deep Learning Accelerator and Random Access Memory)”的第16/906,253号美国专利申请的优先权，其全部公开内容特此以引用的方式并入本文中。
[0003]本文所公开的至少一些实施例大体上涉及监控摄像头，且更具体地但不限于由人工神经网络(ANN)供电的智能监控摄像头，所述人工神经网络例如通过机器学习和/或深度学习配置的ANN。
技术介绍
[0004]人工神经网络(ANN)使用神经元网络来处理到网络的输入，且产生来自网络的输出。
[0005]举例来说，网络中的每一神经元接收一组输入。到神经元的一些输入可以是网络中的某些神经元的输出；且到神经元的一些输入可以是提供给神经网络的输入。网络中的神经元当中的输入/输出关系表示网络中的神经元连接性。
[0006]举例来说，每一神经元可分别针对其输入具有偏置、激活函数和一组突触权重。激活函数可呈阶跃函数、线性函数、对数S型(log
‑
sigmoid)函数等形式。网络中的不同神经元可具有不同激活函数。
[0007]举例来说，每一神经元可产生其输入和其偏置的加权和，且随后产生为加权和的函数的输出，所述输出是使用神经元的激活函数计算的。
[0008]ANN的输入与输出之间的关系一般来说是由ANN模型定义的，所述ANN模型包含表示网络中的神经元的连接性的数据，以及每个神经元的偏置、激活函数和突触权重。基于给定ANN模型，计算装置可配置成根据到网络的一组给定输入计算网络的输出。
[0009]举例来说，可基于摄像头输入产生到ANN网络的输入；且来自ANN网络的输出可为例如事件或物件等项目的识别。
[0010]一般来说，可使用监督方法来训练ANN，其中调整ANN中的参数以最小化或减少与相应输入相关联或由相应输入产生的已知输出与通过将输入应用于ANN而产生的所计算输出之间的误差。监督学习/训练方法的实例包含强化学习和具有误差校正的学习。
[0011]替代地或组合地，可以使用非监督方法来训练ANN，其中由给定的一组输入产生的确切输出在所述训练完成之前是未知的。可以训练ANN，以将项目分类成多个类别，或将数据点分类成群集。
[0012]可以将多个训练算法用于复杂机器学习/训练范例。
[0013]深度学习使用机器学习的多层以从输入数据逐渐地提取特征。举例来说，较低层
可配置成识别图像中的边缘；且较高层可配置成基于使用较低层检测到的边缘识别图像中所捕获的项目，例如人脸、物件、事件等。深度学习可经由人工神经网络(ANN)实施，例如深度神经网络、深度信念网络、递归神经网络和/或卷积神经网络。
[0014]深度学习已应用于许多应用领域，例如计算机视觉、语音/音频辨识、自然语言处理、机器翻译、生物信息学、药物设计、医疗图像处理、游戏等。
附图说明
[0015]在附图的图式中作为实例而非限制示出实施例，在附图中，相同的参考标号指示类似元件。
[0016]图1示出根据一个实施例的具有经配置的深度学习加速器和随机存取存储器的集成电路装置。
[0017]图2示出根据一个实施例的配置成执行矩阵
‑
矩阵操作的处理单元。
[0018]图3示出根据一个实施例的配置成执行矩阵
‑
向量操作的处理单元。
[0019]图4示出根据一个实施例的配置成执行向量
‑
向量操作的处理单元。
[0020]图5示出根据一个实施例的配置成自主地应用到经训练人工神经网络的输入的深度学习加速器和随机存取存储器。
[0021]图6示出根据一个实施例的使用可移除式媒体升级监控摄像头的技术。
[0022]图7至9示出根据一些实施例的具有经配置的深度学习加速器和随机存取存储器的可移除式媒体。
[0023]图10示出根据一个实施例的实施于监控摄像头中的方法。
具体实施方式
[0024]本文所公开的至少一些实施例提供可移除式媒体，其具有配置成用较少能量消耗和计算时间执行人工神经网络(ANN)的计算的通用集成电路。集成电路包含深度学习加速器(DLA)和随机存取存储器。此类可移除式媒体可作为替代存储装置插入到监控摄像头中。将可移除式媒体插入到监控摄像头中进一步升级监控摄像头以包含根据人工神经网络(ANN)使用集成电路产生视频分析的能力。
[0025]举例来说，可通过人工神经网络分析存储到可移除式媒体中的输入视频数据以产生分析和/或推断结果。分析和/或推断结果可用于由视频编码器执行的视频压缩。具有小于输入视频数据的大小的经压缩视频可作为输入视频数据的替代物存储在可移除式媒体中，且可经检索以回放视频以供演示，所述演示大体上相同于输入视频数据的回放。
[0026]替代地或组合地，分析和/或推断结果可用于产生体积比视频数据小的智能输出。举例来说，可训练人工神经网络(ANN)以输出特定监控应用程序中所关注的所辨识事件、图案、特征或分类。输出可存储在可移除式媒体中、用于产生警告、从监控摄像头传输到独立计算系统和/或用于选择性地保留和/或传输监控摄像头中产生的视频数据。
[0027]深度学习加速器(DLA)包含一组通用可编程硬件计算逻辑，其经专门化和/或优化以执行并行向量和/或矩阵计算，包含但不限于向量和/或者矩阵的相乘和累加。
[0028]此外，深度学习加速器(DLA)可包含一或多个算术逻辑单元(ALU)以对整数二进制数执行算术和逐位运算。
[0029]深度学习加速器(DLA)可经由一组指令进行编程，以执行人工神经网络(ANN)的计算。
[0030]对向量和矩阵运算的深度学习加速器(DLA)的粒度对应于可在由深度学习加速器(DLA)执行一个指令期间对其进行操作的向量/矩阵的最大单元。在对向量/矩阵操作数执行预定义操作的指令期间，深度学习加速器(DLA)可以并行操作向量/矩阵操作数的元素，以减少与存储器/数据存取相关联的执行时间和/或能量消耗。对深度学习加速器(DLA)的粒度的向量/矩阵操作数的操作可用作构建块以对较大大小的向量/矩阵实施计算。
[0031]典型/实际人工神经网络(ANN)的实施涉及具有大于深度学习加速器(DLA)的操作粒度的大小的向量/矩阵操作数。为了使用深度学习加速器(DLA)实施此类人工神经网络(ANN)，涉及较大大小的向量/矩阵操作数的计算可分解为深度学习加速器(DLA)的粒度的向量/矩阵操作数的计算。深度学习加速器(DLA)可以通过指令进行编程，以执行涉及大型向量/矩阵操作数的计算。举例来本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种装置，其包括：随机存取存储器，其配置成存储表示人工神经网络的权重的第一数据且存储表示具有矩阵操作数的指令的第二数据，所述指令能够执行以使用表示所述人工神经网络的所述权重的所述第一数据实施所述人工神经网络的矩阵计算；主机接口，其配置成将所述装置作为可移除式存储媒体呈现给监控摄像头，其中所述监控摄像头配置成经由所述主机接口将表示视频流的一部分的第三数据写入到所述随机存取存储器中；以及至少一个处理单元，其与所述随机存取存储器耦合且配置成执行所述指令以至少部分地基于存储于所述随机存取存储器中的所述第一数据和所述第三数据而产生视频分析作为所述人工神经网络的输出；其中所述装置配置成基于所述视频分析将输入数据提供到连接到所述监控摄像头的计算机系统。2.根据权利要求1所述的装置，其进一步包括：视频编码器，其耦合到所述随机存取存储器且配置成基于所述视频流的所述部分和所述视频分析产生经压缩视频；其中所述装置进一步配置成存储所述经压缩视频作为所述视频流的所述部分的替代物。3.根据权利要求2所述的装置，其中所述视频分析包含像素概率模型、图片内预测、图片间预测、跨通道预测或概率分布预测、变换、环路后滤波、环路内滤波、下采样、上采样或编码优化或其任何组合的识别。4.根据权利要求3所述的装置，其中所述视频分析进一步包含物件、人或特征的识别、分类或类别，以及所述物件、人或特征的位置和大小；且所述视频编码器配置成基于所述识别、分类或类别且基于所述位置和大小使用对所述经压缩视频中的内容的描述来对所述经压缩视频进行注释。5.根据权利要求4所述的装置，其中所述视频编码器配置成基于所述视频分析从所述视频流的所述部分提取表示所述物件、人或特征的图像或片段，且根据从所述视频流的所述部分提取的所述图像或片段构建所述经压缩视频。6.根据权利要求4所述的装置，其中到所述计算机系统的所述输入数据包含对所述经压缩视频中的所述内容的所述描述。7.根据权利要求4所述的装置，其中所述装置被配置为呈固态硬盘、存储卡、网络存储装置或通用串行总线(USB)驱动器形式的可移除式存储媒体。8.根据权利要求7所述的装置，其中所述主机接口配置成根据存储卡接口、通用串行总线(USB)、外围组件互连(PCI)总线、PCI高速(PCIe)总线、外围总线、局域网、移动行业处理器接口(MIPI)、无线个域网、无线局域网或物联网(IoT)或其任何组合的协议通信。9.根据权利要求7所述的装置，其中所述视频分析针对所述视频流的所述部分而产生且用以在其中在所述主机接口中接收到所述视频流的另一部分的时间周期期间压缩所述部分；且所述视频流的压缩在所述视频流从所述监控摄像头流式传输到所述主机接口期间即时执行。10.根据权利要求9所述的装置，其进一步包括：
控制器，其耦合到所述随机存取存储器和所述主机接口，其中所述视频编码器的至少一部分经由执行指令的所述控制器实施。11.根据权利要求9所述的装置，其进一步包括：实施深度学习加速器的现场可编程门阵列(FPGA)或专用集成电路(ASIC)的集成电路裸片，所述深度学习加速器包括所述至少一个处理单元以及控制单元，所述控制单元配置成从所述随机存取存储器加载所述指令以用于执行。12.根据权利要求11所述的装置，其中所述至少一个处理单元包含配置成对指令的两个矩阵操作数进行操作的矩阵
‑
矩阵单元；其中所述矩阵
‑
矩阵单元包含配置成并行操作的多个矩阵
‑
向量单元；其中所述多个矩阵
‑
【专利技术属性】
技术研发人员：P，
申请(专利权)人：美光科技公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。