使用神经网络进行图像感测和处理以跟踪感兴趣区域制造技术

在一个示例中，一种装置包括：图像传感器，其包括多个像素单元；帧缓冲器；以及传感器计算电路，该传感器计算电路被配置为：从该帧缓冲器接收包括第一激活像素和第一非激活像素的第一图像帧，该第一激活像素由基于第一编程数据选择的像素单元的第一子集生成；对该第一图像帧的第一像素子集执行图像处理操作，由此将该第一图像帧的第二像素子集从图像处理操作中排除，以生成处理输出；基于该处理输出，生成第二编程数据；并且将第二编程数据传输到图像传感器以选择像素单元的第二子集以生成第二图像帧的第二激活像素。二图像帧的第二激活像素。二图像帧的第二激活像素。

【技术实现步骤摘要】
【国外来华专利技术】使用神经网络进行图像感测和处理以跟踪感兴趣区域
[0001]相关申请
[0002]本专利申请要求标题为“EFFICIENT HARDWARE ACCELERATOR FOR SPARSE SENSOR”并且于2019年11月7日提交的美国临时专利申请序列号为62/932,067的优先权，其被转让给本申请的受让人，并为所有目的通过引用以其整体并入本文。
[0003]背景
[0004]典型的图像传感器包括像素单元阵列。每个像素单元可以包括光电二极管，以通过将光子转换成电荷(例如，电子或空穴)来感测光。在每个像素单元处转换的电荷可以被量化成数字像素值，并且可以从数字像素值的阵列生成图像。
[0005]可以处理由图像传感器生成的图像以支持不同的应用，诸如，例如虚拟现实(VR)应用、增强现实(AR)或混合现实(MR)应用。然后可以对图像执行图像处理操作以检测特定感兴趣对象及其在图像中的定位(location)。基于对象及其在图像中的定位的检测，VR/AR/MR应用可以生成和更新例如用于通过显示器向用户显示的虚拟图像数据、用于通过扬声器向用户输出的音频数据等，以向用户提供交互体验。
[0006]为了提高图像操作的空间和时间分辨率，图像传感器通常包括大量像素单元并以高帧速率生成图像。以高帧速率生成高分辨率图像帧，以及传输和处理这些高分辨率图像帧会导致图像传感器和图像处理操作的巨大功耗。此外，假定通常仅像素单元的一小部分接收来自感兴趣对象的光，在生成、传输和处理对于对象检测/跟踪操作无用的像素数据中浪费了大量的功率，这降低了图像感测和处理操作的总体效率。
[0007]概述
[0008]本公开涉及图像传感器。更具体地说，但不限于，本公开涉及执行稀疏图像感测和处理操作的技术。
[0009]在一个示例中，提供了一种装置。该装置包括图像传感器、帧缓冲器和传感器计算电路。图像传感器包括多个像素单元，图像传感器可通过编程数据来配置以选择像素单元的子集来生成激活像素(active pixel)。传感器计算电路被配置为：从帧缓冲器接收包括第一激活像素和第一非激活像素的第一图像帧，第一激活像素由基于第一编程数据选择的像素单元的第一子集生成，第一非激活像素对应于未被选择用于生成第一激活像素的像素单元的第二子集；对第一图像帧的第一像素子集执行图像处理操作，由此将第一图像帧的第二像素子集从图像处理操作中排除，以生成处理输出；基于处理输出，生成第二编程数据；以及将第二编程数据传输到图像传感器以选择像素单元的第二子集以生成第二图像帧的第二激活像素。
[0010]在一些方面，图像处理操作包括由神经网络模型进行的处理操作，以检测第一图像帧中的感兴趣对象。第一像素子集对应于感兴趣对象。
[0011]在一些方面，传感器计算电路与主机设备耦合，主机设备被配置为执行使用感兴趣对象的检测结果的应用。主机设备被配置为向传感器计算电路提供关于感兴趣对象的信息。
[0012]在一些方面，传感器计算电路包括：计算存储器，其被配置为存储：输入到神经网
络的神经网络层的输入数据、神经网络层的权重数据和神经网络层的中间输出数据；数据处理电路，其被配置为对输入数据和权重数据执行神经网络层的算术运算，以生成中间输出数据；以及计算控制器，其被配置为：从计算存储器中提取输入数据的第一子集和与输入数据的第一子集相对应的权重数据的第一子集，输入数据的第一子集与第一激活像素中的至少一些相对应；控制数据处理电路对输入数据的第一子集和权重数据的第一子集执行算术运算，以生成用于第一图像帧的中间输出数据的第一子集，中间输出数据的第一子集对应于输入数据的第一子集；将用于第一图像帧的中间输出数据的第一子集存储在计算存储器中；以及在计算存储器中存储用于第一图像帧的中间输出数据的第二子集的预定值，中间输出数据的第二子集对应于非激活像素。
[0013]在一些方面，基于在图像处理操作之前重置计算存储器来存储预定值。
[0014]在一些方面，计算控制器被配置为：从计算存储器提取输入数据；从所提取的输入数据中识别输入数据的第一子集；以及将所识别的输入数据的第一子集提供给计算控制器。
[0015]在一些方面，计算控制器被配置为：确定存储输入数据的第一子集的计算存储器的地址区域；并从计算存储器中提取输入数据的第一子集。
[0016]在一些方面，地址区域是基于以下中的至少一个来确定的：第一编程数据，或关于神经网络模型的神经网络层之间的连接性的信息。
[0017]在某些方面，第一激活像素包括静态像素和非静态像素；静态像素对应于第一激活像素的第一子集，对于第一激活像素的第一子集，第一图像帧和先前图像帧之间的像素值的变化程度高于变化阈值；非静态像素对应于第一激活像素的第二子集，对于第一激活像素的第二子集，第一图像帧与先前图像帧之间的像素值的变化程度低于变化阈值；以及计算控制器被配置为提取与第一激活像素的非静态像素相对应的输入数据的第一子集。
[0018]在一些方面，预定值是第一预定值。帧缓冲器被配置为存储静态像素中的每个静态像素的第二预定值，以发信号表示静态像素。计算控制器被配置为基于检测到静态像素具有第二预定值而将静态像素从数据处理电路中排除。
[0019]在一些方面，帧缓冲器被配置为基于确定像素在阈值数目的帧中的变化程度低于变化阈值来存储像素的第二预定值。
[0020]在一些方面，帧缓冲器被配置为基于具有时间常数的泄漏积分器函数(leaky integrator function)，并基于像素上次经历的变化程度大于变化阈值的时间，来设置更新像素的像素值。
[0021]在一些方面，计算控制器被配置为：基于神经网络模型的拓扑，确定指示非静态像素中的变化如何传播通过神经网络模型的不同神经网络层的数据变化传播图(map)；基于数据变化传播图，确定计算存储器的第一地址区域以提取输入数据的第一子集，并且确定计算存储器的第二地址区域以存储中间输出数据的第一子集；从第一地址区域提取输入数据的第一子集；以及将中间输出数据的第一子集存储在第二地址区域。
[0022]在一些方面，计算控制器被配置为：基于神经网络模型的深度和神经网络模型的每个神经网络层处的量化精度来确定变化阈值。
[0023]在一些方面，变化阈值是第一变化阈值。计算控制器被配置为：跟踪第一激活像素的像素值在两个非连续帧之间的变化程度；和基于超过第二变化阈值的变化程度，将第一
激活像素的第三子集确定为非静态像素。
[0024]在一些方面，图像传感器在第一半导体衬底中实现。帧缓冲器和传感器计算电路在一个或更多个第二半导体衬底中实现。第一半导体衬底和一个或更多个第二半导体衬底形成堆叠并容纳在单个半导体封装中。
[0025]在一些示例中，提供了一种方法。该方法包括：向包括多个像素单元的图像传感器传输第一编程数据，以选择像素单元的第一子集以生成第一激活像素；从帧缓冲器接收包括第一激活像素和第一非激活像素的第一图像帧，第一非激活像素对应于未被选择用于生成第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种装置，包括：包括多个像素单元的图像传感器，所述图像传感器能够通过编程数据来配置以选择所述像素单元的子集以生成激活像素；帧缓冲器；和传感器计算电路，所述传感器计算电路被配置为：从所述帧缓冲器接收包括第一激活像素和第一非激活像素的第一图像帧，所述第一激活像素由基于所述第一编程数据选择的像素单元的第一子集生成，所述第一非激活像素对应于未被选择用于生成所述第一激活像素的像素单元的第二子集；对所述第一图像帧的第一像素子集执行图像处理操作，由此将所述第一图像帧的第二像素子集从所述图像处理操作中排除，以生成处理输出；基于所述处理输出，生成第二编程数据；和将所述第二编程数据传输到所述图像传感器以选择所述像素单元的第二子集以生成用于第二图像帧的第二激活像素。2.根据权利要求1所述的装置，其中，所述图像处理操作包括由神经网络模型进行的处理操作，以检测所述第一图像帧中的感兴趣对象；和其中所述第一像素子集对应于所述感兴趣对象。3.根据权利要求2所述的装置，其中，所述传感器计算电路与主机设备相耦合，所述主机设备被配置为执行使用所述感兴趣对象的检测结果的应用；和其中，所述传感器计算电路被配置为从所述主机设备接收关于所述感兴趣对象的信息。4.根据权利要求2所述的装置，其中，所述传感器计算电路包括：计算存储器，所述计算存储器被配置为存储：到所述神经网络的神经网络层的输入数据、所述神经网络层的权重数据和所述神经网络层的中间输出数据；数据处理电路，所述数据处理电路被配置为对所述输入数据和所述权重数据执行所述神经网络层的算术运算，以生成所述中间输出数据；和计算控制器，所述计算控制器配置为：从所述计算存储器中提取所述输入数据的第一子集和与所述输入数据的第一子集相对应的所述权重数据的第一子集，所述输入数据的第一子集与所述第一激活像素中的至少一些相对应；控制所述数据处理电路对所述输入数据的第一子集和所述权重数据的第一子集执行算术运算，以生成用于所述第一图像帧的所述中间输出数据的第一子集，所述中间输出数据的第一子集对应于所述输入数据的第一子集；将用于所述第一图像帧的所述中间输出数据的第一子集存储在所述计算存储器中；和在所述计算存储器中存储用于所述第一图像帧的所述中间输出数据的第二子集的预定值，所述中间输出数据的第二子集对应于非激活像素。5.根据权利要求4所述的装置，其中，基于在所述图像处理操作之前重置所述计算存储器来存储所述预定值。6.根据权利要求4所述的装置，其中，所述计算控制器被配置为：从所述计算存储器中提取所述输入数据；
从所提取的输入数据中识别所述输入数据的第一子集；和将所识别的所述输入数据的第一子集提供给所述计算控制器。7.根据权利要求4所述的装置，其中，所述计算控制器被配置为：确定所述计算存储器的存储所述输入数据的第一子集的地址区域；和从所述计算存储器中提取所述输入数据的第一子集。8.根据权利要求7所述的装置，其中，所述地址区域是基于所述第一编程数据或关于所述神经网络模型的神经网络层之间的连接性的信息中的至少一个来确定的。9.根据权利要求4所述的装置，其中：所述第一激活像素包括静态像素和非静态像素；所述静态像素对应于所述第一激活像素的第一子集，对于所述第一激活像素的第一子集，所述第一图像帧和先前图像帧之间的像素值的变化程度高于变化阈值；所述非静态像素对应于所述第一激活像素的第二子集，对于所述第一激活像素的第二子集，所述第一图像帧与先前图像帧之间的像素值的变化程度低于所述变化阈值；和所述计算控制器被配置为提取与所述第一激活像素的非静态像素相对应的所述输入数据的第一子集。10.根据权利要求9所述的装置，其中，所述预定值是第一预定值；其中，所述帧缓冲器被配置为存储所述静态像素中的每个静态像素的第二预定值，以发信号表示所述静态像素；和其中，所述计算控制器被配置为：基于检测到所述静态像素具有所述第二预定值...

【专利技术属性】
技术研发人员：安德鲁，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：