智能图像传感器堆叠制造技术

一种在单个集成电路封装中的集成电路装置，其具有图像传感器、存储器和推断引擎，所述推断引擎被配置成将由所述图像传感器产生的图像转换成用于传输到主机系统以进一步分析的推断结果，和/或产生在所述相机接口中提供的更有效图像流。由所述推断引擎提供的智能可减少或消除在典型情境期间传输到所述主机系统以供处理的图像数据的量。所述推断结果可自动存储在可由所述主机系统作为固态驱动器存取(例如，使用NVMe协议)的所述存储器中。任选地，所述集成电路装置可具有到外部SSD的接口。例如，作为SSD和/或所述外部SSD的所述集成电路装置可被配置为自主车辆的黑匣子数据记录器。器。器。

【技术实现步骤摘要】
【国外来华专利技术】智能图像传感器堆叠
[0001]相关申请
[0002]本申请主张于2020年10月19日提交的且标题为“智能图像传感器堆叠(Intelligent Image Sensor Stack)”的第17/074,410号美国专利申请以及2019年11月13日提交的且标题为“智能图像传感器堆叠(Intelligent Image Sensor Stack)”第62/934,635号临时美国专利申请的申请日期的优先权和权益，所述美国专利申请和所述临时美国专利申请的全部公开内容以引用的方式并入本文中。


[0003]本文所公开的至少一些实施例大体上涉及用于图像感测的集成电路，并且更具体地，但不限于具有处理逻辑的智能图像传感器。

技术介绍

[0004]自动驾驶
的最新发展允许计算系统至少在一些状况下操作机动车辆的控制元件而无需车辆的人类操作者的辅助。
[0005]例如，传感器(例如，相机和雷达)可安设在机动车上以检测在车道上行进的车辆的周围环境的条件。在具有或不具有来自车辆的人类操作员的任何输入的情况下，安装在车辆上的计算系统分析传感器输入以识别条件且产生用于车辆的方向和/或速度的自主调整的控制信号或命令。
[0006]在一些布置中，当计算系统识别出其中计算系统可能无法继续以安全方式操作车辆的情境时，计算系统向车辆的操作人员发出警报并且请求操作人员接管对车辆的控制并进行手动驾驶，而不是让计算系统自主驾驶车辆。
[0007]自主驾驶和/或高级驾驶辅助系统(ADAS)可以使用用于识别在传感器输入中所捕获的事件和/或对象的人工神经网络(ANN)。传感器输入的实例包含来自数码相机、光达、雷达、超声声纳等的图像。
[0008]一般来说，人工神经网络(ANN)使用神经元网络处理所述网络的输入并产生所述网络的输出。
[0009]例如，网络中的每一神经元接收一组输入。到神经元的输入中的一些可以是网络中的某些神经元的输出；并且到神经元的输入中的一些可以是提供到神经网络的输入。网络中的神经元当中的输入/输出关系表示网络中的神经元连接性。
[0010]例如，每一神经元可分别针对其输入具有偏置、激活函数和一组突触权重。激活函数可以呈阶跃函数、线性函数、对数S型(log
‑
sigmoid)函数等形式。网络中的不同神经元可以具有不同激活函数。
[0011]例如，每一神经元可产生其输入与其偏置的加权和，并且接着产生作为加权和的函数的输出，所述输出是使用神经元的激活函数计算出的。
[0012]ANN的输入与输出之间的关系一般来说由ANN模型限定，所述ANN模型包含表示网络中的神经元的连接性的数据，以及每一神经元的偏置、激活函数和突触权重。使用给定
ANN模型，计算装置根据到网络的给定一组输入来计算网络的输出。
[0013]例如，可基于相机输入产生发到ANN网络的输入；并且来自ANN网络的输出可为例如事件或对象等项目的识别。
[0014]脉冲神经网络(SNN)是一种紧密模仿自然神经网络的ANN类型。当神经元的激活电平足够高时，SNN神经元产生脉冲作为输出。SNN神经元的激活电平模仿自然神经元的膜电位。SNN神经元的输出/脉冲可改变接收输出的其它神经元的激活电平。作为时间的函数的SNN神经元的当前激活电平通常使用微分方程来模型化且视为SNN神经元的状态。来自其它神经元的传入脉冲可将所述神经元的激活电平推得更高，以达到产生脉冲的阈值。一旦所述神经元产生尖峰，其激活电平就复位。在产生脉冲之前，SNN神经元的激活电平可随时间推移而衰减，如由微分方程所控制。SNN神经元的行为中的时间元素使得SNN适合于处理时空数据。SNN的连接性通常是稀疏的，这有利于减少计算工作负载。
[0015]一般来说，可以使用监督方法来训练ANN，其中调整ANN中的参数以最小化或减少由相应输入产生的已知输出与通过将输入应用于ANN而产生的计算出的输出之间的误差。监督学习/训练方法的实例包含强化学习，和具有误差校正的学习。
[0016]替代地或组合地，可使用无监督方法来训练ANN，其中由给定一组输入产生的精确输出在训练完成之前是未知的。可训练ANN将项分类成多个类别，或将数据点分类成集群。
[0017]可以采用多种训练算法用于复杂的机器学习/训练范例。
附图说明
[0018]实施例是借助于实例而非限制在附图的图中来说明的，在附图中相似参考指示类似元件。
[0019]图1示出根据一个实施例的具有图像传感器、图像信号处理电路和随机存取存储器的集成电路装置。
[0020]图2示出根据一个实施例的具有图像传感器和人工智能(AI)引擎的集成电路装置。
[0021]图3示出根据一个实施例的具有堆叠在图像传感器与人工智能(AI)引擎之间的存储器的集成电路装置。
[0022]图4示出根据一个实施例的具有图像传感器的固态驱动器集成电路装置。
[0023]图5示出根据一个实施例的具有固态数据驱动器接口和相机接口的集成电路装置。
[0024]图6示出根据一个实施例的具有相机接口和接入固态驱动器的接口的集成电路装置。
[0025]图7示出根据一个实施例的连接到主机系统的集成图像感测装置。
[0026]图8示出根据一些实施例的具有被配置成收集和处理传感器数据的车辆的系统。
[0027]图9示出根据一个实施例的自主车辆。
[0028]图10
‑
12示出了根据一些实施例的用于预测的人工神经网络的训练。
[0029]图13示出根据一个实施例的具有神经网络加速器的集成图像感测装置。
[0030]图14示出根据一个实施例的用以加速神经网络计算的存储器组件。
[0031]图15示出根据一个实施例的被配置成支持神经网络计算的存储器容量。
[0032]图16示出了根据一个实施例的用于人工神经网络(ANN)模型的存储器区的配置。
[0033]图17示出了根据一个实施例的用于人工神经元的输入的存储器区的配置。
[0034]图18示出了根据一个实施例的用于人工神经元的输出的存储器区的配置。
[0035]图19示出根据一个实施例的主机系统与集成图像感测装置之间的通信。
[0036]图20示出根据一个实施例的集成图像感测装置内的通信。
具体实施方式
[0037]本文所公开的至少一些实施例提供集成电路装置，所述集成电路装置具有图像感测元件、存储器和处理逻辑电路，所述处理逻辑电路被配置成执行图像信号处理和/或用于人工智能(AI)计算。
[0038]图1示出根据一个实施例的集成电路(IC)装置(101)，其具有CMOS(互补型金属氧化物半导体)图像传感器(103)、图像信号处理(ISP)专用集成电路(ASIC)(105)以及动态随机存取存储器(DRAM)(107)。集成电路装置(101)的组件封装在单个集成电路封装内。
[0039]本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种集成电路装置，其包括：图像传感器；图像信号处理(ISP)专用集成电路(ASIC)；动态随机存取存储器(DRAM)；衬底，其具有所述ISP ASIC与所述DRAM之间的互连件；以及相机串行接口；其中所述ISP ASIC被配置成将中间图像处理数据存储在所述DRAM中，并且对于每一相应像素，基于所述像素周围的像素区段的中间图像处理数据产生图像数据；并且其中所述相机串行接口被配置成提供所述相应像素的所述图像数据。2.根据权利要求1所述的集成电路装置，其中所述ISP ASIC被配置成执行翘曲检测、翘曲校正、色彩校正、去模糊或降噪，或其任何组合。3.根据权利要求1所述的集成电路装置，其中所述ISP ASIC包括人工智能(AI)引擎，所述AI引擎被配置成从由所述图像传感器产生的第一图像流产生第二图像流；并且其中所述相机串行接口被配置成提供所述第二图像流。4.根据权利要求3所述的集成电路装置，其中所述AI引擎被配置成识别所述第一图像流中的图像的部分并且通过放大所述部分来产生所述第二图像流。5.根据权利要求4所述的集成电路装置，其中所述AI引擎进一步被配置成使用人工神经网络经由对象辨识来识别所述部分。6.根据权利要求3所述的集成电路装置，其中所述AI引擎进一步被配置成从所述第一图像流产生推断结果。7.根据权利要求6所述的集成电路装置，其进一步包括：主机接口，其被配置成接收读取命令以从所述DRAM检索所述推断结果。8.根据权利要求7所述的集成电路装置，其进一步包括：非易失性存储器，其被配置成存储所述推断结果。9.根据权利要求6所述的集成电路装置，其进一步包括：接口，其被配置成使用非易失性存储器表达(NVMe)协议与外部固态驱动器通信。10.根据权利要求9所述的集成电路装置，其中所述外部固态驱动器包含自主车辆的黑匣子数据记录器。11.一种固态驱动器，其具有根据权利要求6所述的集成电路，其中包括：非易失性存储器，其被...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：美光科技公司，
类型：发明
国别省市：