【技术实现步骤摘要】
与图像传感器堆叠的神经形态存储器和推断引擎
[0001]本文公开的至少一些实施例大体上涉及图像感测装置，且更具体地但不限于，与存储器装置堆叠的图像传感器，其使用推断引擎来减少到主机系统的数据传输。
技术介绍
[0002]自主驾驶
的最新发展允许计算系统至少在一些条件下操作机动车辆的控制元件而无需车辆的人类操作者的辅助。
[0003]例如，传感器(例如，相机和雷达)可安装在机动车辆上以检测在车道上行驶的车辆的周围环境的条件。在具有或不具有来自车辆的人类操作者的任何输入的情况下，安装在车辆上的计算系统分析传感器输入以识别条件并且生成用于车辆的方向和/或速度的自主调整的控制信号或命令。
[0004]在一些布置中，当计算系统辨识出其中计算系统可能无法继续以安全方式操作车辆的情境时，计算系统对车辆的人类操作者发出警报并且请求人类操作者接管对车辆的控制并进行手动驾驶，而不是让计算系统自主驾驶车辆。
[0005]自主驾驶和/或高级驾驶员辅助系统(ADAS)可以使用用于识别在传感器输入中所捕获的事件和/或对象的...
【技术保护点】
【技术特征摘要】
1.一种系统，其包括：图像传感器，其被配置成生成图像数据；存储器装置，其被配置成存储所生成的图像数据；以及主机接口，其被配置成与主机系统通信；其中所述存储器装置与所述图像传感器堆叠，且所述存储器装置包括推断引擎，所述推断引擎被配置成使用所存储的图像数据作为到人工神经网络ANN的输入而生成推断结果；其中所述推断引擎包含神经网络加速器，所述神经网络加速器被配置成对存储于所述存储器装置中的数据执行矩阵算术计算；并且其中所述主机接口进一步被配置成将所述推断结果发送到所述主机系统以供处理。2.根据权利要求1所述的系统，其中所述存储器装置是神经形态存储器装置，并且所述神经网络加速器包含忆阻器纵横阵列，所述忆阻器纵横阵列被配置成执行所述矩阵算术计算。3.根据权利要求2所述的系统，其中所述矩阵算术计算包含矩阵乘法和累加运算。4.根据权利要求2所述的系统，其中将所述所存储的图像数据输入到所述忆阻器纵横阵列。5.根据权利要求1所述的系统，其中所述忆阻器纵横阵列包括忆阻器，并且每一忆阻器连接在字线与位线之间。6.根据权利要求5所述的系统，其中：所述忆阻器纵横阵列的位线中的电流对应于所述ANN中神经元的权重和响应的乘积之和；所述神经元经由所述忆阻器纵横阵列中的所述忆阻器的经编程电阻来实施；并且所述忆阻器纵横阵列的字线的电压表示到所述神经元的输入。7.根据权利要求6所述的系统，其中所述忆阻器纵横阵列通过将所述字线上的所述电压转换成所述位线上的电流而执行乘法和累加MAC运算。8.根据权利要求1所述的系统，其中所述ANN包括尖峰神经网络SNN。9.根据权利要求1所述的系统，其中所述存储器装置是电阻式随机存取存储器RRAM。10.一种系统，其包括：第一相机，其被配置成生成第一图像流，其中所述第一相机包括第一推断引擎，所述第一推断引擎被配置成使用所述第一图像流作为到第一人工神经网络ANN的第一部分的输入而生成第一中间结果；第二相机，其被配置成生成第二图像流，其中所述第二相机包括第二推断引擎，所述第二推断引擎被配置成使用所述第二图像流作为到第二人工神经网络ANN的第一部分的输入而生成第二中间结果；处理装置或逻辑电路，其被配置成与所述第一相机和所述第二相机通信；以及主机接口，其将推断结果传送到主机系统；其中所述第一相机进一步包括将所述第一中间结果传送到所述第二相机的接口；其中所述第二相机进一步包括将所述第二中间结果传送到所述第一相机的接口；其中所述第一推断引擎使用所述第一中间结果和所述第二中间结果作为到所述第一ANN的第二
部分的输入以生成第一最终结果；其中所述第二推断引擎使用所述第一中间结果和所述第二中间结果作为到所述第二ANN的第二部分的输入以生成第二最终结果；并且其中所述处理装置或逻辑电路进一步被配置成：确定所述第一最终结果是否与所述第二最终结果匹配；以及响应于确定所述第一最终结果与所述第二最终结果匹配，经由所述主机接口将输出传送到所述主机系统以供处理，其中所述输出基于所述第一最终结果或所述第二最终结果中的至少一者。11....
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。