一种多处理器神经网络处理设备制造技术

本发明专利技术题为“一种多处理器神经网络处理设备”。多处理器神经网络处理设备包括：多个网络处理引擎，每个网络处理引擎用于根据网络配置来处理神经网络的一个或多个层。存储器至少临时存储网络处理引擎的网络配置信息、输入图像信息、中间图像信息和输出信息。网络处理引擎中的至少一者被配置为在否则空闲时识别要由另一目标网络处理引擎处理的配置信息和输入图像信息，并且使用该配置信息和输入图像信息复制该目标网络处理引擎的处理。该设备被配置为将由目标网络处理引擎输出的信息的至少一部分与由该网络处理引擎生成的对应信息进行比较，以确定目标网络处理引擎或该网络处理引擎是否正常工作。

A multiprocessor neural network processing equipment

【技术实现步骤摘要】
一种多处理器神经网络处理设备
本专利技术涉及一种用于多处理器神经网络处理设备的自测试系统。
技术介绍
图1示意性地示出了用于在车辆中使用的驱动器监测系统(DMS)的典型系统架构。此类系统10可包含主机CPU50，可能是双/四核处理器和系统存储器99，例如单通道或多通道LPDDR4存储器模块，诸如格拉茨技术大学(TechnischeUniversitatGraz)，信息技术研究所，BurimAliu于2012年5月的工学硕士论文“DesignandImplementationofaSelf-TestConceptforanIndustrialMulti-CoreMicrocontroller”中公开的。此类系统可还包括用于加速处理的协同处理模块18、30，并且这些可包括：通用硬件加速器30，诸如可编程神经网络引擎或各种数字信号处理(DSP)核心，例如，如在PCT申请PCT/EP2018/071046(Ref：FN-618-PCT)和Shibahara等人于2017年1月在《IEEEJournalOfSolid-StateCircuits》第52卷第1期上的文章“A16nmFinFETHeterogeneousNona-CoreSoCSupportingISO26262ASILBStandard”中分别公开的；或专用于特定功能加速的硬件引擎18，例如，诸如PCT专利申请WO2017/108222(Ref:FN-470-PCT)中所公开的面部检测，或诸如美国专利No.9,280,810(Ref：FN-384-CIP)中公开的图像失真校正，其公开内容通过引用并入本文。核心处理器50以及通用处理器30和专用处理器18直接从存储器99或者经由系统总线91从车辆周围布置的各种传感器接收信息，以便例如通过驾驶员显示器(未示出)控制或提供有关车辆的信息。在结合到车辆中之前，汽车系统通常必须遵守安全标准，诸如ISO26262中定义的汽车安全完整性等级(ASIL)A、B、C或D。ASIL–A是汽车行业中使用的最低安全级别，而ASIL–D是最高安全级别。用于确保处理加速器提供ASIL-D安全性的第一种很少使用的机制是冗余的。这里，多个处理加速器将各自执行相同的功能，最后将比较每个处理加速器的结果，并且将任何差异发送给主机。这当然提供了高的安全覆盖范围，但相对于非冗余实现，它需要倍数的硅区域和功耗。另一种广泛使用的机制是软件内建自测试(BIST)。在这种情况下，主机CPU可在处理加速器通电时或在固定的时间段调度任务。该任务包括对处理加速器硬件的一些软件测试，以确保处理加速器中没有故障。测试软件应当以提供尽可能多的验证覆盖范围的方式开发。软件BIST可相对地易于实施，并且可随时进行调整或重写。但是，它通常提供相对低的覆盖范围(通常仅在ASIL–A中使用)，并且可影响正常功能的性能。另一方面，硬件BIST涉及使处理加速器能够自我测试并且确定结果好坏的电路。这可提供高的覆盖范围，但当然涉及附加硅区域，理论上极限接近如上所述的冗余。
技术实现思路
根据本专利技术，提供了根据权利要求1所述的多处理器神经网络处理设备。本专利技术的实施方案基于多处理器神经网络处理设备内的一个神经网络处理引擎，该神经网络处理引擎以其他方式自由地获取另一处理引擎的配置(程序)并且在有限的时间段内运行相同的配置。将来自每个引擎的结果进行比较，并且如果它们不相等，则可容易地识别一个或其他引擎中的故障。在冗余模式下运行之后，引擎可返回到其自己的指定任务。附图说明现在将参考附图以举例的方式来描述本专利技术的实施方案，在附图中：图1示出了驾驶员监测系统(DMS)的典型架构；图2示出了根据本专利技术的实施方案可操作的多处理器神经网络处理设备；图3示出了在独立模式下操作的可编程卷积神经网络(PCNN)引擎；并且图4示出了在冗余模式下操作的PCNN引擎。具体实施方式现在参考图2，示出了在以上引用的PCT申请PCT/EP2018/071046(Ref：FN-618-PCT)中所公开类型的神经网络处理设备。该设备包括主机CPU50，该主机CPU50包括一组处理器，这些处理器可各自通过公共内部高级高性能总线(AHB)独立地控制多个可编程卷积神经网络(PCNN)集群92，其中中断请求(IRQ)接口用于从PCNN集群92发信号回至主机CPU50，通常用于指示处理完成，使得主机CPU50可协调PCNN集群92的配置和操作。每个PCNN集群92包括其自己的CPU200，该CPU200与主机CPU50通信，并且在这种情况下，与PCT申请WO2017/129325(Ref：FN-481-PCT)中所公开类型的4个独立的可编程CNN30-A…30-D通信，该PCT申请的公开内容以引用方式并入本文。需注意，在PCNN集群92内，各个CNN30不必相同，并且例如，一个或多个单个CNN可具有与其他CNN不同的特性。因此，例如，一个CNN可以允许在卷积中组合比其他CNN数量更多的信道，并且在相应地配置PCNN时将采用该信息。在该实施方案中，每个单个CNN30-A…30-D以及跨系统总线91访问系统存储器99或102可使用共享存储器40'，通过该共享存储器，信息可与其他集群92共享。因此，主机CPU50与集群CPU200和存储器控制器210结合，安排将初始图像信息以及网络配置信息从存储器99或102传输到共享存储器40'。为了促进这种传输，每个主机CPU50可结合一些高速缓存存储器52。具有一个或多个串行外围接口(SPI)的外部接口块95A使主机处理器50能够连接到车辆网络(未示出)以及实际上更宽的网络环境内的其他处理器。可通过SPI或通过也在块95A内提供的通用输入/输出(GPIO)接口(可能是并行接口)来提供此类主机处理器50与外部处理器之间的通信。在该实施方案中，外部接口块95A还提供与各种图像传感器的直接连接，这些图像传感器包括：常规相机(VIS传感器)、NIR敏感相机和用于从车辆环境获取图像的热成像相机。在该实施方案中，专用图像信号处理器(ISP)核心95B包括一对管线ISP0、ISP1。核心95B内的局部色调映射(LTM)部件可对所接收的图像执行基本的预处理，包括例如：对图像进行重新采样；从由图像采集装置获取的连续图像的组合生成HDR(高动态范围)图像；为获取的图像生成直方图信息–有关产生梯度直方图的信息请参见PCT申请No.PCT/EP2017/062188(Ref：FN-398-PCT2)；以及/或者产生可能在图像处理期间由PCNN集群92使用的任何其他图像特征映射，例如，整体图像映射-有关此类映射的详细信息，请参见PCT申请WO2017/032468(Ref:FN-469-PCT)。然后，可以将处理后的图像/特征映射写入共享存储器40'，在共享存储器40'中，它们可以立即或最终可用于PCNN集群92的后续处理，以及或者另选地，将接收到的预本文档来自技高网...

【技术保护点】
1.一种多处理器神经网络处理设备，所述多处理器神经网络处理设备包括：/n多个网络处理引擎，所述多个网络处理引擎各自用于根据网络配置来处理神经网络的一个或多个层；/n存储器，所述存储器用于至少临时存储所述网络处理引擎的网络配置信息、用于由所述网络处理引擎中的一者或多者处理的输入图像信息、由所述网络处理引擎产生的中间图像信息以及由所述网络处理引擎产生的输出信息；和/n系统总线，所述多个网络处理引擎跨所述系统总线访问所述存储器，/n其中所述网络处理引擎中的至少一者被配置为在否则空闲时识别要由另一目标网络处理引擎处理的配置信息和输入图像信息，并且使用所述配置信息和输入图像信息复制所述目标网络处理引擎的所述处理，/n所述设备被配置为将由所述目标网络处理引擎输出的信息的至少一部分与由所述网络处理引擎中的所述一者生成的对应信息进行比较，以确定所述目标网络处理引擎或所述网络处理引擎中的所述一者中的至少一者是否正确操作。/n

【技术特征摘要】
20181211 US 16/216,8021.一种多处理器神经网络处理设备，所述多处理器神经网络处理设备包括：
多个网络处理引擎，所述多个网络处理引擎各自用于根据网络配置来处理神经网络的一个或多个层；
存储器，所述存储器用于至少临时存储所述网络处理引擎的网络配置信息、用于由所述网络处理引擎中的一者或多者处理的输入图像信息、由所述网络处理引擎产生的中间图像信息以及由所述网络处理引擎产生的输出信息；和
系统总线，所述多个网络处理引擎跨所述系统总线访问所述存储器，
其中所述网络处理引擎中的至少一者被配置为在否则空闲时识别要由另一目标网络处理引擎处理的配置信息和输入图像信息，并且使用所述配置信息和输入图像信息复制所述目标网络处理引擎的所述处理，
所述设备被配置为将由所述目标网络处理引擎输出的信息的至少一部分与由所述网络处理引擎中的所述一者生成的对应信息进行比较，以确定所述目标网络处理引擎或所述网络处理引擎中的所述一者中的至少一者是否正确操作。


2.根据权利要求1所述的设备，其中每个网络处理引擎包括多于一个的单个网络处理引擎的集群，每个集群包括公共控制器，所述公共控制器被配置为识别要由另一目标网络处理引擎处理的所述配置信息和输入图像信息。


3.根据权利要求2所述的设备，其中用于所述网络处理引擎中的所述一者的所述公共控制器被配置为比较信息...

【专利技术属性】
技术研发人员：S·弗洛普，C·扎哈里亚，P·比吉奥伊，
申请(专利权)人：快图有限公司，
类型：发明
国别省市：爱尔兰;IE