用于图像误分类的安全监测器制造技术

公开了用于实现安全关键推理应用程序的安全监测框架的系统、装置和方法。系统包括安全关键推理应用程序、安全监测器和推理加速器引擎。安全监测器从安全关键推理应用程序接收输入图像、测试数据和神经网络规范。安全监测器通过在输入图像之外添加附加对象来生成所修改图像。安全监测器将所修改图像和神经网络规范提供给推理加速器引擎，所述推理加速器引擎处理所修改图像并向安全监测器提供输出。安全监测器通过将针对附加对象的输出与已知良好结果进行比较来确定对原始输入图像进行错误处理的概率。安全监测器补充了推理加速器引擎的总体故障覆盖范围，并涵盖了仅可在网络级别处观察到的故障。别处观察到的故障。别处观察到的故障。

【技术实现步骤摘要】
【国外来华专利技术】用于图像误分类的安全监测器

技术介绍

[0001]相关技术描述
[0002]一种新兴
是机器学习，其中神经网络是一种类型的机器学习模型。神经网络在诸如手写数字分类和面部检测的任务方面表现出优异的性能。另外，神经网络还显示出在其他的更具挑战性的视觉分类任务中表现良好的潜力。神经网络的其他应用包括语音辨识、语言建模、情感分析、文本预测及其他。
[0003]在机器学习算法的典型部署中，软件应用程序向推理加速器硬件引擎供应神经网络。当推理加速器在安全关键环境下操作时，需要对推理加速器进行监测，以检查异常行为。用于监测推理加速器的典型实现方式是将监测逻辑插入到推理加速器处理硬件子框中。例如，机器检查架构是一种机制，在这种机制中，处理硬件中的监测逻辑检查异常行为。然而，这些检查虽然在较低的硬件级别上提供了监测，但可能会忽略只有在推理加速器输出时才能观察到的故障。这种方法也不会在神经网络级别上检测到随机的间歇性故障。例如，推理加速器可能具有误分类错误，诸如未能检测到感兴趣的对象。
附图说明
[0004]通过结合附图参考以下描述可以更好地理解本文所描述的方法和机制的优点，在附图中：
[0005]图1是计算系统的一个实现方式的框图。
[0006]图2是在安全关键系统中执行的安全关键推理应用程序的一个实现方式的框图。
[0007]图3是推理故障检测框架的一个实现方式的框图。
[0008]图4是根据一个实现方式的从安全关键应用程序发送到安全监测框架的图像的实例。
[0009]图5是根据一个实现方式的已由安全监测框架从原始图像生成的所修改图像。
[0010]图6是示出用于操作推理加速器的安全监测框架的方法的一个实现方式的一般化流程图。
[0011]图7是示出用于实现安全监测框架的方法的一个实现方式的一般化流程图。
[0012]图8是示出用于生成由安全关键应用程序使用的置信指示符的方法的一个实现方式的一般化流程图。
[0013]图9是示出用于确定哪个对象用于修改图像的方法的一个实现方式的一般化流程图。
[0014]图10是示出用于安全监测框架改变操作模式的方法的一个实现方式的一般化流程图。
具体实施方式
[0015]在以下描述中，阐述了许多特定细节以提供对本文呈现的方法和机制的透彻理解。然而，本领域普通技术人员应认识到，可以在没有这些具体细节的情况下实践各种实现
方式。在一些情况下，并未详细示出众所周知的结构、部件、信号、计算机程序指令和技术，以避免混淆本文所述的方法。应了解，出于说明简明和清楚起见，在图中示出的元件不一定按比例绘制。例如，一些元件的尺寸可以相对于其他元件被放大。
[0016]本文公开了用于实现安全关键神经网络应用程序的安全监测框架的系统、装置和方法。在一个实现方式中，系统包括安全关键神经网络应用程序、安全监测器和推理加速器引擎。安全监测器从安全关键神经网络应用程序接收输入图像、测试数据(例如，测试向量)和神经网络规范(例如，层和权重)。在一个实现方式中，测试数据包括具有已知良好对象/图像的图像列表和这些对象/图像的对应分类。在一个实现方式中，安全监测器修改输入图像以在输入图像的边界之外添加附加对象。在这种实施方案中，所修改图像比输入图像更大，以容纳原始图像的边界之外的附加对象。在一个实现方式中，所修改图像的配置(即，插入额外空间和附加对象的位置)存储在数据结构(即，元数据)中，所述数据结构通过系统流与所修改图像一起传递。
[0017]在一个实现方式中，附加对象包括一个或多个冗余对象，所述一个或多个冗余对象与前一个输入图像中发现的对象相同。在另一个实现方式中，附加对象包括在测试向量中提供的一个或多个对象。安全监测器将所修改图像提供给推理加速器。推理加速器处理所修改图像，并将输出提供回到安全监测器。安全监测器基于由推理加速器生成的输出确定对原始输入图像进行误分类的概率。在一个实现方式中，安全监测器将已知良好结果和与修改相关联的输出进行比较，以确定对原始输入图像进行误分类的概率。安全监测器将误分类概率的指示符提供给安全关键应用程序。通过这种方法，安全监测器补充了总体故障覆盖范围，并防止了仅可在神经网络的输出处观察到的故障。
[0018]现在参考图1，示出计算系统100的一个实现方式的框图。在一个实现方式中，计算系统100包括至少推理加速器引擎105、一个或多个处理器110A
‑
B、输入/输出(I/O)接口120、总线125以及一个或多个存储器子系统130。在其他实现方式中，计算系统100可以包括其他部件和/或计算系统100可以不同地布置。在一个实现方式中，推理加速器引擎105在一个或多个处理器110B上实现。推理加速器引擎105表示软件、固件和/或硬件的任何组合，以用于在一个或多个处理器110B上实现各种机器学习算法或机器学习模型。
[0019]在一个实现方式中，推理加速器引擎105实现卷积神经网络的一个或多个层。例如，在这种实现方式中，推理加速器引擎105实现一个或多个卷积层和/或一个或多个完全连接层。在另一个实现方式中，推理加速器引擎105实现循环神经网络的一个或多个层。一般来讲，“推理引擎”或“推理加速器引擎”被定义为接收图像数据并生成图像数据的一个或多个标签概率的硬件和/或软件。在一些情况下，“推理引擎”或“推理加速器引擎”称为“分类引擎”或“分类器”。
[0020]推理加速器引擎105在可以在根据实现方式变化的多种不同应用程序中的任一种中利用。例如，在一个实现方式中，推理加速器引擎105分析图像或视频帧以生成帧的一个或多个标签概率。例如，可能的使用案例包括至少眼睛跟踪、对象辨识、点云估计、射线追迹、光场建模、深度跟踪等。对于眼睛跟踪使用案例，由推理加速器引擎105生成的概率是基于学习模式、停留、转变角度、眨眼等。在其他实现方式中，推理加速器引擎105针对其他类型的使用案例进行训练和定制。
[0021]推理加速器引擎105可以在根据实现方式变化的多种不同安全关键应用程序中的
任一种中使用。例如，在一个实现方式中，推理加速器引擎105在汽车应用程序中使用。例如，推理加速器引擎105控制自动驾驶车辆(即，自主车辆)、驾驶辅助车辆或高级驾驶辅助系统的一个或多个功能。在其他实现方式中，针对其他类型的使用案例训练和定制推理加速器引擎105。根据实现方式，推理加速器引擎105针对在输入图像或视频帧中检测到的各种对象生成分类结果概率。
[0022]一个或多个处理器110A
‑
B表示任何数量和类型的处理单元(例如，中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC))。在一个实现方式中，与推理加速器引擎105相关联的处理中的一些由一个或多个处理器110B执行。另外，使用任何这些类型的处理单元和/或其他类型的处理元件来实现推理加速器引擎105。存储器子系统130包括任意数量和类型的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，其包括：推理加速器引擎；以及安全监测器，所述安全监测器被配置来：将来自安全关键应用程序的真实图像数据传输到所述推理加速器引擎；至少部分地基于真实图像数据中的出现概率和/或先前图像中的检测频率确定生成哪些已知良好对象图像数据；生成所述已知良好对象图像数据并将所述已知良好对象图像数据传输到所述推理加速器引擎；并且基于由对所述已知良好对象图像数据进行分类的所述推理加速引擎产生的结果的分析生成置信指示符，其中所述置信指示符表示所述真实图像数据被所述推理加速引擎正确地分类的概率；其中所述系统被配置来响应于所述置信指示符不满足阈值而执行一个或多个校正动作。2.如权利要求1所述的系统，其中所述安全监测器进一步被配置来：当在第一模式下操作时，仅将来自安全关键应用程序的真实图像数据传输到所述推理加速器引擎；响应于检测到第一条件而进入第二模式；并且响应于进入所述第二模式而生成所述已知良好对象图像数据并且将所述已知良好对象图像数据传输到所述推理加速器引擎。3.如权利要求2所述的系统，其中所述第一条件包括从所述安全关键应用程序接收进入所述第二模式的信号，并且其中第一校正动作是终止所述安全关键应用程序。4.如权利要求1所述的系统，其中所述安全监测器进一步被配置来：通过将所述已知良好对象图像数据与输入图像组合来生成所修改图像，其中所述已知良好对象图像数据包括一个或多个给定对象；并且将所修改图像传输到所述推理加速器引擎。5.如权利要求4所述的系统，其中所述安全监测器进一步被配置来：分析先前图像的检测到的输出以跟踪所述先前图像中各种对象的检测频率；确定是否任何对象具有大于第一阈值的出现概率和先前图像中的大于第二阈值的检测频率两者；并且响应于确定一个或多个第一对象具有大于所述第一阈值的出现概率和先前图像中的大于所述第二阈值的检测频率两者而将所述一个或多个第一对象添加到下一个图像。6.如权利要求4所述的系统，其中所述安全监测器进一步被配置来：在测试向量数据中检测至少一个已知良好对象；将所述至少一个已知良好对象添加到所述输入图像的原始边界之外的额外空间；并且从所述输入图像和所述额外空间创建所修改图像。7.如权利要求1所述的系统，其中所述安全监视器被配置来从所述安全关键应用程序接收测试数据，所述测试数据指示所述推理加速器引擎应如何对所述已知良好对象图像数据进行分类。8.一种方法，其包括：
由安全监测器将来自安全关键应用程序的真实图像数据传输到推理加速器引擎；由所述安全监测器至少部分地基于真实图像数据中的出现概率和/或先前图像中的检测频率确定生成哪些已知良好对象图像数据；由所述安全监测器生成所述已知良好对象图像数据并且将所述已知良好对象图像数据传输到所述推理加速器引擎；由所述安全监测器基于由对所述已知良好对象图像数据进行分类的所述推理加速引擎产生的结果的分析生成置信指示符，其中所述置信指示符表示所述真实图像数据被所述推理加速引擎正确地分类的概率；以及响应于所述置信指示符不满足阈值而由所述安全关键应用程序执行一个或多个校正动作。9.如权利要求8所述的方法，其还包括所述安全监测器：当在第一模式下操作时，仅将来自安全关键应用程序的真实图像数据传输到所述推理加速器引擎；响应于检测到第一条件而进入第二模式；并且响应于进入所述第二模式而生成所述已知良好对象图像数据并且将所述已知良好对象图像数据传输到所述推理加速器引擎。10.如权利要求9所述的方法，其中所述第一条件包括从所述安全关键应用程序接收进入所述第二模式的信号，并且其中第一校正动作是终止所述安全关键应用程序。11.如权利...

【专利技术属性】
技术研发人员：邝东全，本杰明，
申请(专利权)人：ATI科技无限责任公司，
类型：发明
国别省市：