深度神经网络的异常检测制造技术

本公开提供了“深度神经网络的异常检测”。可将包括第一对象的图像输入到深度神经网络，所述深度神经网络被训练来检测对象。所述深度神经网络可输出对应于所述第一对象的第一特征向量。可测量从所述第一特征向量到特征向量的过完备字典上的使用k均值奇异值分解算法确定的特征向量子空间的第一距离。可基于所述第一距离来确定所述第一对象对应于异常。一距离来确定所述第一对象对应于异常。一距离来确定所述第一对象对应于异常。

【技术实现步骤摘要】
深度神经网络的异常检测


[0001]本公开总体上涉及深度神经网络的异常检测。

技术介绍

[0002]深度神经网络可被训练来执行各种计算任务。例如，神经网络可被训练来从图像中提取数据。由深度神经网络从图像中提取的数据可由计算装置用来操作系统，所述系统包括车辆、机器人、安全性系统和产品处理(例如，用于制造)系统。图像可由包括在系统中的传感器获取并使用深度神经网络进行处理，以确定关于系统周围环境中的对象的数据。系统的操作可依赖于获取关于系统环境中的对象的准确且及时的数据。

技术实现思路

[0003]可使用系统的训练数据集来训练深度神经网络(DNN)以确定由传感器获取的图像数据中的对象，所述系统包括车辆引导、机器人操作、安全性、制造系统和产品跟踪。车辆引导可包括车辆在如本文中将定义的自主或半自主模式下的操作。机器人引导可包括引导机器人末端执行器(例如夹持器)来拾取零件并对零件进行定向以进行组装。安全性系统包括其中计算机从观察安全区域的相机获取视频数据以向授权用户提供访问权限并检测未授权进入的特征。例如，安全性系统还可向授权用户提供对计算装置或蜂窝电话的访问权限。例如，在制造系统中，计算机中的DNN可通过确定人的手在特定时间相对于机器操作循环的位置来检测机器在制造操作中的不安全操作。例如，在产品跟踪系统中，深度神经网络可检测到从搁架移除对象并将其放入购物车中，并且自动向人收取对象的费用。例如，其他产品管理系统包括包裹分拣。
[0004]通过处理训练数据集中的大量(可能超过1000个)图像来训练DNN。可训练DNN，直到DNN在处理训练数据集的图像时达到期望的准确度以形成输出预测。例如，准确度可基于检测和定位输入图像中的对象。通过DNN将正确地确定对象标签和对象位置的概率来测量准确度。在推断时，即，当将图像输入到DNN并且预期DNN正确地确定对象标签和位置时，准确度可取决于输入图像中的对象与训练数据集中的图像中包括的对象比较起来如何。在这种背景下，异常是图像中的对象，所述对象在由DNN处理时生成的特征向量在指定的方面不同于基于由DNN先前处理的图像中的对象生成的先前特征向量而确定的子空间，例如，与所述子空间相距三个以上标准偏差。与异常相对应的对象在外观上可能不同于确定与异常的特征向量进行比较的特征向量的子空间的对象。在这种背景下，外观是指对象的大小、形状、纹理、颜色和特征布置，其中对象特征是对象的视觉上不同的部分。异常(即，在外观上与训练数据集中包括的类似对象不同的对象)可能未被DNN识别或被DNN错误地识别为不同的对象。可在训练DNN时确定特征向量的子空间。可使用下面关于图3描述的技术来处理与训练数据集中的对象相对应的特征向量以确定子空间。在推断时，当DNN正在处理包括对象的图像时，可确定从对应于对象的每个特征向量到子空间的距离，并且可基于由DNN处理的先前数量的对象(例如，20个对象)来确定平均值和标准偏差。可将特征向量到对应于正由
DNN处理的当前对象的子空间的距离度量与基于先前的20个对象确定的标准偏差进行比较，并且如果当前距离大于指定的差值，例如三个标准偏差，则所述对象被确定为异常。
[0005]输入图像中的异常可能导致DNN的非预期输出。本文讨论的技术通过确定在输入数据中何时发生可能导致非预期输出结果的异常来提供改进的对象检测和/或辨识。如果用于控制车辆、机器人、安全性、机器或包裹处理系统，则非预期结果是可能会导致损坏或其他不希望的操作的错误预测。本文讨论的技术确定异常数据何时输入到DNN以及从DNN输出的结果可能包括非预期结果并且不应使用。此外，当检测到异常数据时，异常数据可用于通过使用异常数据重新训练DNN来改进DNN性能。
[0006]本文中将车辆引导描述为使用具有异常数据检测的DNN的非限制性示例。例如，车辆中的计算装置可被编程为获取关于车辆的外部环境的图像数据并使用深度神经网络来检测图像数据中的对象。所述数据可包括从静物相机或摄像机获取的图像数据、从激光雷达传感器获取的距离数据或从雷达传感器获取的雷达数据。DNN可被训练来标记和定位图像数据、距离数据或雷达数据中的对象。计算装置可使用检测到的对象的标识和位置来确定在自主或半自主模式下操作车辆的车辆路径。车辆可基于车辆路径通过确定指示车辆的动力传动系统、制动和转向部件以操作车辆沿着路径行驶的命令而在道路上操作。确定异常数据可确定何时忽略从DNN输出的预测，并且由此避免基于非预期结果来操作车辆。
[0007]本文公开了一种方法，所述方法包括：将包括第一对象的图像输入到深度神经网络，所述深度神经网络被训练来检测对象；从所述深度神经网络输出对应于所述第一对象的第一特征向量；测量从所述第一特征向量到特征向量的过完备字典上的使用K均值奇异值分解算法确定的特征向量子空间的第一距离；以及基于所述第一距离来确定所述第一对象对应于异常。当确定所述第一对象不对应于异常时，车辆可基于通过所述深度神经网络检测到所述第一对象进行操作。当确定所述第一对象对应于异常时，车辆可不基于通过所述深度神经网络检测到所述第一对象进行操作。可将包括第二对象的第二图像输入到所述深度神经网络，并且当确定所述第二对象不是异常时，基于通过所述深度神经网络检测到所述第二对象来操作所述车辆。可将包括第二对象的第二图像输入到所述深度神经网络，并且当确定所述第二对象是异常时，停止所述车辆。
[0008]可为输入到所述深度神经网络的多个图像中包括的多个对象确定多个特征向量和距所述特征向量子空间的多个距离，可确定所述多个距离的均值和标准偏差；并且可基于所述第一距离大于三个标准偏差来确定所述第一对象对应于异常。K均值奇异值分解算法可通过确定所述过完备字典上的贪婪正交匹配追踪算法来确定所述过完备字典的稀疏表示。所述第一特征向量可对应于所述第一对象的外观。所述外观可包括对象特征的大小、形状、纹理、颜色和布置中的一者或多者，其中所述对象特征是所述第一对象的视觉上不同的部分。可在高维空间中确定所述距离，其中所述高维空间具有多于三个维度。可使用无监督学习来训练所述深度神经网络。所述贪婪正交匹配追踪算法可以是用于基于字典来近似信号的迭代技术，所述字典在每个步骤处生成索引和标量的排序列表。所述贪婪正交匹配追踪算法可进行迭代，直到所述特征向量子空间收敛。可通过将所述特征向量投影到所述特征向量子空间上来确定所述距离。
[0009]还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述方法步骤中的一些或全部的程序指令。还公开了一种计算机，所述计算机被编程用于执行上述方法
步骤中的一些或全部，所述计算机包括计算机设备，所述计算机设备被编程为将包括第一对象的图像输入到深度神经网络，所述深度神经网络被训练来检测对象；从所述深度神经网络输出对应于所述第一对象的第一特征向量；测量从所述第一特征向量到特征向量的过完备字典上的使用K均值奇异值分解算法确定的特征向量子空间的第一距离；以及基于所述第一距离来确定所述第一对象对应于异常。当确定所述第一对象不对应于异常时，车辆可基于通过所述深度神经网络检测到所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，所述方法包括：将包括第一对象的图像输入到深度神经网络，所述深度神经网络被训练来检测对象；从所述深度神经网络输出对应于所述第一对象的第一特征向量；测量从所述第一特征向量到特征向量的过完备字典上的使用K均值奇异值分解算法确定的特征向量子空间的第一距离；以及基于所述第一距离来确定所述第一对象对应于异常。2.如权利要求1所述的方法，所述方法还包括当确定所述第一对象不对应于异常时，基于通过所述深度神经网络检测到所述第一对象来操作车辆。3.如权利要求1所述的方法，所述方法还包括当确定所述第一对象对应于异常时，不基于通过所述深度神经网络检测到所述第一对象来操作车辆。4.如权利要求3所述的方法，所述方法还包括将包括第二对象的第二图像输入到所述深度神经网络，并且当确定所述第二对象不是异常时，基于通过所述深度神经网络检测到所述第二对象来操作所述车辆。5.如权利要求3所述的方法，所述方法还包括将包括第二对象的第二图像输入到所述深度神经网络，并且当确定所述第二对象是异常时，停止所述车辆。6.如权利要求1所述的方法，所述方法还包括：为输入到所述深度神经网络的多个图像中包括的多个对象确定多个特征向量和距所述特征向量子空间的多个距离；确定所述多...

【专利技术属性】
技术研发人员：高拉夫，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：