使用神经网络与相关性结构相结合进行图像分类的系统和方法技术方案

本发明专利技术公开了用于执行图像分类的系统和方法。该方法包括由处理器执行以下操作：接收输入图像，使用经过训练的神经网络生成与输入图像相对应的标签预测，基于输入图像与多个参考图像中的每一个参考图像的比较生成相关性结构，以及使用标签预测和相关性结构来生成与输入图像相对应的更新的标签预测。输入图像相对应的更新的标签预测。输入图像相对应的更新的标签预测。

【技术实现步骤摘要】
使用神经网络与相关性结构相结合进行图像分类的系统和方法

技术介绍

[0001]神经网络是一种强大的判别建模工具。神经网络例如可以用于解决预测、分类、结构识别和时间序列分析等问题。神经网络适用于预测变量(输入)和被预测变量(输出)之间存在关系的情况，即使这种关系复杂且随时间变化。例如，神经网络用于图像分类、自然语言处理、对象检测或其它类似任务。
[0002]然而，这种神经网络容易受到使用伪造样本的对抗性攻击，这些样本会导致错误预测(具有高置信度)，同时被人类用户认为是良性的。对抗性攻击可能需要在训练期间向神经网络提供不准确或虚假的数据，或者可能包括引入恶意设计的数据来欺骗已经训练过的神经网络。这种对抗性攻击可能会导致神经网络出现故障。
[0003]此外，神经网络的预测精度通常低于边缘情况(仅偶尔发生，但仍需处理的场景，如独特路标的出现，或高速公路上意外的动物类型。)和/或边角情况(正常操作条件的组合，例如道路结冰、低的太阳角度、交通繁忙和道路上有行人的驾驶情况)。对于神经网络仍然错误分类而经常遇到的情况，也可能出现神经网络预测的问题，例如当具有特定布局或环境的交通灯通常被错误分类时。
[0004]由于神经网络预测的普遍过度自信，上述问题更加严重。
[0005]本文件描述了旨在解决上述问题和/或其它问题的方法和系统。

技术实现思路

[0006]本专利技术包括实施用于执行图像分类的系统和方法。方法可以包括接收输入图像、使用经过训练的神经网络生成与输入图像相对应的标签预测、基于输入图像与多个参考图像中的每一个的比较生成相关性结构、以及使用标签预测和相关性结构来生成与输入图像相对应的更新的标签预测。可选地，相关性结构可以是高斯过程相关性结构。附加地和/或替代地，更新的标签预测可以用于控制自主车辆的导航。
[0007]在各种实施方式中，生成相关性结构可以包括计算输入图像和多个参考图像中的每一个参考图像之间的距离，距离与一个或多个颜色通道相关。
[0008]在一个或多个实施方式中，生成与输入图像相对应的更新的标签预测可以包括响应于确定输入图像和多个参考图像中的每个参考图像之间存在小于阈值的相关性，而将标签预测识别为更新的标签预测。
[0009]在一些其它实施方式中，生成与输入图像相对应的更新的标签预测可以包括响应于确定输入图像和参考图像之间存在高相关性，而将与参考图像相关的正确的标签识别为更新的标签预测。
[0010]在一些实施方式中，方法还可以包括生成包括多个参考图像的参考数据集。多个参考图像中的至少一个可以包括对抗性图像或与边缘情况相关的图像。可选地，正确的标签预测可以与参考数据集中的多个参考图像中的每一个相关。
[0011]在一些实施例中，生成相关性结构可以包括通过将输入图像的特征图和参考图像
的参考特征图进行比较来计算输入图像和多个参考图像中的每一个参考图像之间的距离。可以从经过训练的神经网络的层获得特征图和参考特征图。生成相关性结构还可以包括识别多个参考图像中与输入图像具有最高相关性的参考图像，以及将与所识别的参考图像相关的正确的标签识别为更新的标签预测。
[0012]实施上述图像分类的方法的系统可以包括但不限于处理器和包括编程指令的非暂时性计算机可读存储介质，编程指令配置为使处理器实施图像分类的方法。可选地，编程指令可以包括在计算机程序产品中。
附图说明
[0013]图1示出了自主车辆系统的示例高度概述。
[0014]图2示出了使用神经网络和相关性结构的组合进行图像分类的示例方法。
[0015]图3示出了卷积神经网络的示例。
[0016]图4示出了使用卷积神经网络的图像处理层的示例。
[0017]图5提供了有助于理解根据本专利技术的技术方案如何控制机器人系统(例如，自主车辆)的框图。
[0018]图6示出了自主车辆的示例系统和部件。
[0019]图7是示出了自主车辆和/或外部电子设备的可能的电子子系统的各种元件的框图。
具体实施方式
[0020]神经网络是采用一个或多个模型层来预测接收到的输入的输出的机器学习模型。一些神经网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一层的输入，即，下一个隐藏层或输出层。网络的每一层根据相应参数集的当前值从接收到的输入生成输出。
[0021]预测任务在自主驾驶中经常出现，神经网络经常用于此类预测任务。例如，自主车辆的操作取决于基于使用神经网络的可靠分类的决策制定。然而，如上所述，在对抗性攻击的情况下，当神经网络遇到边缘情况或边角情况时，和/或当某些东西经常被错误分类时，神经网络容易发生故障。
[0022]例如，在自主驾驶中，对抗性攻击可能包括在图像分类和对象检测过程中蓄意和故意干扰以混淆和欺骗神经网络的像素，其中这些像素不容易被人类用户识别。此外，自主驾驶是一个环境的示例，它为神经网络提供了具有高度可变性的边缘情况，因为它们不太可能单独出现，这使得它们很难编目。例如，考虑经过训练的神经网络来对路标进行分类。如果向网络呈现新的、以前从未见过的路标，那么神经网络可能会做出自信且可能正确的分类。然而，如果向神经网络呈现用于训练的图像分布之外的图像(例如，猫的图像)，则常规的神经网络倾向于仍然自信地预测猫图像的路标。在另一示例中，携带符合不同对象类别的对象(例如自行车)的人可能会被图像分类神经网络错误地分类。
[0023]虽然对神经网络进行再训练以识别对抗性攻击和/或使用包括边缘情况在内的额外训练数据可以在一定程度上帮助解决上述问题，但这种再训练通常在计算上是昂贵的。本文件描述了在没有对神经网络进行密集再训练的情况下相对于对抗性输入数据或边缘
情况输入数据对神经网络预测精度的改进(例如，在图像分类期间)，从而降低了计算要求和/或存储容量要求。
[0024]本专利技术的系统和方法利用神经网络与对应于参考数据集的相关性结构(例如，高斯过程中使用的相关性结构)的组合，能够在例如图像分类期间显著提高预测精度(如下所述)。在图像分类的情况下，参考数据集可以包括已知的与对抗性攻击或边缘情况相关的图像，其中参考数据集不用于训练神经网络，而是用于在推理期间校正神经网络的预测。
[0025]本专利技术的方法例如可以用于图像中的对象检测、提高流传输性能(用于在所有时刻评估感知算法的输出)等，用于控制自主车辆的导航。应该注意的是，虽然当前公开描述了用于图像分类的神经网络，但其并非局限于此。相反，本专利技术的原理可以用于其它神经网络预测任务，例如但不限于其它计算机视觉任务，例如对象检测(包括图像中单个对象的标签预测及其相应的定位)、自然语言处理、语音识别等。
[0026]在描述神经网络预测方法的细节之前，提供一些关于自主车辆系统的背景信息是有用的。图1示出了可能与下面的讨论相关的自主车辆子系统的高度概述。这种系统内的具体组件将在本文件稍后对图6和图7的讨论中进行描述。子系统的某些组件可以体现在处理器硬件和计算机可读编程指令中，它们是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种执行图像分类的方法，所述方法包括通过处理器执行以下操作：接收输入图像；使用经过训练的神经网络生成与所述输入图像相对应的标签预测；基于所述输入图像与多个参考图像中的每一个参考图像的比较，生成相关性结构；以及使用所述标签预测和所述相关性结构生成与所述输入图像相对应的更新的标签预测。2.根据权利要求1所述的方法，还包括使用所述更新的标签预测来控制自主车辆的导航。3.根据权利要求1所述的方法，其中，生成所述相关性结构包括计算所述输入图像与所述多个参考图像中的每一个参考图像之间的距离，所述距离与一个或多个颜色通道相关。4.根据权利要求1所述的方法，其中，生成与所述输入图像相对应的所述更新的标签预测包括响应于确定在所述输入图象与所述多个参考图象中的每一个参考图像之间存在小于阈值的相关性，而将所述标签预测识别为所述更新的标签预测。5.根据权利要求1所述的方法，其中，生成与所述输入图像相对应的所述更新的标签预测包括响应于确定在所述输入图象和所述参考图象之间存在高相关性，而将与参考图象相关的正确的标签识别为所述更新的标签预测。6.根据权利要求1所述的方法，还包括生成包含所述多个参考图像的参考数据集，其中所述多个参考图像中的至少一个包含对抗性图像或与边缘情况相关的图像。7.根据权利要求6所述的方法，还包括生成所述参考数据集以包括与所述多个参考图像中的每一个参考图像相关的正确的标签预测。8.根据权利要求1所述的方法，其中，生成所述相关性结构包含通过将所述输入图像的特征图与所述参考图像的参考特征图进行比较来计算所述输入图象和所述多个参考图像中的每一个参考图像之间的距离，从所述经过训练的神经网络的层获得所述特征图和所述参考特征图。9.根据权利要求1所述的方法，其中，生成所述相关性结构包含：识别所述多个参考图像中与所述输入图像具有最高相关性的参考图像；以及将与所识别的参考图像相关的正确的标签识别为所述更新的标签预测。10.根据权利要求1所述的方法，其中，所述相关性结构是高斯过程相关性结构。11.一种用于执行图像分类的系统，所述系统包含：处理器；以及包含编程指令的非暂时性计算机可读介质，所述编程指令在由所述处理器执行时将使所述处理器：接收输入图像，使用经过训练的神经网络生成与所述输入图像相对应的标签预测，基于所述输入图像与多个参考图像中的每一个参考图像的比较，生成相关性结构，以及使用所述标签预测和所述相关性结构生成与所述输入图像相对应的更新的标签预测。12.根据权利要求11所述的系统，还包含编程指令，所述编程指令在由所述处...

【专利技术属性】
技术研发人员：托马斯，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：