利用用于自主驾驶的神经形态计算网络进行实时车辆识别的方法技术

描述了一种用于自主驾驶环境中的在线车辆识别的系统。使用包括无监督学习部件和有监督学习部件的学习网络，对从在自主驾驶环境中拍摄的视频提取的移动车辆图像进行学习和分类。从输入的移动车辆图像提取车辆特征数据。使用无监督学习部件将所提取的车辆特征数据聚类成不同车辆类别。使用有监督学习部件来生成不同车辆类别的车辆类别标记。基于自主驾驶环境中的移动车辆的车辆类别标记，所述系统选择将由自主车辆执行的动作，并使该自主车辆在自主驾驶环境中执行所选择的动作。自主驾驶环境中执行所选择的动作。自主驾驶环境中执行所选择的动作。

【技术实现步骤摘要】
【国外来华专利技术】利用用于自主驾驶的神经形态计算网络进行实时车辆识别的方法
[0001]相关申请的交叉引用
[0002]本申请是2018年7月23日在美国提交的题为“A Method of Online Learning with Neuromorphic Computing Network”的美国临时申请No.62/702,042的非临时申请，其全部内容通过引用并入于此。
[0003]专利技术背景
(1)

[0004]本专利技术涉及一种车辆识别的系统，并且更具体地，涉及一种用于自主驾驶的车辆识别的系统。
(2)
技术介绍

[0005]在线学习能力对于许多机器学习系统和自主系统非常重要。例如，实时车辆识别是自主驾驶系统的重要能力。自主车辆需要识别在其周围移动的车辆，以便准确跟踪所述车辆的移动，诸如，改变车道、驶离高速公路、进入高速公路以及转弯。当新类型的车辆上路时，自主车辆需要在线并实时地学习和识别新车辆。这要求自主驾驶系统具有在线学习能力，以进行实时车辆识别。
[0006]深度学习是最流行的学习技术，但其不具有无监督的学习能力。结果，在有监督的学习中需要更多的训练样本来学习。此外，需要深度学习来完全重新训练学习系统，以学习新的对象和对象类别。因此，在自主驾驶中，深度学习技术可能不适用于在线车辆识别。
[0007]因此，持续需要用于自主驾驶系统的在线车辆识别的系统和方法。

技术实现思路

[0008]本专利技术涉及一种车辆识别的系统，并且更具体地，涉及一种用于自主驾驶的车辆识别的系统。所述系统包括非暂时性计算机可读介质以及一个或更多个处理器，所述非暂时性计算机可读介质编码有可执行指令，使得当执行所述可执行指令时，所述一个或更多个处理器执行多个操作。使用包括无监督学习部件和有监督学习部件的学习网络，所述系统通过以下步骤对从在所述自主驾驶环境中拍摄的视频提取的移动车辆图像进行学习和分类：从输入的移动车辆图像提取车辆特征数据；使用所述无监督学习部件将所提取的车辆特征数据自动聚类成不同车辆类别；以及使用所述有监督学习部件来生成所述不同车辆类别的车辆类别标记。基于所述自主驾驶环境中的一个或更多个移动车辆的车辆类别标记，选择将由自主车辆执行的动作。所述系统使所述自主车辆在所述自主驾驶环境中执行所选择的动作。
[0009]在另一方面，所述无监督学习部件是包括多个神经元的脉冲储备池网络(spiking reservoir network)，并且所述有监督学习部件是包括多个神经元的线性神经网络分类器。
[0010]在另一方面，所述脉冲储备池网络中的各个神经元完全连接至所述线性神经网络分类器中的所述多个神经元，并且其中，所述脉冲储备池网络与所述线性神经网络分类器之间的突触权重集是按照有监督学习法训练的。
[0011]在另一方面，所述线性神经网络分类器使用来自所述脉冲储备池网络的平均脉冲率来生成所述车辆类别标记。
[0012]在另一方面，在从未知移动车辆图像提取特征后，所述系统生成未知车辆识别信号；存储所述未知移动车辆的任何图像；当所存储的未知车辆的图像的数量达到阈值时，为所述未知移动车辆请求新车辆类别标记；以及学习所述新车辆类别。
[0013]在另一方面，在有监督学习之后存储突触权重，并且其中，为了学习新车辆类别，所存储的表示旧车辆类别的突触权重被用作用于无监督学习的初始权重。
[0014]在另一方面，将从新车辆类别学习的突触权重与所存储的突触权重组合，并且其中，组合的突触权重被用于对旧车辆类别和新车辆类别两者进行分类。
[0015]最后，本专利技术还包括计算机程序产品和计算机实现的方法。所述计算机程序产品包括在非暂时性计算机可读介质上存储的计算机可读指令，所述计算机可读指令能够由具有一个或更多个处理器的计算机执行，使得在执行所述指令时，所述一个或更多个处理器执行本文列出的操作。另选地，计算机实现的方法包括使计算机执行这种指令并且执行所得到的操作的动作。
附图说明
[0016]结合参考以下附图，本专利技术的目的、特征以及优点将从本专利技术的各个方面的以下详细描述变得显而易见，其中：
[0017]图1是对根据本公开的一些实施方式的车辆识别的系统的部件进行描绘的框图；
[0018]图2是根据本公开的一些实施方式的计算机程序产品的例示图；
[0019]图3是例示了根据本公开的一些实施方式的用于自主驾驶的在线车辆识别的图；
[0020]图4是例示了根据本公开的一些实施方式的在线学习系统的图；
[0021]图5是例示了根据本公开的一些实施方式的基于神经形态计算的在线学习系统的图；
[0022]图6是例示了根据本公开的一些实施方式的新类别的学习的图；
[0023]图7是根据本公开的一些实施方式的修改后的美国国家标准与技术研究院(MNIST)数据的样本的例示图；
[0024]图8是例示了根据本公开的一些实施方式的利用较小的训练数据集进行学习的分类结果的曲线图；
[0025]图9是例示了根据本公开的一些实施方式的对旧类别(0-4数字)进行分类的分类结果的曲线图；以及
[0026]图10是例示了根据本公开的一些实施方式的对新类别(5-9数字)进行分类的分类结果的曲线图。
具体实施方式
[0027]本专利技术涉及一种车辆识别的系统，并且更具体地，涉及一种用于自主驾驶的车辆
识别的系统。呈现以下描述以使本领域普通技术人员能够作出和使用本专利技术并将其结合到特定应用的上下文中。多种修改以及不同应用中的多种用途对于本领域技术人员来说是显而易见的，并且本文限定的总体原理可以应用于广泛方面。因此，本专利技术不旨在限于所呈现的方面，而是涵盖与本文所公开的原理和新颖特征相一致的最广范围。
[0028]在下面的详细说明中，阐述了许多具体细节，以便提供本专利技术的更透彻的理解。然而，对本领域技术人员来说显而易见的是，本专利技术可以在不限于这些具体细节的情况下来实施。在其它情况下，公知结构和装置按框图形式示出而不被详细示出，以免模糊本专利技术。
[0029]读者应留意与本说明书同时提交的所有文件和文档，这些文件和文档与本说明书一起公开以供公众查阅，所有这些文件和文档的内容通过引用并入于此。本说明书(包括任何所附权利要求、摘要以及附图)中公开的所有特征可以由用于相同、等同或相似目的的替代特征来代替，除非另有明确说明。因此，除非另有明确说明，否则所公开的各个特征仅仅是典型系列的等同或相似特征的一个示例。
[0030]此外，权利要求中的未明确陈述用于执行特定功能的“装置”或用于执行特定功能的“步骤”的任何要素不被解释为在35U.S.C.第112节第6款中指定的“装置”或“步骤”条款。具体地，在本文的权利要求中使用
“……
的步骤”或
“……
的动作”不旨在援引35U.S.C.第112节第6款的规定。
[0031]在详细描述本专利技术之前，首先提供了引用参考文献的列表。接下来，提供了本专利技术各个主要方本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于自主驾驶环境中的在线车辆识别的系统，所述系统包括：非暂时性存储器以及一个或更多个处理器，所述非暂时性存储器编码有指令，使得当执行所述指令时，所述一个或更多个处理器执行以下操作：使用包括无监督学习部件和有监督学习部件的学习网络，通过以下步骤对从在所述自主驾驶环境中拍摄的视频提取的移动车辆的图像进行学习和分类：从输入的移动车辆图像提取车辆特征数据；使用所述无监督学习部件将所提取的车辆特征数据自动聚类成不同车辆类别；以及使用所述有监督学习部件来生成所述不同车辆类别的车辆类别标记；以及基于所述自主驾驶环境中的一个或更多个移动车辆的车辆类别标记，选择将由自主车辆执行的动作；以及使所述自主车辆在所述自主驾驶环境中执行所选择的动作。2.根据权利要求1所述的系统，其中，所述无监督学习部件是包括多个神经元的脉冲储备池网络，并且所述有监督学习部件是包括多个神经元的线性神经网络分类器。3.根据权利要求2所述的系统，其中，所述脉冲储备池网络中的各个神经元完全连接至所述线性神经网络分类器中的所述多个神经元，并且其中，所述脉冲储备池网络与所述线性神经网络分类器之间的突触权重集是按照有监督学习法训练的。4.根据权利要求2所述的系统，其中，所述线性神经网络分类器使用来自所述脉冲储备池网络的平均脉冲率来生成所述车辆类别标记。5.根据权利要求1所述的系统，其中，在从未知移动车辆图像提取特征时，所述一个或更多个处理器执行以下操作：生成未知车辆识别信号；存储所述未知移动车辆的任何图像；当所存储的未知车辆的图像的数量达到阈值时，为所述未知移动车辆请求新车辆类别标记；以及学习所述新车辆类别。6.根据权利要求2所述的系统，其中，在有监督学习之后存储突触权重，并且其中，为了学习新车辆类别，所存储的表示旧车辆类别的突触权重被用作无监督学习的初始权重。7.根据权利要求6所述的系统，其中，将从新车辆类别学习的突触权重与所存储的突触权重组合，并且其中，组合的突触权重被用于对旧车辆类别和新车辆类别两者进行分类。8.一种用于自主驾驶环境中的在线车辆识别的计算机实现的方法，所述方法包括以下动作：使一个或更多个处理器执行被编码在非暂时性计算机可读介质上的指令，使得当执行所述指令时，所述一个或更多个处理器执行以下操作：使用包括无监督学习部件和有监督学习部件的学习网络，通过以下步骤对从在所述自主驾驶环境中拍摄的视频提取的移动车辆的图像进行学习和分类：从输入的移动车辆图像提取车辆特征数据；使用所述无监督学习部件将所提取的车辆特征数据自动聚类成不同车辆类别；以及使用所述有监督学习部件来生成所述不同车辆类别的车辆类别标记；以及基于所述自主驾驶环境中的一个或更多个移动车辆的车辆类别标记，选择将由自主车
辆执行的动作；以及使所述自主车辆在所述自主驾驶环境中执行所选择的动作。9.根据权利要求8所述的方法，其中，所述无监督学习部件是包括多个神经元的脉冲储备池网络，并且所述有监督学习部件是包括多个神经元的线性神经网络分类器。10.根据权利要求9所述的方法，其中，所述脉冲储备池网络中的各个神经元完全连接至所述线性神经网络分类器中的所述多个神经元，并且其中，所...

【专利技术属性】
技术研发人员：姜勤，曺永官，N，
申请(专利权)人：赫尔实验室有限公司，
类型：发明
国别省市：