用于对象检测的循环深度卷积神经网络制造技术

根据一个实施例，一种系统包括传感器部件以及检测部件。传感器部件配置成获取多个传感器帧，其中多个传感器帧包括随着时间的推移捕捉到的一系列传感器帧。检测部件配置成利用神经网络来检测传感器帧内的对象或特征。神经网络包括环式联系，该环式联系将在第一传感器帧中检测到的对象的指示前馈到神经网络中的一个或多个层中以用于随后的第二传感器帧。

【技术实现步骤摘要】
用于对象检测的循环深度卷积神经网络
本公开大体上涉及用于检测对象或视觉特征的方法、系统以及设备，并且尤其是涉及利用循环深度卷积神经网络进行对象检测的方法、系统以及设备。
技术介绍
机动车为商业、政府以及私人实体提供了很重要一部分运输。目前正在将自主车辆和驾驶辅助系统开发和部署成提供安全性，减少所需的用户输入量，或甚至完全消除用户参与。例如，一些驾驶辅助系统(例如防撞系统)可在人类驾驶时监测车辆和其他对象的驾驶、位置以及速度。当系统检测到即将发生碰撞或撞击时，防撞系统会介入并且施加制动、使车辆转向或者执行其他回避或安全操作。作为另一个示例，自主车辆可在很少或没有用户输入的情况下驾驶和导航车辆。基于传感器数据的对象检测通常是使自动化驾驶系统或驾驶辅助系统能够安全地识别和避开障碍或者安全驾驶所必需的。
技术实现思路
根据本专利技术的一方面，提供一种方法，该方法包括：利用一个或多个神经网络来确定指示对象或特征的存在的第一传感器帧的输出；前馈第一传感器帧的输出作为用于处理第二传感器帧的输入；以及基于第一传感器帧的输出来确定指示对象或特征的存在的第二传感器帧的输出。根据本专利技术的一个实施例，前馈第一传感器帧的输出包括：利用输出层与一个或多个神经网络的一个或多个层之间的环式联系来进行前馈。根据本专利技术的一个实施例，一个或多个神经网络包括包含输入层、一个或多个隐藏层以及分类层的神经网络，其中前馈第一传感器帧的输出包括：在处理第二传感器帧期间将分类层的输出馈送到以下所列的一个或多个中：输入层或者一个或多个隐藏层中的一个隐藏层。根据本专利技术的一个实施例，确定第一传感器帧和第二传感器帧的输出包括：确定第一传感器帧和第二传感器帧的多个子区域的输出，其中前馈第一传感器帧的多个子区域的输出作为用于确定第二传感器帧的多个子区域的输出的输入。根据本专利技术的一个实施例，确定第一传感器帧和第二传感器帧的多个子区域的输出包括：确定传感器帧的不同大小的子区域的输出以检测不同大小的特征或对象。根据本专利技术的一个实施例，第一传感器帧和第二传感器帧的输出各自包括以下所列的一项或多项：检测到的对象或特征的类型的指示；或者对象或特征的位置的指示。根据本专利技术的一个实施例，方法进一步包括基于检测到的对象或特征来确定驾驶操作。根据本专利技术的一个实施例，方法进一步包括训练一个或多个神经网络以利用来自早先的帧的输出来生成基于随后的传感器帧的数据的输出。根据本专利技术的一方面，提供一种系统，该系统包括：传感器部件，该传感器部件配置成获取多个传感器帧，其中多个传感器帧包括随着时间的推移捕捉到的一系列传感器帧；以及检测部件，该检测部件配置成利用神经网络来检测传感器帧内的对象或特征，其中神经网络包括环式联系，该环式联系将在第一传感器帧中检测到的对象的指示前馈到神经网络中的一个或多个层中以用于随后的第二传感器帧。根据本专利技术的一个实施例，神经网络包括输入层、一个或多个隐藏层以及分类层，其中环式联系在处理第二传感器帧期间将分类层的输出馈送到以下所列的一个或多个中：输入层或者一个或多个隐藏层中的一个隐藏层。根据本专利技术的一个实施例，检测部件利用神经网络来确定第一传感器帧和第二传感器帧的多个子区域的输出，其中利用包括该环式联系的多个环式联系来前馈第一传感器帧的多个子区域的输出作为用于确定第二传感器帧的多个子区域的输出的输入。根据本专利技术的一个实施例，检测部件通过确定传感器帧的不同大小的子区域的输出以检测不同大小的特征或对象来确定第一传感器帧和第二传感器帧的多个子区域的输出。根据本专利技术的一个实施例，检测部件利用神经网络来确定以下所列的一项或多项：检测到的对象或特征的类型的指示；或者对象或特征的位置的指示。根据本专利技术的一方面，提供计算机可读存储介质，该计算机可读存储介质存储指令，该指令在由一个或多个处理器执行时使一个或多个处理器执行以下操作：获取多个传感器帧，其中多个传感器帧包括随着时间的推移捕捉到的一系列传感器帧；以及利用神经网络来检测传感器帧内的对象或特征，其中神经网络包括环式联系，该环式联系将在第一传感器帧中检测到的对象的指示前馈到神经网络中的一个或多个层中以用于随后的第二传感器帧。根据本专利技术的一个实施例，神经网络包括输入层、一个或多个隐藏层以及分类层，其中环式联系在处理第二传感器帧期间将分类层的输出馈送到以下所列的一个或多个中：输入层或者一个或多个隐藏层中的一个隐藏层的一个或多个中。根据本专利技术的一个实施例，指令使一个或多个处理器利用神经网络来确定第一传感器帧和第二传感器帧的多个子区域的输出，其中利用包括环式联系的多个环式联系来前馈第一传感器帧的多个子区域的输出作为用于确定第二传感器帧的多个子区域的输出的输入。根据本专利技术的一个实施例，指令使一个或多个处理器通过确定传感器帧的不同大小的子区域的输出以检测不同大小的特征或对象来确定第一传感器帧和第二传感器帧的多个子区域的输出。根据本专利技术的一个实施例，指令使一个或多个处理器输出以下所列的一项或多项：检测到的对象或特征的类型的指示；或者对象或特征的位置的指示。根据本专利技术的一个实施例，指令进一步使一个或多个处理器基于检测到的对象或特征来确定驾驶操作。根据本专利技术的一个实施例，第一传感器帧和随后的第二传感器帧包括图像数据、激光雷达数据、雷达数据以及红外图像数据中的一种或多种。附图说明参考如下附图来描述本公开的非限制性和非穷举的实施方式，其中，除非另有详细说明，否则相似的附图标记在各视图中始终指的是相似的部件。参照以下描述和附图，本公开的优点将变得更好理解，在附图中：图1为示出了包括自动化驾驶/辅助系统的车辆控制系统的实施方式的示意性框图；图2为示出了根据一种实施方式的具有环式联系(recurrentconnection)的神经网络的示意性框图；图3示出了根据一种实施方式的由车辆摄像机捕捉到的道路立体图；图4为示出了根据一种实施方式在对象检测期间传感器数据的帧之间的时态信息的合并的示意性框图；图5为示出了根据一种实施方式的对象检测方法的示意性流程图；以及图6为示出了根据一种实施方式的计算系统的示意性框图。具体实施方式出于安全性原因，智能或自主车辆可能需要能够对动态环境中的对象进行分类。深度卷积神经网络在对象识别领域中已取得了巨大的成功，在某些情况下甚至超过了人类的表现。深度卷积神经网络可非常精于提取在图像内高层特征所在的区域的映射。这些特征映射可以从静态图像的卷积中提取，然后用于图像或对象识别。在图像/视频内的对象检测的当前发展状况已集中在从静态图像中提取特征映射，然后将该特征映射分别馈送到用于对象检测/分类和定位的分类和回归模型中。因此，虽然深度卷积神经网络在对象识别领域中已取得了巨大的成功，但是对场景内的未知数量的对象的检测产生了更大的挑战。虽然最近的创新已在检测静态图像内的对象方面取得了令人印象深刻的结果，但是申请人已经意识到，现有的模型缺乏利用时态信息来在视频或者其他传感器数据串或数据流内进行对象检测的能力。这可能导致不稳定的对象定位，特别是当对象暂时被遮挡时。在本公开中，申请人公开了在从视频序列中提取特征映射时利用分类和回归模型(例如神经网络)内的环式联系。根据一个实施例，一种系统包括传感器部件和检测部件。传感器部件配置成获取多个传感器帧，其中多本文档来自技高网...

【技术保护点】
1.一种方法，包括：利用一个或多个神经网络来确定指示对象或特征的存在的第一传感器帧的输出；前馈所述第一传感器帧的所述输出作为用于处理第二传感器帧的输入；以及基于所述第一传感器帧的所述输出来确定指示对象或特征的存在的所述第二传感器帧的输出。

【技术特征摘要】
2017.01.20 US 15/411,6561.一种方法，包括：利用一个或多个神经网络来确定指示对象或特征的存在的第一传感器帧的输出；前馈所述第一传感器帧的所述输出作为用于处理第二传感器帧的输入；以及基于所述第一传感器帧的所述输出来确定指示对象或特征的存在的所述第二传感器帧的输出。2.根据权利要求1所述的方法，其中所述方法包括以下所列的一项或多项：前馈所述第一传感器帧的所述输出包括：利用输出层与所述一个或多个神经网络的一个或多个层之间的环式联系来进行前馈；所述一个或多个神经网络包括包含输入层、一个或多个隐藏层以及分类层的神经网络，其中前馈所述第一传感器帧的所述输出包括：在处理所述第二传感器帧期间将所述分类层的输出馈送到以下所列的一个或多个中：所述输入层或者所述一个或多个隐藏层中的一个隐藏层；确定所述第一传感器帧和所述第二传感器帧的所述输出包括：确定所述第一传感器帧和所述第二传感器帧的多个子区域的输出，其中前馈所述第一传感器帧的所述多个子区域的所述输出作为用于确定所述第二传感器帧的所述多个子区域的所述输出的输入；以及确定所述第一传感器帧和所述第二传感器帧的所述多个子区域的所述输出包括：确定所述传感器帧的不同大小的子区域的输出以检测不同大小的特征或对象。3.根据权利要求1所述的方法，其中所述第一传感器帧和所述第二传感器帧的所述输出各自包括以下所列的一项或多项：检测到的对象或特征的类型的指示；或者所述对象或所述特征的位置的指示。4.根据权利要求1所述的方法，进一步包括基于检测到的对象或特征来确定驾驶操作。5.根据权利要求1所述的方法，进一步包括训练所述一个或多个神经网络以利用来自早先的帧的输出来生成基于随后的传感器帧的数据的输出。6.一种系统，包括：传感器部件，所述传感器部件配置成获取多个传感器帧，其中所述多个传感器帧包括随着时间的推移捕捉到的一系列传感器帧；以及检测部件，所述检测部件配置成利用神经网络来检测传感器帧内的对象或特征，其中所述神经网络包括环式联系，所述环式联系将在第一传感器帧中检测到的对象的指示前馈到所述神经网络中的一个或多个层中以用于随后的第二传感器帧。7.根据权利要求6所述的系统，其中所述神经网络包括输入层、一个或多个隐藏层以及分类层，其中所述环式联系在处理所述第二传感器帧期间将所述分类层的输出馈送到以下所列的一个或多个中：所述输入层或者所述一个或多个隐藏层中的一个隐藏层。8.根据权利要求6所述的系统，其中所述检测部件执行以下所列的...

【专利技术属性】
技术研发人员：盖伊·霍特森，维迪亚·那利亚姆布特·穆拉里，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：美国,US