利用循环神经网络和级联特征映射的对象检测制造技术

根据一个实施例，一种系统包括传感器部件和检测部件。传感器部件配置成获取第一传感器数据流和第二传感器数据流，其中第一传感器数据流和第二传感器数据流中的每一者均包括多个传感器帧。检测部件配置成基于第一类型的传感器帧和第二类型的传感器帧来生成级联特征映射。检测部件配置成基于级联特征映射来检测一个或多个对象。生成和检测的其中一个或多个操作包括利用具有环式联系的神经网络来生成或检测，该环式联系馈送来自先前的帧的关于特征或对象的信息。

Object detection using recurrent neural network and cascaded feature maps

According to one embodiment, a system includes sensor components and detection components. The sensor component is configured to acquire a first sensor data stream and a second sensor data stream, wherein each of the first sensor data stream and the second sensor data stream includes a plurality of sensor frames. The detection section is configured to generate a cascade feature map based on the first type of sensor frame and the second type of sensor frame. The detection component is configured to detect one or more objects based on the cascade feature map. One or more of the operations of generation and detection includes generation or detection using a neural network with a loop that feeds information about features or objects from previous frames.

【技术实现步骤摘要】
利用循环神经网络和级联特征映射的对象检测
本公开大体上涉及用于检测对象或视觉特征的方法、系统以及设备，并且尤其是涉及利用循环神经网络和级联特征映射(concatenatedfeaturemap)进行对象检测的方法、系统以及设备。
技术介绍
机动车为商业、政府以及私人实体提供了很重要一部分运输。目前正在将自主车辆和驾驶辅助系统开发和部署成提供安全性，减少所需的用户输入量，或甚至完全消除用户参与。例如，一些驾驶辅助系统(例如防撞系统)可在人类驾驶时监测车辆和其他对象的驾驶、位置以及速度。当系统检测到即将发生碰撞或撞击时，防撞系统会介入并且施加制动、使车辆转向或者执行其他回避或安全操作。作为另一个示例，自主车辆可在很少或没有用户输入的情况下驾驶和导航车辆。基于传感器数据的对象检测通常是使自动化驾驶系统或驾驶辅助系统能够安全地识别和避开障碍或者安全驾驶所必需的。
技术实现思路
根据本专利技术，提供一种方法，该方法包括：基于第一类型的传感器帧和第二类型的传感器帧来生成级联特征映射；以及基于级联特征映射来检测一个或多个对象；其中生成和检测的其中一个或多个操作包括利用具有环式联系的神经网络来生成或检测，环式联系馈送来自先前的帧的关于特征或对象的信息。根据本专利技术的一个实施例，方法进一步包括基于第一类型的传感器帧来生成第一特征映射，并且基于第二类型的传感器帧来生成第二特征映射，其中生成级联特征映射包括：基于第一特征映射或第二特征映射中的高层特征来生成。根据本专利技术的一个实施例，生成级联特征映射包括：生成包含来自第一特征映射和第二特征映射两者的特征的融合特征映射。根据本专利技术的一个实施例，第一类型的传感器帧包括图像，并且第二类型的传感器帧包括深度图。根据本专利技术的一个实施例，神经网络前馈以下所列的一项或多项：前一级联特征映射中的特征；在前一帧或时间段中检测到的对象；以及前一传感器帧中的特征。根据本专利技术的一个实施例，第一类型的传感器帧包括第一类型的第一传感器帧，第二类型的传感器帧包括第二类型的第一传感器帧，级联特征映射包括第一级联特征映射，以及一个或多个对象包括一个或多个第一对象，其中方法进一步包括：基于第一类型的第二传感器帧和第二类型的第二传感器帧来生成第二级联特征映射；基于第二级联特征映射来检测一个或多个第二对象；以及利用神经网络的环式联系来前馈第二级联特征映射的特征或者一个或多个第二对象中的一项或多项以便生成第一级联特征映射或者检测一个或多个第一对象。根据本专利技术的一个实施例，神经网络包括输入层、一个或多个隐藏层以及分类层，其中在生成级联特征映射或者检测一个或多个对象期间，环式联系将来自先前的帧的分类层的输出馈送到下列中的一个或多个中：输入层或者一个或多个隐藏层中的一个隐藏层。根据本专利技术的一方面，提供一种系统，包括：一个或多个传感器部件，该一个或多个传感器部件配置成获取第一传感器数据流和第二传感器数据流，其中第一传感器数据流和第二传感器数据流中的每一者均包括多个传感器帧；检测部件，该检测部件配置成：基于第一类型的传感器帧和第二类型的传感器帧来生成级联特征映射；以及基于级联特征映射来检测一个或多个对象；其中生成和检测的其中一个或多个操作包括利用具有环式联系的神经网络来生成或检测，环式联系馈送来自先前的帧的关于特征或对象的信息。根据本专利技术的一个实施例，检测部件进一步配置成基于第一类型的传感器帧来生成第一特征映射，并且基于第二类型的传感器帧来生成第二特征映射，其中检测部件通过基于第一特征映射或第二特征映射中的高层特征生成来生成级联特征映射。根据本专利技术的一个实施例，检测部件配置成通过生成包含来自第一特征映射和第二特征映射两者的特征的融合特征映射来生成级联特征映射。根据本专利技术的一个实施例，第一类型的传感器帧包括图像，并且第二类型的传感器帧包括深度图。根据本专利技术的一个实施例，神经网络的环式联系前馈以下所列的一项或多项：前一级联特征映射中的特征；基于先前的帧或前一时间段检测到的对象；以及前一传感器帧中的特征。根据本专利技术的一个实施例，第一类型的传感器帧包括第一类型的第一传感器帧，第二类型的传感器帧包括第二类型的第一传感器帧，级联特征映射包括第一级联特征映射，以及一个或多个对象包括一个或多个第一对象，其中检测部件进一步配置成：基于第一类型的第二传感器帧和第二类型的第二传感器帧来生成第二级联特征映射；基于第二级联特征映射来检测一个或多个第二对象；以及利用神经网络的环式联系来前馈第二级联特征映射的特征或者一个或多个第二对象中的一项或多项以便生成第一级联特征映射或者检测一个或多个第一对象。根据本专利技术的一个实施例，神经网络包括输入层、一个或多个隐藏层以及分类层，其中在生成级联特征映射或者检测一个或多个对象期间，环式联系将来自先前的帧的分类层输出馈送到输入层或者一个或多个隐藏层中的一个隐藏层的一个或多个中。根据本专利技术，提供一种计算机可读存储介质，该计算机可读存储介质存储指令，该指令在由一个或多个处理器执行时使一个或多个处理器执行以下所列的操作：获取第一传感器数据流和第二传感器数据流，其中第一传感器数据流和第二传感器数据流中的每一者均包括多个传感器帧；基于第一类型的传感器帧和第二类型的传感器帧来生成级联特征映射；以及基于级联特征映射来检测一个或多个对象；其中生成和检测的其中一个或多个操作包括利用具有环式联系的神经网络来生成或检测，环式联系馈送来自先前的帧的关于特征或对象的信息。根据本专利技术的一个实施例，指令进一步使一个或多个处理器基于第一类型的传感器帧来生成第一特征映射，并且基于第二类型的传感器帧来生成第二特征映射，其中指令使一个或多个处理器通过基于第一特征映射或第二特征映射中的高层特征生成来生成级联特征映射。根据本专利技术的一个实施例，指令使一个或多个处理器通过生成包含来自第一特征映射和第二特征映射两者的特征的融合特征映射来生成级联特征映射。根据本专利技术的一个实施例，第一类型的传感器帧包括图像，并且第二类型的传感器帧包括深度图。根据本专利技术的一个实施例，指令进一步使一个或多个处理器利用神经网络的环式联系前馈以下所列的一项或多项：前一级联特征映射中的特征；基于先前的帧或前一时间段检测到的对象；以及前一传感器帧中的特征。根据本专利技术的一个实施例，第一类型的传感器帧包括第一类型的第一传感器帧，第二类型的传感器帧包括第二类型的第一传感器帧，级联特征映射包括第一级联特征映射，以及一个或多个对象包括一个或多个第一对象，其中指令进一步使一个或多个处理器执行以下所列的操作：基于第一类型的第二传感器帧和第二类型的第二传感器帧来生成第二级联特征映射；基于第二级联特征映射来检测一个或多个第二对象；以及利用神经网络的环式联系来前馈第二级联特征映射的特征或者一个或多个第二对象中的一项或多项以便生成第一级联特征映射或者检测一个或多个第一对象。附图说明参考如下附图来描述本公开的非限制性和非穷举的实施方式，其中，除非另有详细说明，否则相似的附图标记在各视图中始终指的是相似的部件。参照以下描述和附图，本公开的优点将变得更好理解，在附图中：图1为示出了包括自动化驾驶/辅助系统的车辆控制系统的实施方式的示意性框图；图2为示出了根据一种实施方式的具有环式联系(recurrentconnection本文档来自技高网...

【技术保护点】
1.一种方法，包括：基于第一类型的传感器帧和第二类型的传感器帧来生成级联特征映射；以及基于所述级联特征映射来检测一个或多个对象；其中生成和检测的其中一个或多个操作包括利用具有环式联系的神经网络来生成或检测，所述环式联系馈送来自先前的帧的关于特征或对象的信息。

【技术特征摘要】
2017.01.24 US 15/414,3831.一种方法，包括：基于第一类型的传感器帧和第二类型的传感器帧来生成级联特征映射；以及基于所述级联特征映射来检测一个或多个对象；其中生成和检测的其中一个或多个操作包括利用具有环式联系的神经网络来生成或检测，所述环式联系馈送来自先前的帧的关于特征或对象的信息。2.根据权利要求1所述的方法，其中所述方法包括下列一个或多个步骤：基于所述第一类型的所述传感器帧来生成第一特征映射，并且基于所述第二类型的所述传感器帧来生成第二特征映射，其中生成所述级联特征映射包括：基于所述第一特征映射或所述第二特征映射中的高层特征来生成；以及其中生成所述级联特征映射包括：生成包含来自所述第一特征映射和所述第二特征映射两者的所述特征的融合特征映射。3.根据权利要求1所述的方法，其中所述神经网络前馈以下所列的一项或多项：前一级联特征映射中的特征；在前一帧或时间段中检测到的对象；以及前一传感器帧中的特征。4.根据权利要求1所述的方法，其中所述神经网络包括输入层、一个或多个隐藏层以及分类层，其中在生成所述级联特征映射或者检测所述一个或多个对象期间，所述环式联系将来自所述先前的帧的所述分类层的输出馈送到以下所列的一个或多个中：所述输入层或者所述一个或多个隐藏层中的一个隐藏层。5.根据权利要求1所述的方法，其中所述方法包括以下所列的一项或多项：其中所述第一类型的所述传感器帧包括图像，并且其中所述第二类型的所述传感器帧包括深度图；或者其中所述第一类型的所述传感器帧包括所述第一类型的第一传感器帧，所述第二类型的所述传感器帧包括所述第二类型的第一传感器帧，所述级联特征映射包括第一级联特征映射，以及所述一个或多个对象包括一个或多个第一对象，其中所述方法进一步包括：基于所述第一类型的第二传感器帧和所述第二类型的第二传感器帧来生成第二级联特征映射；基于所述第二级联特征映射来检测一个或多个第二对象；以及利用所述神经网络的所述环式联系来前馈所述第二级联特征映射的特征或者所述一个或多个第二对象中的一项或多项以便生成所述第一级联特征映射或者检测所述一个或多个第一对象。6.一种系统，包括：一个或多个传感器部件，所述一个或多个传感器部件配置成获取第一传感器数据流和第二传感器数据流，其中所述第一传感器数据流和所述第二传感器数据流中的每一者均包括多个传感器帧；检测部件，所述检测部件配置成：基于第一类型的传感器帧和第二类型的传感器帧来生成级联特征映射；以及基于所述级联特征映射来检测一个或多个对象；其中生成和检测的其中一个或多个操作包括利用具有环式联系的神经网络来生成或检测，所述环式联系馈送来自先前的帧的关于特征或对象的信息。7.根据权利要求6所述的系统，其中所述检测部件进一步配置成执行以下所列的一项或多项操作：基于所述第一类型的所述传感器帧来生成第一特征映射，并且基于所述第二类型的所述传感器帧来生成第二特征映射，其中所述检测部件通过基于所述第一特征映射或所述第二特征映射中的高层特征生成来生成所述级联特征映射；以及通过生成包含来自所述第一特征映射和所述第二特征映射两者的所述特征的融合特征映射来生成所述级联特征映射。8.根据权利要求6所述的系统，其中所述传感器帧包括以下所列的一项或多项：其中所述第一类型的所述传感器帧包括图像，并且其中所述第二类型的所述传感器帧包括深度图；或者其中所述第一类型的所述...

【专利技术属性】
技术研发人员：盖伊·霍特森，帕尔萨·马哈茂迪尔，维迪亚·那利亚姆布特·穆拉里，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：美国,US