使用单目摄像机和深度学习的自由空间检测制造技术

根据一个实施例，一种用于检测车辆附近的自由空间的方法包括获得车辆附近区域的图像。该方法包括基于图像产生多个输出，每个输出指示可驾驶区域的边界所在的图像的图像列的高度。该方法还包括基于多个输出来选择车辆保持在可驾驶区域内的驾驶指示或驾驶操纵。

Free space detection using monocular camera and deep learning

According to one embodiment, a method for detecting free space near a vehicle includes obtaining an image of an area near the vehicle. The method includes generating a plurality of outputs based on an image, each of which indicates the height of the image column where the boundary of the driving area is located. The method also includes selecting a driving instruction or a driving manipulation in which the vehicle remains within the driving area based on a plurality of outputs.

【技术实现步骤摘要】
使用单目摄像机和深度学习的自由空间检测
本公开总体上涉及用于自由空间检测的方法、系统和装置，并且更具体地涉及使用单目摄像机图像和深度学习来进行自由空间检测的方法、系统和装置。
技术介绍
汽车为商业、政府和私人实体提供很大一部分运输。目前正在开发和部署自主车辆和驾驶辅助系统以提供安全性、减少所需的用户输入量甚至完全消除用户参与。例如，诸如防撞系统的一些驾驶辅助系统可以在人类驾驶时监控车辆的驾驶、位置和速度以及其他物体。当系统检测到即将发生碰撞或撞击时，防撞系统可能会介入并施加制动、转向车辆或执行其他回避或安全操作。作为另一个示例，自主车辆可以在很少或没有用户输入的情况下驾驶和导航车辆。为了使自动驾驶系统或驾驶辅助系统能够安全地导航道路或驾驶路线，通常需要准确和快速地检测可驾驶的表面或区域。
技术实现思路
根据本专利技术，提供一种用于检测车辆附近的自由空间的方法，所述方法包括：获得车辆附近区域的图像；基于所述图像产生多个输出，所述多个输出中的每一个指示可驾驶区域的边界所在的所述图像的图像列的高度；以及基于所述多个输出来选择用于所述车辆保持在所述可驾驶区域内的驾驶指示或驾驶操纵。根据本专利技术的一个实施例，该方法还包括使用卷积神经网络(CNN)和输出层处理所述图像，其中生成所述多个输出包括使用所述输出层生成。根据本专利技术的一个实施例，该方法还包括提供所述图像的每个像素作为所述CNN的输入，其中所述图像包括缩放或裁剪版本以匹配所述CNN的输入层的尺寸。根据本专利技术的一个实施例，其中所述CNN包括基于训练数据训练的CNN，所述训练数据包括：驾驶环境的多个图像；以及标记数据，所述标记数据指示所述多个图像中的每一个的每个离散图像列的离散高度，其中所述离散高度包括用于可驾驶动区域的边界所在的离散行的值。根据本专利技术的一个实施例，该方法还包括训练所述CNN。根据本专利技术的一个实施例，其中生成每个指示高度的多个输出包括生成与图像的离散行的数量相对应的离散高度，其中图像的离散行的数量小于图像的像素行的数量。根据本专利技术的一个实施例，其中图像列的数量小于图像的像素列的数量。根据本专利技术，提供一种用于检测车辆附近的自由空间的系统，所述系统包括：传感器组件，所述传感器组件被配置为获得车辆附近区域的图像；自由空间组件，所述自由空间组件被配置为基于所述图像生成多个输出，所述多个输出中的每一个指示可驾驶区域的边界所在的图像的图像列的高度；以及操纵组件，所述操纵组件被配置为基于所述多个输出来选择所述车辆保持在所述可驾驶区域内的驾驶指示或驾驶操纵。根据本专利技术的一个实施例，其中所述自由空间组件使用卷积神经网络(CNN)和输出层来处理所述图像，其中所述输出层生成多个输出；根据本专利技术的一个实施例，其中自由空间组件被配置为接收图像的每个像素作为CNN的输入，其中图像包括缩放或裁剪版本以匹配输入层的尺寸。根据本专利技术的一个实施例，其中所述CNN包括基于训练数据训练的CNN，所述训练数据包括：驾驶环境的多个图像；以及标记数据，所述标记数据指示所述多个图像中的每一个的每个离散图像列的离散高度，其中所述离散高度包括用于可驾驶区域的边界所在的离散行的值。根据本专利技术的一个实施例，其中高度指示对应于图像的离散行的数量的离散高度，其中图像的离散行的数量小于图像的像素行的数量。根据本专利技术的一个实施例，其中图像列的数量少于图像的水平像素列的数量。根据本专利技术，提供一种存储指令的非临时性计算机可读存储介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行以下操作：获得车辆附近区域的图像；基于所述图像产生多个输出，所述多个输出中的每一个指示可驾驶区域的边界所在的所述图像的图像列的高度；以及基于所述多个输出来选择所述车辆保持在所述可驾驶区域内的驾驶指示或驾驶操纵。根据本专利技术的一个实施例，其中所述一个或多个指令使所述一个或多个处理器使用卷积神经网络(CNN)和输出层处理所述图像，其中所述指令使得所述一个或多个处理器使用所述输出层来生成所述多个输出。根据本专利技术的一个实施例，其中所述一个或多个指令还使得所述一个或多个处理器提供所述图像的每个像素作为所述CNN的输入，其中所述图像包括缩放或裁剪版本以匹配所述CNN的输入层的尺寸。根据本专利技术的一个实施例，其中CNN包括基于训练数据训练的CNN，所述训练数据包括：驾驶环境的多个图像；以及标记数据，所述标记数据指示所述多个图像中的每一个的每个离散图像列的离散高度，其中所述离散高度包括用于可驾驶区域的边界所在的离散行的值，其中所述标记数据对应于所述多个输出。根据本专利技术的一个实施例，其中所述一个或多个指令还使所述一个或多个处理器训练所述CNN。根据本专利技术的一个实施例，其中一个或多个指令使得一个或多个处理器通过生成对应于图像的离散行的数量的离散高度来生成每个指示高度的多个输出，其中图像的离散行的数量小于图像的像素行的数量。根据本专利技术的一个实施例，其中图像列的数量小于图像的像素列的数量。附图说明参考以下附图来描述本公开的非限制性和非穷举性实施方式，其中在各个视图中相同的附图标记指代相同的部分，除非另有说明。参照以下描述和附图，本公开的优点将变得更好理解，其中：图1是示出包括自动驾驶/辅助系统的车辆控制系统的实施方式的示意性框图；图2示出了根据一个实施方式的用于使图像离散化的网格；图3、4和5示出了根据一个实施方式的具有反映可驾驶表面边界的离散位置的重叠标记的捕获图像；图6、7、8、9、10和11示出了根据一个实施例的连接推断边界标记的边界线；图12是示出根据一个实施方式的通过用于自由空间或可驾驶表面检测的神经网络的信息流的示意性流程图；图13是示出根据一个实施方式的可驾驶区域组件的组件的示意性框图；图14是示出根据一个实施方式的用于自由空间检测的方法的示意性流程图；以及图15是示出根据一个实施方式的计算系统的示意性框图。具体实施方式可驾驶的表面或区域的定位是允许和改进自主车辆的操作或驾驶员辅助功能的重要部分。例如，车辆必须精确地知道在哪里有障碍物或可驾驶表面，以安全地导航。然而，当没有深度或先前的地图信息可用时，估计可驾驶表面是具有挑战性的，并且简单的颜色阈值解决方案不能产生稳健的解决方案。申请人已经开发了用于自由空间检测的系统、方法和设备。在一个实施例中，可以使用单个摄像机图像来执行自由空间检测。例如，对于给定的摄像机图像，如本文所公开的自由空间检测可以指示车辆能够在撞击障碍物或离开可驾驶表面之前在每个图像列内行进多远。根据一个实施例，一种用于检测车辆附近的自由空间的系统包括传感器组件、自由空间组件和操纵组件。传感器组件被配置为获得车辆附近区域的图像。自由空间组件被配置为基于图像生成多个输出，每个输出指示可驾驶区域的边界所位于的图像的图像列的高度。操纵组件被配置成基于多个输出来选择车辆保持在可驾驶区域内的行驶指示或驾驶操纵。将结合下面的附图讨论另外的实施例和示例。现在参照附图，图1示出了可用于自动定位车辆的示例车辆控制系统100。自动驾驶/辅助系统102可以用于自动化或控制车辆的操作或向人类驾驶员提供辅助。例如，自动驾驶/辅助系统102可以控制车辆的制动、转向、加速、灯、警报、驾驶员通知、无线电或任何其他辅助系统中的一个或多个。在另一示例中，自本文档来自技高网...

【技术保护点】
1.一种用于检测车辆附近的自由空间的方法，所述方法包括：获得车辆附近区域的图像；基于所述图像产生多个输出，所述多个输出中的每一个指示可驾驶区域的边界所在的所述图像的图像列的高度；以及基于所述多个输出来选择用于所述车辆保持在所述可驾驶区域内的驾驶指示或驾驶操纵。

【技术特征摘要】
2017.02.23 US 15/440,8731.一种用于检测车辆附近的自由空间的方法，所述方法包括：获得车辆附近区域的图像；基于所述图像产生多个输出，所述多个输出中的每一个指示可驾驶区域的边界所在的所述图像的图像列的高度；以及基于所述多个输出来选择用于所述车辆保持在所述可驾驶区域内的驾驶指示或驾驶操纵。2.根据权利要求1所述的方法，其中包括以下中的一个或多个：所述方法还包括使用卷积神经网络(CNN)和输出层处理所述图像，其中生成所述多个输出包括使用所述输出层生成；生成每个指示所述高度的所述多个输出包括生成与所述图像的离散行的数量相对应的离散高度，其中所述图像的所述离散行的所述数量小于所述图像的像素行的数量；或者其中图像列的数量小于所述图像的像素列的数量。3.根据权利要求2所述的方法，还包括提供所述图像的每个像素作为所述CNN的输入，其中所述图像包括缩放或裁剪版本以匹配所述CNN的输入层的尺寸。4.根据权利要求2-3中任一项所述的方法，其中所述CNN包括基于训练数据训练的CNN，所述训练数据包括：驾驶环境的多个图像；以及标记数据，所述标记数据指示所述多个图像中的每一个的每个离散图像列的离散高度，其中所述离散高度包括用于可驾驶动区域的边界所在的离散行的值。5.根据权利要求4所述的方法，还包括训练所述CNN。6.一种用于检测车辆附近的自由空间的系统，所述系统包括：传感器组件，所述传感器组件被配置为获得车辆附近区域的图像；自由空间组件，所述自由空间组件被配置为基于所述图像生成多个输出，所述多个输出中的每一个指示可驾驶区域的边界所在的所述图像的图像列的高度；以及操纵组件，所述操纵组件被配置为基于所述多个输出来选择所述车辆保持在所述可驾驶区域内的驾驶指示或驾驶操纵。7.根据权利要求6所述的系统，其中包括以下中的一个或多个：所述自由空间组件使用卷积神经网络(CNN)和输出层来处理所述图像，其中所述输出层生成所述多个输出；所述高度指示与所述图像的离散行的数量相对应的离散高度，其中所述图像的所述离散行的所述数量小于所述图像的像素行的数量；或者图像列的数量少于所述图像的水平像素列的数量。8.根据权...

【专利技术属性】
技术研发人员：莫森·拉克哈尔·阿亚特，马修·庄，亚历山德鲁·米哈伊·古尔吉安，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：美国,US