后方障碍物检测和距离估算制造技术

本公开涉及用于估算或确定车辆运动和/或距后置摄像机的视野内的对象的距离的系统和方法。一种利用运动恢复结构进行后方障碍物检测的方法包括识别与第二帧中的特征对应的第一帧中的图像特征，其中第一帧和第二帧包括由车辆的后置摄像机捕获的相邻的图像帧。该方法包括基于图像特征来确定用于非平面运动模型的参数。该方法包括基于用于非平面运动模型的参数来确定摄像机运动。

Detection and distance estimation of rear obstacle

The present disclosure relates to a system and method for estimating or determining the distance between a vehicle movement and / or an object within a visual field of a rear camera. A method of rear obstacle detection using motion recovery structure includes identifying the image features in the first frame corresponding to the features in the second frame, where the first and the second frames include the adjacent image frames captured by the rear camera of the vehicle. The method includes the parameters based on the image feature to determine the non planar motion model. The method consists of parameters based on the non planar motion model to determine the motion of the camera.

【技术实现步骤摘要】
后方障碍物检测和距离估算
本公开涉及障碍物检测和对象距离估算，并且更具体地涉及利用用于车辆智能的单目后置摄像机采用自运动(ego-motion)补偿的对象距离估算。
技术介绍
机动车辆为商业、政府和私营企业提供很大一部分运输。目前正在开发和部署自主车辆和驾驶辅助系统以提供安全功能、减少所需的用户输入的量、或甚至完全消除用户参与。例如，一些驾驶辅助系统，例如防撞系统，当人正在驾驶时可以监测车辆和其他对象的行驶、位置和速度。当系统检测到碰撞或撞击即将发生时，防撞系统可以干预并施加制动、使车辆转向、或执行其他避免或安全操纵。作为另一个示例，自主车辆可以在很少或没有用户输入的情况下驾驶、导航和/或停放车辆。然而，由于驾驶涉及的危险性和车辆的费用，非常重要的是，自主车辆和驾驶辅助系统安全地操作并且能够在各种不同的驾驶环境中准确地导航道路。
技术实现思路
根据本专利技术，提供一种利用运动恢复结构进行后方障碍物检测的方法，该方法包括：识别与第二帧中的特征对应的第一帧中的图像特征，其中第一帧和第二帧包括由车辆的后置摄像机捕获的相邻的图像帧；基于图像特征来确定用于非平面运动模型的参数；以及基于用于非平面运动模型的参数来确定摄像机运动。根据本专利技术的一个实施例，该方法进一步包括基于第一帧或第二帧内的像素强度或二维位置中的一个或多个来将一个或多个特征点识别为同一对象的一部分。根据本专利技术的一个实施例，该方法进一步包括：在三维空间中重建特征点；以及基于第一帧和第二帧中的预定义地面区域内的特征点来确定特征点在三维空间中的位置的尺度。根据本专利技术的一个实施例，该方法进一步包括基于相应的特征点来确定一个或多个对象的高度。根据本专利技术的一个实施例，该方法进一步包括确定距高度高于阈值的一个或多个对象的距离。根据本专利技术的一个实施例，该方法进一步包括通知驾驶员或自动驾驶系统高度高于阈值的对象的存在。根据本专利技术的一个实施例，该方法进一步包括将特征分类为内围值和离群值，其中确定参数包括基于内围值来确定。根据本专利技术的一个实施例，该方法进一步包括对图像特征执行局部光束法平差以提高精度。根据本专利技术，提供一种利用运动恢复结构进行后方障碍物检测的系统，该系统包括：图像部件，该图像部件被配置为获得在车辆移动期间由单目摄像机捕获的一系列图像帧；特征部件，该特征部件被配置为识别与第二帧中的特征对应的第一帧中的图像特征，其中第一帧和第二帧包括一系列图像帧中的相邻的图像帧；模型参数部件，该模型参数部件被配置为基于图像特征来确定用于非平面运动模型的参数；以及运动部件，该运动部件被配置为基于用于非平面运动模型的参数来确定摄像机运动。根据本专利技术的一个实施例，该系统进一步包括对象检测部件，该对象检测部件被配置为基于第一帧或第二帧内的像素强度或二维位置中的一个或多个来将一个或多个特征点识别为同一对象的一部分。根据本专利技术的一个实施例，该系统进一步包括重建部件，该重建部件被配置为：在三维空间中重建特征点；并且基于第一帧和第二帧中的预定义地面区域内的特征点来确定特征点在三维空间中的位置的尺度。根据本专利技术的一个实施例，该系统进一步包括对象检测部件，该对象检测部件被配置为基于相应的特征点的位置来确定一个或多个对象的高度。根据本专利技术的一个实施例，该系统进一步包括距离部件，该距离部件被配置为确定距高度高于阈值的一个或多个对象的距离。根据本专利技术的一个实施例，该系统进一步包括通知部件，该通知部件被配置为通知驾驶员或自动驾驶系统高度高于阈值的一个或多个对象的存在。根据本专利技术的一个实施例，其中特征部件被进一步配置为将特征分类为内围值或离群值，其中模型参数部件被配置为确定参数包含基于内围值来确定。根据本专利技术的一个实施例，其中特征部件被进一步配置为对图像特征执行局部光束法平差以提高精度。根据本专利技术，提供一种计算机可读存储介质，该计算机可读存储介质存储指令，该指令当由一个或多个处理器执行时，使处理器：识别与第二帧中的特征对应的第一帧中的图像特征，其中第一帧和第二帧包括由车辆的后置摄像机捕获的相邻的图像帧；基于图像特征来确定用于非平面运动模型的参数；以及基于用于非平面运动模型的参数来确定摄像机运动。根据本专利技术的一个实施例，其中指令进一步使一个或多个处理器基于第一帧和第二帧内的像素强度或二维位置中的一个或多个来将一个或多个特征点识别为同一对象的一部分。根据本专利技术的一个实施例，其中指令进一步使一个或多个处理器：在三维空间中重建特征点；以及基于第一帧和第二帧中的预定义地面区域内的特征点来确定特征点在三维空间中的位置的尺度。根据本专利技术的一个实施例，其中指令进一步使一个或多个处理器基于相应的特征点来确定一个或多个对象的高度。附图说明本公开的非限制性和非穷尽性的实施方式参照以下附图进行描述，其中贯穿几个视图，相同的附图标记指代相同的部件，除非另有说明。参考以下说明书和附图，本公开的优点将变得更好理解，附图中：图1是根据一个实施例示出包括自动驾驶/辅助系统的车辆控制系统的实施方式的示意性框图；图2示出了示例驾驶环境的透视图；图3示出了另一示例驾驶环境的透视图；图4是根据一个实施例示出用于确定基本矩阵的对极几何模型的示意图；图5是根据一个实施例示出时间局部光束法平差(temporallocalbundleadjustment)的示意图；图6A是根据一个实施例示出距离估算的示图；图6B是根据一个实施例示出距离估算的另一示图；图7是根据一个实施例示出用于确定距对象的距离的方法的数据流的示意性框图；图8是根据一个实施方式示出对象距离部件的示例部件的示意性框图；图9是根据一个实施方式示出用于确定摄像机/车辆运动的方法的示意性框图；以及图10是根据一个实施方式示出计算系统的示意性框图。具体实施方式自动驾驶系统或驾驶辅助系统可以在决策、驻车、导航或驾驶期间使用来自多个源的数据来确定最佳路径或操纵。例如，车辆可能会遇到许多对象，包括静态的和动态的。对于这种对象的检测和分类，距对象的距离对于自主或辅助驾驶或驻车而言可以是重要信息。例如，检测障碍物并且估算距障碍物的距离是自动驻车系统的重要职责。智能车辆可能需要迅速检测并估算距障碍物的距离以进行车辆驻车操纵和紧急制动。在许多情况下，挑战是确定对象的高度，以及将移动对象与静止环境区分开。在本申请中，申请人公开了用于估算或确定车辆的运动和/或距后置摄像机视野内的对象的距离的系统、方法和装置。一种利用运动恢复结构(structurefrommotion)进行后方障碍物检测的系统包括图像部件、特征部件、模型参数部件和运动部件。图像部件被配置为获取在车辆移动期间由单目摄像机捕获的一系列图像帧。特征部件被配置为识别与第二帧中的特征对应的第一帧中的图像特征。第一帧和第二帧是一系列图像帧中的相邻的图像帧。模型参数部件被配置为基于图像特征来确定用于非平面运动模型的参数。运动部件被配置为基于用于平面运动模型的参数来确定摄像机运动。在一个实施例中，可以从附接到车辆的单色或彩色摄像机来收集图像。例如，摄像机可以包括后置摄像机，例如定位成向下角度以提供车辆后方的障碍物的视图的后置倒车摄像机。在一个实施例中，系统可以使用图像稀疏特征提取和匹配、摄像机校准、图像视角变换、摄像机运动估算、图像特征高度估算、图像与真实世本文档来自技高网...

【技术保护点】
一种利用运动恢复结构进行后方障碍物检测的方法，所述方法包括：识别与第二帧中的特征对应的第一帧中的图像特征，其中所述第一帧和所述第二帧包括由车辆的后置摄像机捕获的相邻的图像帧；基于所述图像特征来确定用于非平面运动模型的参数；以及基于用于所述非平面运动模型的所述参数来确定摄像机运动。

【技术特征摘要】
2016.10.07 US 15/288,0421.一种利用运动恢复结构进行后方障碍物检测的方法，所述方法包括：识别与第二帧中的特征对应的第一帧中的图像特征，其中所述第一帧和所述第二帧包括由车辆的后置摄像机捕获的相邻的图像帧；基于所述图像特征来确定用于非平面运动模型的参数；以及基于用于所述非平面运动模型的所述参数来确定摄像机运动。2.根据权利要求1所述的方法，进一步包括基于所述第一帧或所述第二帧内的像素强度或二维位置中的一个或多个来将一个或多个特征点识别为同一对象的一部分。3.根据权利要求1所述的方法，进一步包括：在三维空间中重建特征点；以及基于所述第一帧和所述第二帧中的预定义地面区域内的特征点来确定所述特征点在所述三维空间中的位置的尺度；基于相应的特征点来确定一个或多个对象的高度；确定距高度高于阈值的所述一个或多个对象的距离；以及通知驾驶员或自动驾驶系统所述高度高于所述阈值的所述对象的存在。4.根据权利要求1所述的方法，进一步包括将特征分类为内围值和离群值，其中确定所述参数包括基于所述内围值来确定。5.根据权利要求1所述的方法，进一步包括对所述图像特征执行局部光束法平差以提高精度。6.一种利用运动恢复结构进行后方障碍物检测的系统，所述系统包括：图像部件，所述图像部件被配置为获得在车辆移动期间由单目摄像机捕获的一系列图像帧；特征部件，所述特征部件被配置为识别与第二帧中的特征对应的第一帧中的图像特征，其中所述第一帧和所述第二帧包括所述一系列图像帧中的相邻的图像帧；模型参数部件，所述模型参数部件被配置为基于所述图像特征来确定用于非平面运动模型的参数；以及运动部件，所述运动部件被配置为基于用于所述非平面运动模型的所述参数来确定摄像机运动。7.根据权利要求6所述的系统，进一步包括对象检测部件，所述对象检测部件被配置为基于所述第一帧或所述第二帧内的像素强度或二维位置中的一个或多个来将一个或多个特征点...

【专利技术属性】
技术研发人员：张艺，维迪亚·那利亚姆布特·穆拉里，玛德琳·J·吴，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：美国,US