基于单目计算机视觉技术的目标对象距离测量方法与系统技术方案

本发明专利技术公开了一种基于单目计算机视觉技术的目标对象距离测量方法与系统，该方法包括以下步骤：通过摄像头实时采集车辆前方或后方的序列图像；根据采集的序列图像确定天际线的参考高度；以序列图像中物理尺寸不变的目标为目标对象，通过目标检测方法，确定用于距离测量的目标对象特征像素尺寸；通过光学几何模型，确定目标对象的物理尺寸；通过数据平滑方法对目标对象特征像素尺寸计算结果进行平滑，以输出稳定的物理尺寸，然后计算目标的真实特征尺寸；基于计算得到的真实特征尺寸，通过光学几何模型计算得到目标对象的距离。本发明专利技术较为全面的考虑了影响影响距离测量精度的多个因素，提高了计算的精度。

Target object distance measurement method and system based on monocular computer vision technology

The invention discloses a method and system based on monocular computer vision target distance measurement method, the method includes the following steps: image sequence through real-time camera acquisition vehicle front or rear of the skyline; according to the determined reference height image sequence acquisition; in the physical size of image sequence invariant target object the target detection method for measuring distance, determine the target object feature pixel size; through the optical geometry model, determine the physical size of the target object; calculation of the target object feature pixel size results are smoothed through data smoothing method, the physical size of the stable output characteristics, real size and then calculating the target size calculated by the real characteristics; based on the target object through the optical distance geometry calculation. The invention comprehensively considers the factors that influence the measurement accuracy of distance, and improves the calculation accuracy.

【技术实现步骤摘要】
基于单目计算机视觉技术的目标对象距离测量方法与系统
本专利技术涉及辅助驾驶技术，尤其涉及一种基于单目计算机视觉技术的目标对象距离测量方法与系统。
技术介绍
汽车电子领域中，高级辅助驾驶系统(AdvancedDrivingAssistantSystem,ADAS)的距离监测预警功能(HeadwayMonitoringWarning,HMW)及碰撞预警功能(ForwardCollisionWarning,FCW)就必须依赖于距离测量元器件及算法。更进一步，如果要实现自适应巡航(AdaptiveCruiseControl，ACC)和自动紧急刹车(AutonomousEmergencyBraking,AEB)功能，距离的测量必须达到足够高的精度。目前，实现前方障碍物距离测量的主流技术主要有两种，第一种是靠单目/双目摄像头采集图像，识别障碍物并给出预警或刹车指令；第二种是靠毫米波雷达判定前方障碍物，测量与障碍物的相对运动趋势并作出刹车指令或预警提醒。对测距元器件而语言，基于毫米波雷达的测距方法会受到包括检测对象的材质、表面粗糙度、尺寸和运动状态等因素的影响，且无法判断被检测对象的类型及预判其运动状态。同时，毫米波雷达的成本相对较高，且安装程序复杂。对测距算法而言，数据回归模型的样本量和回归方法的选取直接影响到测距的精度，其相对于静止物体和环境而言，运动目标的测量更为多变，因此数据回归测距模型的鲁棒性相对较差。此外，基于光学几何模型的测距精度依赖于图像特征参数的提取精度，特征参数几个像素的跳变就会在远距离测量时产生较大的误差，且环境光线的多变也会给距离测量引入随机误差，因此其稳定性还有待提高。
技术实现思路
本专利技术要解决的技术问题在于针对现有技术中的缺陷，提供一种基于单目计算机视觉技术的目标对象距离测量方法与系统。本专利技术解决其技术问题所采用的技术方案是：一种基于单目计算机视觉技术的目标对象距离测量方法，包括：1)通过摄像头实时采集车辆前方或后方的序列图像；2)根据采集的序列图像确定天际线的参考高度h；3)以序列图像中物理尺寸不变的目标为目标对象，通过目标检测方法，确定用于距离测量的目标对象特征像素尺寸；4)通过光学几何模型，确定目标对象的物理尺寸：W(tn)＝wi(tn)×h/y(tn)，式中，wi(tn)为某帧图像上提取的目标对象像素尺寸；h为摄像头的安装高度；y(tn)相应帧图像计算得到的天际线参考高度(目标对象底部边缘与天际线间的像素高度)；W(tn)为相应帧图像计算得到的目标对象物理尺寸。5)通过数据平滑方法对目标对象特征像素尺寸计算结果进行平滑，以输出稳定的物理尺寸，然后计算目标的真实特征尺寸：Wv(tn)＝F({wi(tj)|0≤j≤n})式中，Wv(tn)为目标的真实特征尺寸，tn为收敛截止步长，F为任意合理的平滑方法；6)基于计算得到的真实特征尺寸，通过光学几何模型计算得到目标对象的距离：Z(tn)＝Wv(tn)f/wi(tn)。按上述方案，所述步骤2)还包括根据天际线参考高度的计算结果，对天际线高度值进行优化：(2.1)在摄像头静止状态下，采用标示牌标定方法对天际线进行标定，确定其初值y0；(2.2)如果摄像头处于运动状态，通过道路模型或者车道线模型确定其图像消失点，进而确定相应的天际线yvp；(2.3)如果摄像头处于非平面运动而使得摄像头原本平行于路面的光轴发生偏离，产生俯仰角θ；此时通过修正方法弥补俯仰角所带来的误差；进而确定相应的天际线yθ；(2.4)如果摄像头处于运动状态，通过摄像头自身的运动状态，确定天际线的值ym，计算公式如下：上式中，v为距离测量系统自身的运动速度，Δt为时间间隔，y1、y2为路面特征点的像素坐标，f、h分别为摄像头的焦距与安装高度；通过上述四种方法分别可得到天际线参考高度y的估计值，考虑各估计的置信度，并采用最小二乘法，便可得到运动状态下天际线参考高度y的最优估计：y＝argmin(y0,yp,yθ,ym)。按上述方案，所述步骤2)中计算天际线的参考高度采用下述方法，首先通过目标检测识别目标对象的边缘，进行边缘检测时采用颜色特征及纹理特征提取目标的边缘，并结合跟踪算法对检测边框进行跟踪，进一步采用光流预判检测边框的缩放趋势，从而获得准确的边缘检测结果，然后基于底部边缘的检测结果得到天际线的参考高度。本专利技术还公开了一种基于单目计算机视觉技术的目标对象距离测量系统，包括：图像采集装置，用于通过摄像头实时采集车辆前方或后方的序列图像；天际线高度计算装置，用于根据采集的序列图像确定天际线的参考高度h；目标对象特征像素尺寸计算装置，用于以序列图像中物理尺寸不变的目标为目标对象，通过目标检测方法，确定用于距离测量的目标对象特征像素尺寸；目标对象的物理尺寸确定装置，用于通过光学几何模型，确定目标对象的物理尺寸；目标的真实特征尺寸计算装置，用于通过数据平滑方法对目标对象特征像素尺寸计算结果进行平滑，以输出稳定的物理尺寸，然后计算目标的真实特征尺寸：目标对象的距离计算装置，用于基于计算得到的真实特征尺寸，通过光学几何模型计算得到目标对象的距离：Z(tn)＝Wv(tn)f/wi(tn)式中，f已知的摄像头焦距；Z(tn)为车辆与目标对象的距离，Wv(tn)为目标的真实特征尺寸，wi(tn)为某帧图像上提取的目标对象像素尺寸。按上述方案，所述天际线高度计算装置中天际线参考高度的计算，采用下述优化计算方法：(2.1)在摄像头静止状态下，采用标示牌标定方法对天际线进行标定，确定其初值y0；(2.2)如果摄像头处于运动状态，通过道路模型或者车道线模型确定其图像消失点，进而确定相应的天际线yvp；(2.3)如果摄像头处于非平面运动而使得摄像头原本平行于路面的光轴发生偏离，产生俯仰角θ；此时通过修正方法弥补俯仰角所带来的误差；进而确定相应的天际线yθ；具体方法为：光轴发生了偏转引起的车辆底部边缘坐标变化为dy,那么修正后的天际线为：yθ＝y-1+dyy-1＝f*tanθ+v0式中，v0为已知的摄像头主点纵坐标；(2.4)如果摄像头处于运动状态，通过摄像头自身的运动状态，确定天际线的值ym，计算公式如下：上式中，v为距离测量系统自身的运动速度，Δt为时间间隔，y1、y2为路面特征点的像素坐标，f、h分别为摄像头的焦距与安装高度；通过上述四种方法分别可得到天际线参考高度y的估计值，考虑各估计的置信度，并采用最小二乘法，便可得到运动状态下天际线参考高度y的最优估计：y＝argmin(y0,yp,yθ,ym)。按上述方案，所述天际线高度计算装置中计算天际线的参考高度采用下述方法，首先通过目标检测识别目标对象的边缘，进行边缘检测时采用颜色特征及纹理特征提取目标的边缘，并结合跟踪算法对检测边框进行跟踪，进一步采用光流预判检测边框的缩放趋势，从而获得准确的边缘检测结果，然后基于底部边缘的检测结果得到天际线的参考高度。按上述方案，所述目标对象的物理尺寸确定装置中确定目标对象的物理尺寸采用下述公式：W(tn)＝wi(tn)×h/y(tn)；式中，wi(tn)为某帧图像上提取的目标对象像素尺寸；h为摄像头的安装高度；y(tn)相应帧图像计算得到的天际线参考高度；W(tn)为相应帧图像计算得到的目标对象物理尺寸本文档来自技高网...

【技术保护点】
一种基于单目计算机视觉技术的目标对象距离测量方法，其特征在于，包括以下步骤：1)通过摄像头实时采集车辆前方或后方的序列图像；2)根据采集的序列图像确定天际线的参考高度h；3)以序列图像中物理尺寸不变的目标为目标对象，通过目标检测方法，确定用于距离测量的目标对象特征像素尺寸；4)通过光学几何模型，确定目标对象的物理尺寸；5)通过数据平滑方法对目标对象特征像素尺寸计算结果进行平滑，以输出稳定的物理尺寸，然后计算目标的真实特征尺寸：6)基于计算得到的真实特征尺寸，通过光学几何模型计算得到目标对象的距离：Z(tn)＝Wv(tn)f/wi(tn)式中，f已知的摄像头焦距；Z(tn)为车辆与目标对象的距离，Wv(tn)为目标的真实特征尺寸，wi(tn)为某帧图像上提取的目标对象像素尺寸。

【技术特征摘要】
1.一种基于单目计算机视觉技术的目标对象距离测量方法，其特征在于，包括以下步骤：1)通过摄像头实时采集车辆前方或后方的序列图像；2)根据采集的序列图像确定天际线的参考高度h；3)以序列图像中物理尺寸不变的目标为目标对象，通过目标检测方法，确定用于距离测量的目标对象特征像素尺寸；4)通过光学几何模型，确定目标对象的物理尺寸；5)通过数据平滑方法对目标对象特征像素尺寸计算结果进行平滑，以输出稳定的物理尺寸，然后计算目标的真实特征尺寸：6)基于计算得到的真实特征尺寸，通过光学几何模型计算得到目标对象的距离：Z(tn)＝Wv(tn)f/wi(tn)式中，f已知的摄像头焦距；Z(tn)为车辆与目标对象的距离，Wv(tn)为目标的真实特征尺寸，wi(tn)为某帧图像上提取的目标对象像素尺寸。2.根据权利要求1所述的目标对象距离测量方法，其特征在于，所述步骤2)中天际线参考高度的计算，采用下述优化计算方法：(2.1)在摄像头静止状态下，采用标示牌标定方法对天际线进行标定，确定其初值y0；(2.2)如果摄像头处于运动状态，通过道路模型或者车道线模型确定其图像消失点，进而确定相应的天际线yvp；(2.3)如果摄像头处于非平面运动而使得摄像头原本平行于路面的光轴发生偏离，产生俯仰角θ；此时通过修正方法弥补俯仰角所带来的误差；进而确定相应的天际线yθ；具体方法为：光轴发生了偏转引起的车辆底部边缘坐标变化为dy,那么修正后的天际线为：yθ＝y-1+dyy-1＝f*tanθ+v0式中，v0为已知的摄像头主点纵坐标；(2.4)如果摄像头处于运动状态，通过摄像头自身的运动状态，确定天际线的值ym，计算公式如下：上式中，v为距离测量系统自身的运动速度，Δt为时间间隔，y1、y2为路面特征点的像素坐标，f、h分别为摄像头的焦距与安装高度；通过上述四种方法分别可得到天际线参考高度y的估计值，考虑各估计的置信度，并采用最小二乘法，便可得到运动状态下天际线参考高度y的最优估计：y＝argmin(y0,yp,yθ,ym)。3.根据权利要求1所述的目标对象距离测量方法，其特征在于，所述步骤2)中计算天际线的参考高度采用下述方法，首先通过目标检测识别目标对象的边缘，进行边缘检测时采用颜色特征及纹理特征提取目标的边缘，并结合跟踪算法对检测边框进行跟踪，进一步采用光流预判检测边框的缩放趋势，从而获得准确的边缘检测结果，然后基于底部边缘的检测结果得到天际线的参考高度。4.根据权利要求1所述的目标对象距离测量方法，其特征在于，所述步骤4)确定目标对象的物理尺寸：W(tn)＝wi(tn)×h/y(tn)；式中，wi(tn)为某帧图像上提取的目标对象像素尺寸；h为摄像头的安装高度；y(tn)相应帧图像计算得到的天际线参考高度；W(tn)为相应帧图像计算得到的目标对象物理尺寸。5.根据权利要求1所述的目标对象距离测量方法，其特征在于，所述步骤5)中计算目标的真实特征尺寸如下：Wv(tn)＝F({wi(tj)|0≤j≤n})式中，Wv(tn)为目标的真实特征尺寸，tn为收敛截止步长，F为任意合理的平滑方法。6.一种基于单目计算机视觉技术的目标对象距离测量系统，其特征在于，包括：图像采集装置，用于通过摄像头实时...

【专利技术属性】
技术研发人员：王述良，许端，刘国虎，艾凯，程建伟，
申请(专利权)人：武汉极目智能技术有限公司，
类型：发明
国别省市：湖北,42