一种基于车载双相机系统的运动目标位置与速度估计方法技术方案

本发明专利技术公开了一种基于车载双相机系统的运动目标位置与速度估计方法。包括：确定运动目标的多个特征点，车载双相机系统对运动目标进行拍摄，分别获得第一、第二参考帧图像，根据两个图像中的多个特征点计算两个相机之间的尺度化平移向量和景深之比；接着计算其中一个特征点在两个相机的当前时刻坐标系下对应的景深；再选择基准相机，确定当前特征点在车辆坐标系下的三维坐标；然后基准相机再拍摄运动目标，获得实时运动目标图像，从而计算运动目标的实时位置；构造视觉特征，再构造非线性观测器，求解并获得视觉特征导数的估计值，最终求解运动目标的实时速度。本发明专利技术粗略设定参数即可实现较好的观测效果，适用于智能车辆的实际应用场景。际应用场景。际应用场景。

【技术实现步骤摘要】
一种基于车载双相机系统的运动目标位置与速度估计方法


[0001]本专利技术属于计算机视觉和自动化的交叉领域的一种运动目标位置与速度估计方法，涉及一种基于车载双相机系统的运动目标位置与速度估计方法。

技术介绍

[0002]智能车是自动化、计算机、通信、模式识别等多学科交叉的新型领域，既有极高的学术价值又有广阔的应用前景，全世界范围内已经有众多发达国家政府以及高科技企业正在持续投入、大力发展智能车技术。在智能车的应用中，估计周围运动目标的位置与速度显得至关重要，这有助于其自主进行动态避障与轨迹规划等任务。由于相机具有成本低廉、配置方便、底层算法成熟等特点，且其可以如人眼一般获取丰富的色彩及纹理信息，相比其他传感器更适合用于对周围环境中的运动目标进行相关估计。
[0003]由于相机在将三维场景中的点映射到成像平面时丢失了景深信息，单目相机一般无法恢复出运动目标的真实位置与速度，现有方法一般通过引入辅助传感器、利用移动目标先验信息。Dani等人(A.P.Dani,N.R.Fischer,and W.E.Dixon,“Single camera 本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于车载双相机系统的运动目标位置与速度估计方法，其特征在于，包括以下步骤：1)确定运动目标的多个特征点，车载双相机系统中的第一、第二相机在同一时刻对运动目标进行拍摄，分别获得第一、第二运动目标图像并分别记为第一、第二参考帧图像，并将拍摄时刻记为参考时刻，根据第一、第二参考帧图像中的多个特征点计算两个相机之间的尺度化平移向量和其中一个特征点在两个相机的参考时刻坐标系下的景深之比以及在第一相机的参考时刻坐标系下运动目标上各个特征点所在平面π的单位法向量；2)根据两个相机之间的尺度化平移向量以及当前特征点在两个相机的参考时刻坐标系下的景深之比以及在第一相机的参考时刻坐标系下运动目标上各个特征点所在平面π的单位法向量计算当前特征点在两个相机的参考时刻坐标系下对应的景深；3)根据当前特征点在任一相机的参考时刻坐标系下的景深，将选择的相机作为基准相机，确定当前特征点在车辆坐标系下的三维坐标；4)在步骤1)的时刻后，基准相机再拍摄运动目标，获得实时运动目标图像，根据基准相机的参考帧图像和实时运动目标图像中的当前特征点计算实时尺度化平移向量和对应的景深比例和单位法向量，根据实时尺度化平移向量和对应的景深比例计算运动目标的实时位置；5)根据运动目标的实时位置构造2.5D视觉特征，再根据2.5D视觉特征构造基于鲁棒误差积分的非线性观测器，利用基于鲁棒误差积分的非线性观测器对2.5D视觉特征的导数进行求解，获得2.5D视觉特征的导数的估计值，进而求解获得运动目标的实时速度。2.根据权利要求1所述的一种基于车载双相机系统的运动目标位置与速度估计方法，其特征在于，所述步骤1)具体为：首先确定运动目标的多个特征点，将第一、第二参考帧图像中的各个特征点进行匹配，获得对应特征点匹配对；接着基于多个特征点匹配对的坐标信息，利用单应性约束关系进行单应矩阵的计算，获得单应矩阵，再通过对单应矩阵的分解，获得两个相机分别在拍摄第一、第二参考帧图像时的位姿之间的相对平移向量t
′
2，1
和其中一个特征点在两个相机的参考时刻坐标系下的景深之比以及在第一相机的参考时刻坐标系下运动目标上特征点所在平面π的单位法向量，根据相对平移向量计算两个相机之间的尺度化平移向量，计算公式如下：其中，表示两个相机之间的尺度化平移向量，d
′1表示参考时刻下第一相机的光心位置与运动目标上的各个特征点所在平面π之间的距离。3.根据权利要求1所述的一种基于车载双相机系统的运动目标位置与速度估计方法，其特征在于，所述步骤2)中当前特征点在两个相机的参考时刻坐标系下对应的景深的计算公式如下：
其中，z
′1(t)表示当前特征点在第一相机的参考时刻坐标系下的景深，表示两个相机之间的尺度化平移向量，R
v，2
表示车辆坐标系下第二相机的旋转矩阵，t
v，1
表示车辆坐标系下第一相机的平移向量，t
v，2
表示车辆坐标系下第二相机的平移向量，n
′1表示在第一相机的参考时刻坐标系下运动目标上特征点所在平面π的单位法向量，m
′1表示当前特征点在第一相机参考帧图像中的归一化欧几里得坐标，z
′2(t)表示当前特征点在第二相机的参考时刻坐标系下的景深，T表示对矩阵或向量的转置，α
′
表示当前特征点在两个相机的参考时刻坐标系下的景深之比。4.根据权利要求1所述的一种基于车载双相机系统的运动目标位置与速度估计方法，其特征在于，所述的步骤3)中当前特征点在车辆坐标系下的三维坐标的计算公式如下：其中，表示当前特征点在当前时刻车辆坐标系下的三维坐标，当基准相机为第一相机时，k＝1；当基准相机为第二相机时，k＝2；R
v，k
表示车辆坐标系下相机k的旋转矩阵，z
′

【专利技术属性】
技术研发人员：陈剑，张心放，熊文逸，邓建强，
申请(专利权)人：浙江大学，
类型：发明
国别省市：