一种车载单目图像中静止目标三维信息获取方法技术

一种车载单目图像中静止目标三维信息获取方法，在车辆上安装摄像头用于对车头前方的静止目标拍摄成像，其中安装好的摄像头的成像面与车辆的行驶面垂直。车辆在行驶过程中摄像头按照设定的时间间隔Tim对静止目标进行拍摄成像。对摄像头拍摄到的连续三帧图像分别提取特征点，对各帧图像提取到的特征点作相似度匹配运算，获取所有的匹配队列。选择其中一个匹配队列N1获取其对应的相机平移矩阵，根据相机平移矩阵计算静止目标在连续三帧图像中分别对应的三维空间坐标。本发明专利技术无需增加额外的硬件设备，也不需要多个摄像头，仅通过单目摄像机获取的连续三帧图像就能够获取静止目标的空间三维坐标信息，实现对静止目标的检测。

A Method for Obtaining Three-Dimensional Information of Static Objects in Vehicle Monocular Images

【技术实现步骤摘要】
一种车载单目图像中静止目标三维信息获取方法
本专利技术涉及目标检测
，尤其涉及一种车载环境中基于单目图像的静止目标三维信息获取方法。
技术介绍
在无人驾驶、辅助驾驶等智能交通应用领域，使用摄像头采集视频图像数据，并进行路面情况感知和检测是一项重要的技术手段。现有的车载平台受成本制约等因素影响，通常只安装单个摄像头。因此基于单目图像计算三维信息，对后续的目标检测具有重要意义。现有的基于单目视觉计算获取三维信息的方法有很多，下面是申请人检索到的部分专利公开文献：公开号为CN1360197A，公开日为2002年07月24日的专利技术专利申请公开了一种浮体空间运动的单目测量方法，采用一套成像设备获取浮体上3个标志点的一幅独立图像，利用计算机视觉理论并结合浮体上标志点间的距离信息，计算出浮体的空间位置，实现单目测量；通过获得连续的图像序列，实现对浮体空间运动的非接触、无扰动、大范围的测量。公开号为CN103292695A，公开日为2013年09月11日的专利技术专利申请公开了一种单目立体视觉测量方法，其视觉图像采集由摄像机通过三坐标测量机运动实现，把被测量工件放置在三坐标测量机的工作台上的测量位置，三坐标测量机X方向运动到位置A，摄像机拍摄一张照片，然后三坐标测量机X方向运动到位置B，摄像机再拍摄一张照片，两张照片经过摄像机数据线传送到装有识别软件的计算机进行图像处理后得到特征点，利用基于平动的特征点匹配算法完成两个图像的特征点匹配，三坐标测量机分别计算出各个特征点的空间坐标，再结合各特征点在机器坐标系和零件CAD坐标系中的对应坐标，求解出被测量工件的位姿参数。该方法利用三坐标测量机实现单摄像机立体视觉测量，快速准确地得到零件特征点的三维坐标。公开号为103415807A，公开日为2013年11月27日的专利申请公开了一种能够拍摄良好的3D图像的单目立体图像拍摄装置。3D图像拍摄装置将图像经过透镜系统，再通过视差分离系统分离成两个图像，再进行图像的三维信息恢复。公开号为CN108253939A，公开日为2018年07年06日的专利技术专利申请公开了一种可变视轴单目立体视觉测量方法，首先移除旋转双棱镜系统，标定单目视觉测量系统，得到并记录相机1的内参数；将旋转双棱镜系统安装在单目视觉测量系统前方，对单目视觉测量系统和旋转双棱镜系统整体进行标定，获得相机与旋转双棱镜系统的相对位置关系，标定结束后，根据被测目标的理论几何特征划分成像视轴，对每个视轴指向角分别用迭代法在上位机中计算出旋转双棱镜对应的棱镜转角；旋转双棱镜系统控制成像视轴依次转到对应的视轴指向角，相机依次采集相应的图像，实现被测目标几何特征的依次成像；将两次相邻视轴指向角所成两幅图像进行图像处理和特征匹配，以实现共同区域的三维特征重建；将所有三维特征重建的共同区域进行整合，即可得到被测目标的实际几何特征。公开号为101308012A，公开日为2008年11月19日的专利技术专利申请公开了一种双目白光三维测量系统参数的标定方法，需要通过左右两个摄像头拍摄的两张图像，同时再借助两个相机之间的位置关系，再进行三维信息的恢复。公开号为105606025A，公开日为2016年05月25日的专利技术专利申请公开了一种使用激光器和单目相机测量球状目标几何参数的方法，包括设置相机与三个以上的激光器，使激光器射出的激光束照射到目标上并且不共面，相机朝向与激光束的方向相同；定义世界坐标系Ow与相机坐标系Oc，确定相机的内部参数矩阵以及相机坐标系与世界坐标系的转换关系；定义图像二维坐标系，使相机采集激光束照射到目标上的点，得到激光点在图像坐标系下的坐标以及目标在图像上的圆心坐标；通过几何关系和相机图像转换关系计算出目标的几何参数。这种方法需要通过借助三个以上的激光发生器对目标进行照射，通过几何关系和相机图像转换关系计算出目标的几何参数。上述使用单目来进行空间位置测量的方法要么需要增加其它辅助部件如：透镜、棱镜、激光、xyz测量平台，或者需要一个参照物，并且需要已知参照物的部分参数，或者需要多个相机来同时测量，这些都需要在特定条件或对摄像头进行部分改造的基础上才能进行三维信息的恢复，因此存在一定的局限性。
技术实现思路
针对现有技术存在的不足，本专利技术提供一种车载单目图像中静止目标三维信息获取方法。为实现本专利技术的技术目的，采用以下技术方案：一种车载单目图像中静止目标三维信息获取方法，在车辆上安装摄像头用于对车头前方的静止目标拍摄成像，其中安装好的摄像头的成像面与车辆的行驶面垂直。车辆在行驶过程中摄像头按照设定的时间间隔Tim对静止目标进行拍摄成像。对摄像头拍摄到的连续三帧图像分别提取特征点，对各帧图像提取到的特征点作相似度匹配运算，获取所有的匹配队列。选择其中一个匹配队列N1获取其对应的相机平移矩阵，根据相机平移矩阵计算静止目标在连续三帧图像中分别对应的三维空间坐标。本专利技术中：采用harris、sift或surf角点提取算法对摄像头拍摄到的连续三帧图像分别提取特征点。然后对各帧图像提取到的特征点作相似度匹配运算，获取所有的匹配队列。设定相似度匹配阈值，若第一帧图像中的特征点A、第二帧图像中的特征点A’和三帧图像中的特征点A”作相似度匹配运算得到的相似度值大于或等于设定的相似度匹配阈值，则这三个特征点组成一个匹配队列。优选地，本专利技术中，选择相似度匹配运算中相似度值最高的那一组特征点组成的匹配队列，获取相机平移矩阵。本专利技术中，获取相机平移矩阵[Tx,Ty,Tz]T的方法如下：(1)在连续三帧图像中即在第一帧图像、第二帧图像以及第三帧图像中分别建立空间坐标系：分别以当前帧图像对应的相机所在位置为空间坐标系的原点。空间坐标系中的X、Y轴分别为与图像坐标系的x、y轴平行，空间坐标系中的Z轴与相机的靶面垂直；所选择的匹配队列N1在第一帧图像中对应的特征点在图像坐标系中图像坐标为[u1,v1]T，在空间坐标系中对应的空间坐标为P1:[X1,Y1,Z1]T；所选择的匹配队列N1在第二帧图像中对应的特征点在图像坐标系中图像坐标为[u1’,v1’]T，在空间坐标系中对应的空间坐标为P1’:[X1’,Y1’,Z1’]T；所选择的匹配队列N1在第三帧图像中对应的特征点在图像坐标系中图像坐标为[u1”,v1”]T，在空间坐标系中对应的空间坐标为P1”:[X1”,Y1”,Z1”]T；(2)设a和b分别为像素单元在图像坐标系其x,y方向上的尺寸单元，fx,fy分别为相机在图像坐标系其x,y方向上的焦距，(u0,v0)为成像平面上x,y方向的中心，这些均是相机内置参数，均为已知参数；(3)设第一帧图像到第二帧图像的相机平移矩阵为[Tx,Ty,Tz]T，由于在第一帧图像到第二帧图像这极短的拍摄间隔时间内汽车做匀速直线运动，因此有：Tx*Tx+Ty*Ty+Tz*Tz＝(L/2)*(L/2)(1)[X1',Y1',Z1']T＝[X1,Y1,Z1]T+[Tx,Ty,Tz]T(2)[X1”,Y1”,Z1”]T＝[X1,Y1,Z1]T+2*[Tx,Ty,Tz]T(3)其中L是第一帧图像到第三帧图像时汽车移动的距离，根据摄像头拍摄连续三帧图像时对应的当前车速Vel和时间间隔Tim计算第一帧图像到第三帧图像时汽车移动的距离L，其中L＝2本文档来自技高网...

【技术保护点】
1.一种车载单目图像中静止目标三维信息获取方法，其特征在于：在车辆上安装摄像头用于对车头前方的静止目标拍摄成像；车辆在行驶过程中，摄像头按照设定的时间间隔Tim对静止目标进行拍摄成像；对摄像头拍摄到的连续三帧图像分别提取特征点，对各帧图像提取到的特征点作相似度匹配运算，获取所有的匹配队列；选择其中一个匹配队列获取其对应的相机平移矩阵，根据相机平移矩阵计算静止目标在连续三帧图像中分别对应的三维空间坐标。

【技术特征摘要】
1.一种车载单目图像中静止目标三维信息获取方法，其特征在于：在车辆上安装摄像头用于对车头前方的静止目标拍摄成像；车辆在行驶过程中，摄像头按照设定的时间间隔Tim对静止目标进行拍摄成像；对摄像头拍摄到的连续三帧图像分别提取特征点，对各帧图像提取到的特征点作相似度匹配运算，获取所有的匹配队列；选择其中一个匹配队列获取其对应的相机平移矩阵，根据相机平移矩阵计算静止目标在连续三帧图像中分别对应的三维空间坐标。2.根据权利要求1所述的车载单目图像中静止目标三维信息获取方法，其特征在于：摄像头的成像面与车辆的行驶面垂直。3.根据权利要求1所述的车载单目图像中静止目标三维信息获取方法，其特征在于：采用harris、sift或surf角点提取算法对摄像头拍摄到的连续三帧图像分别提取特征点。4.根据权利要求1所述的车载单目图像中静止目标三维信息获取方法，其特征在于：设定相似度匹配阈值，若连续三帧图像中的第一帧图像中的特征点A、第二帧图像中的特征点A’和三帧图像中的特征点A”作相似度匹配运算得到的相似度值大于或等于设定的相似度匹配阈值，则这三个特征点组成一个匹配队列。5.根据权利要求1所述的车载单目图像中静止目标三维信息获取方法，其特征在于：选择相似度匹配运算中相似度值最高的那一组特征点组成的匹配队列，获取其对应的相机平移矩阵。6.根据权利要求1或5所述的车载单目图像中静止目标三维信息获取方法，其特征在于：获取相机平移矩阵[Tx,Ty,Tz]T的方法如下：(1)在连续三帧图像中即在第一帧图像、第二帧图像以及第三帧图像中分别建立空间坐标系：分别以当前帧图像对应的相机所在位置为空间坐标系的原点。空间坐标系中的X、Y轴分别为与图像坐标系的x、y轴平行，空间坐标系中的Z轴与相机的靶面垂直；所选择的匹配队列N1在第一帧图像中对应的特征点在图像坐标系中图像坐标为[u1,v1]T，在空间坐标系中对应的空间坐标为P1:[X1,Y1,Z1]T；所选择的匹配队列N1在第二帧图像中对应的特征点在图像坐标系中图像坐标为[u1’,v1’]T，在空间坐标系中对应的空间坐标为P1’:[X1’,Y1’,Z1’]T；所选择的匹配队列N1在第三帧图像中对应的特征点在图像坐标系中图像坐标为[u1”,v1”]T，在空间坐标系中对应的空间坐标为P1”:[X1”,Y1”,Z1”]T；(2)设a和b分别为像素单元在图像坐标系其x,y方向上的尺寸单元，fx,fy分别为相机在图像坐标系其x,y方向上的焦距，(u0,v0...

【专利技术属性】
技术研发人员：陈浩文，王彬，王琛，任思成，徐宏培，
申请(专利权)人：长沙莫之比智能科技有限公司，
类型：发明
国别省市：湖南,43