一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法技术

本发明专利技术公开了一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法，属于交通车辆主动安全技术领域。其主要步骤：当检测到载重货车倒车时，启动安装于车尾两端的两个已经完成标定和校正的红外鱼眼摄像头同步采集倒车环境图像信息，输出经过拼接处理后的倒车图像，在驾驶室内的显示屏幕上显示。通过双目鱼眼视觉系统获取要追踪的障碍物目标的初始位置和距离，然后利用与低秩矩阵理论相结合的基于粒子滤波的视频目标跟踪算法，实现对障碍物的追踪，在追踪过程中，对图像模板进行实时更新，检查是否有新的障碍物。当检测到车辆拐弯时，启动超声波雷达检测货车旁边一米范围内有障碍物，则显示障碍物位置并发出预警。主要用于大型货车。

【技术实现步骤摘要】

本专利技术涉及一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪的方法技术背景随着中国物流行业的快速发展，载重货车的需求也越来越多，货车的车身也越来越长，载货量也越来越多，由载重货车引起的交通事故也在不断增加，后果一般非常严重，尤其是由于倒车和拐弯的不当操作产生的碰撞事故在其中占了相当的比例。相当于直行驾驶而言，载重货车倒车和拐弯的难度非常大，由于车身过长，货厢体积又太大，倒车和拐弯时的盲区面积非常大，一般看不清车尾后和车侧旁的物体和行人状况，从而导致碰撞事故越来越多。货车运行在大风雪或气候恶劣的环境居多，夜晚倒车更是成为一个盲点，货车司机在开车的过程中完全看不到车后的情况。此外，由于车身过长，货车拐弯时不容易发现旁边的行人或行驶的车辆，容易造成事故，这是一个很大的安全隐患。目前针对货车倒车安全的方法有以下两个：一、在倒车时，一个人在车后拿对讲机指挥倒车，要是晚上的话，还会用到手电筒，边用手电筒画圈边用对讲机指挥，可是还是避免不了灾难的降临；二、为了减少车辆的盲区，车辆需要安装一些辅助的设备来帮助驾驶员倒车，倒车影像系统能使驾驶员能够更轻松的掌握到车后面的环境及情况，可以提高安全系数，减少事故发生。当货车拐弯时，由于车厢很长，司机一边要观察车辆前行的情况，又要注意避让车侧的车辆或行人，保持安全距离，同时还要时刻观察他们的行驶状态，做好预防措施，但是司机很难全面的观察到这些情况，而且会分散司机的注意力，有一定的安全隐患。倒车影像系统以声音和图像的形式告知驾驶员汽车周围的障碍物情况，解除了驾驶员在泊车或倒车时前后左右探视所引起的困扰，并帮助驾驶员扫除了视野死角和实现模糊的缺陷，独立完成倒车操作，提高驾驶的安全性。专利CN201210430928.4(公开号CN102923000A)提出一种基于普通双目摄像头的倒车障碍物检测方法，虽然这种方法能利用哈尔特征分类法判断出车后的行人和车辆，但是没有进一步提出对障碍物进行跟踪的方法，而本专利技术可以做到障碍物的实时检测追踪，此外，鱼眼摄像头的使用可以提供足够广阔的视野，保证了覆盖车后所有障碍物。专利CN2015102994001(公开号CN104835118A)提出一种通过两路鱼眼摄像头采集全景图像的方法，但是没有提到对全景图像的进一步应用，而本专利技术除了对两幅图像进行拼接外还实现了对障碍物的监测和追踪。专利CN2010101972159(公开号CN101859376A)公开了一种基于鱼眼摄像头的人体检测的自动监控系统，利用分类器检测鱼眼图像中的人体，而本专利技术用两个双目鱼眼摄像头视觉系统检测障碍物，并进行障碍物跟踪。专利CN201110193257X(公开号CN102874196A)提出一种基于机器视觉的汽车防撞方法，这种方法不仅通过立体视觉信息得出障碍物与汽车的距离，而且还能计算出安全范围，但是并没有对摄像头进行标定和图像拼接等预处理与处理阶段进行说明，而且只解决了汽车前行的避障问题，而本专利技术提供了详细的预处理算法，并且解决了大货车转弯或变道时侧面障碍物的检测和预警。所以，有必要专利技术视野更宽、检测范围更广、跟踪效果跟稳定的的载重货车行驶障碍物检测及跟踪的方法，提高障碍物检测的准确率和鲁棒性，无论是在货车倒车还是拐弯时都能检测障碍物，辅助驾驶员安全驾驶，提高载重货车的安全性。
技术实现思路
本专利技术的目的是提供一种基于双目鱼眼的载重货车行驶障碍物检测及跟踪的方法，在倒车时，能够使驾驶员观察到一个大视场的车后环境，检测并追踪到障碍物的同时发出提醒，辅助载重货车驾驶员直观、动态、清晰的实施倒车操作，降低倒车难度，有效避免由于倒车而发生的交通事故。当货车拐弯时，启动车侧的超声波雷达，实时检测有无障碍物并发出提醒，避免发生事故。该专利技术方法包括以下步骤：A倒车障碍物信息采集汽车的电子控制中心检测到汽车挡位置于倒挡上时，启动安装在货车车尾两端呈俯视角的两个采样频率相同的全天候红外鱼眼摄像头，获取倒车实时视频。B双目鱼眼摄像头标定首先进行单目标定，获取摄像机内参数(焦距、摄像机中心主点、畸变向量)和外参数(旋转矩阵和平移向量)。由于鱼眼摄像头具有成像视野广和高畸变特性，本专利技术提出一种利用特定的椭圆标定板提供精确的点线特征来完成摄像头标定的算法，根据特征椭圆检测和参数拟合技术对检测到的特征点进行可靠性分析，得到鱼眼摄像头的内外参数。标定板特征提取的流程主要包括以下方面：B1、平滑滤波用5×5模板对图像进行Gauss滤波，消除噪声影响；B2、边缘检测利用Canny算子进行边缘检测；B3、轮廓线搜索在Canny边沿检测得到的图像中，对每一行搜索最左边和最右边的两个边缘点(xleft,yleft)和(xright,yright)，并依据成像区域的左右对称性对每行两个边缘点的有效性进行验证：L＝|xright+xleft-W|其中，W为图像宽度。如果L大于某个阈值T，则认为两个边缘点偏离实际成像边界较远，予以抛弃；否则将其保留，视为该椭圆是一个有效特征椭圆。实际实现过程中，阈值T＝20.B4、椭圆参数拟合利用基于最小二乘法的特征参数拟合算法对每个轮廓的像素点进行椭圆拟合，得到能够表征鱼眼视觉成像区域边界的椭圆参数。将拟合得到的椭圆圆心(x0,y0)作为特征点，以便于后期标定过程中的初始参数确定和图像的去畸变处理。B5、摄像头内外参数确定根据摄像机坐标矩阵投影模型和旋转、平移变换和单应性原理：式中s为一常系数，选取P所在平面为世界坐标平面，故可以设距离Z＝0。考虑到镜头畸变的影响，P0所对应的坐标必须要经过校正，所以引入3个径向畸变参数k1k2k3和2个切向畸变向量p1p2。用r＝0位置泰勒级数展开，可以列出下式：式中第一项为消除镜头的径向畸变，第二项为消除镜头的切向畸变。模型确立后，联系这两个式子，再通过椭圆标定板引入多个已知参数，通过最小二乘法，可以求得内参数(焦距fx、fy、摄像机中心主点cx、cy、畸变向量k1k2k3、p1p2)和外参数(旋转矩阵r1r2r3和平移向量t)。利用两个单目摄像机的外参数，由下式得两个摄像机之间的相对位置关系，即两个摄像机之间的旋转矩阵Rs和平移向量Ts：C双目鱼眼摄像头畸变校正由于鱼眼摄像头存在非常严重的畸变，本专利技术利用基于球面透镜投影约束的鱼眼校正方法进行矫正处理，并用双线性插值法对校正后的图像进行填充，为鱼眼镜头障碍物识别的实现做准备工作，调整摄像机间的角度和距离，使双目图像处于共面且严格行对齐状态，输出行对准的校正图像。D双目鱼眼图像区域拼接完成图像的校正和无畸变处理后，先对双目鱼眼采集的两幅图像进行匹配，使用SIFT算法来提取和匹配图像的特征点，利用RANSCA算法和L-M算法对投影变换矩阵进行迭代精炼，利用引导互匹配方法消除错误匹配；然后对图像进行融合，采用加权平滑算法完成图像融合与拼接，最终显示180°宽视角的倒车图像。...

【技术保护点】
一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法，包括以下步骤：步骤一、对双目鱼眼摄像头进行标定首先进行单目标定，获取摄像机内参数和外参数，标定板特征提取的流程为：1)、平滑滤波，用5×5模板对图像进行Gauss滤波，消除噪声影响；2)、边缘检测，利用Canny算子进行边缘检测；3)、轮廓线搜索，Canny边沿检测得到的图像中，对每一行搜索最左边和最右边的两个边缘点(xleft,yleft)和(xright,yright)，并依据成像区域的左右对称性对每行两个边缘点的有效性进行验证：L＝|xright+xleft‑W|其中，W为图像宽度，如果L小于某个阈值T，视为该椭圆是一个有效特征椭圆，否则予以抛弃；4)、椭圆参数拟合，利用基于最小二乘法的特征参数拟合算法对每个轮廓的像素点进行椭圆拟合，得到能够表征鱼眼视觉成像区域边界的椭圆参数，将拟合得到的椭圆圆心(x0,y0)作为特征点；5)、鱼眼摄像头内外参数确定，根据摄像机坐标矩阵投影模型和旋转、平移变换和单应性原理以及畸变校正公式，可以求得摄像机的内参数和外参数；根据两个摄像机之间的相对位置关系，利用两个单目摄像机的外参数，可求得两个摄像机之间的旋转矩阵和平移向量；步骤二、双目鱼眼摄像头畸变校正利用基于球面透镜投影约束的鱼眼校正方法进行矫正处理，并用双线性插值法对校正后的图像进行填充，为鱼眼摄像头障碍物识别的实现做准备工作，调整摄像机间的角度和距离，使双目图像处于共面且严格行对齐状态，输出行对准的校正图像；步骤三、双目鱼眼图像区域拼接完成图像的校正和无畸变处理后，先对双目鱼眼视觉系统采集的两幅图像进行匹配，使用SIFT算法来提取和匹配图像的特征点，利用RANSCA算法和L‑M算法对投影变换矩阵进行迭代精炼，引导互匹配方法消除错误匹配；然后对图像进行融合，采用加权平滑算法完成图像融合与拼接，最终显示180°宽视角的倒车图像；其特征在于：步骤四、判断障碍物初始位置以及距离利用无畸变，已经校正好的双目鱼眼视觉系统和已知的特征点以及基于极线约束的双目视差获取方法获取视差值之后，就可以通过相似三角形计算出距离信息Z：即:其中xl和xr分别为障碍物在左右摄像机成像仪上的水平位置，T为两台摄像机之间的距离，f为焦距；倒车时图像信息处理模块利用三角测距法计算出每一帧图像中距离车尾最近的障碍物位置和距离信息Z，同时在视差图中找到连续帧图像中面积最大的障碍物，将满足以上两点的障碍物作为追踪的初始位置；步骤五、基于低秩矩阵的障碍物跟踪根据步骤四中得到的障碍物的初始位置需要对每一帧图像进行计算，将低秩矩阵的计算方法引入到基于粒子滤波的视频目标跟踪算法中，可减小算法的计算量，提高计算速率，实现对障碍物的及时跟踪，同时，对载重货车驾驶员发出提示音，在追踪障碍物的过程中，对图像模板进行实时更新，检查是否有新的障碍物；步骤六、超声波雷达监测障碍物在货车车厢两侧各安装六个等距的超声波雷达，设定波速发散角为60°；当检测到方向盘转动，货车转弯时，启动超声波雷达开始检测货车两侧的障碍物，若检测到有车辆或行人时，显示障碍物位置并发出提醒。...

【技术特征摘要】
1.一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法，包括以下步骤：
步骤一、对双目鱼眼摄像头进行标定
首先进行单目标定，获取摄像机内参数和外参数，标定板特征提取的流程为：
1)、平滑滤波，用5×5模板对图像进行Gauss滤波，消除噪声影响；
2)、边缘检测，利用Canny算子进行边缘检测；
3)、轮廓线搜索，Canny边沿检测得到的图像中，对每一行搜索最左边和最右边的两个边缘点(xleft,yleft)和(xright,yright)，并依据成像区域的左右对称性对每行两个边缘点的有效性进行验证：
L＝|xright+xleft-W|
其中，W为图像宽度，如果L小于某个阈值T，视为该椭圆是一个有效特征椭圆，否则予以抛弃；
4)、椭圆参数拟合，利用基于最小二乘法的特征参数拟合算法对每个轮廓的像素点进行椭圆拟合，得到能够表征鱼眼视觉成像区域边界的椭圆参数，将拟合得到的椭圆圆心(x0,y0)作为特征点；
5)、鱼眼摄像头内外参数确定，根据摄像机坐标矩阵投影模型和旋转、平移变换和单应性原理以及畸变校正公式，可以求得摄像机的内参数和外参数；根据两个摄像机之间的相对位置关系，利用两个单目摄像机的外参数，可求得两个摄像机之间的旋转矩阵和平移向量；
步骤二、双目鱼眼摄像头畸变校正
利用基于球面透镜投影约束的鱼眼校正方法进行矫正处理，并用双线性插值法对校正后的图像进行填充，为鱼眼摄像头障碍物识别的实现做准备工作，调整摄像机间的角度和距离，使双目图像处于共面且严格行对齐状态，输出行对准的校正图像；
步骤三、双目鱼眼图像区域拼接
完成图像的校正和无畸变处理后，先对双目鱼眼视觉系统采集的两幅图像进行匹配，使用SIFT算法来提取和匹配图像的特征点，利用RANSCA算法和L-M算法对投影变换矩阵进行迭代精炼，引导互匹配方法消除错误匹配；然后对图像进行融合，采用加权平滑算法完成图像融合与拼接，最终显示180°宽视角的倒车图像；其特征在于：
步骤四、判断障碍物...

【专利技术属性】
技术研发人员：张祖涛，王富斌，李晏君，刘昱岗，张效良，胡广地，朱鑫，王媛，许永生，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：四川;51