一种基于双目相机的车辆盲区障碍物示警方法及终端技术

本发明专利技术提供一种基于双目相机的车辆盲区障碍物示警方法及终端，包括：对部署在车辆引擎前端和车门外侧的车辆盲区的双目相机进行标定，获取所述双目相机的内参、外参和畸变参数；对所述双目相机进行立体匹配；利用所述双目相机采集的图像集基于神经网络算法训练得到障碍物识别模型；启动所述双目相机，采用单目实时拍摄车辆盲区的图像，并将实时拍摄的图像传输到所述障碍物识别模型中进行障碍物识别，若识别到障碍物则再采用所述双目相机的双目测量得到障碍物距离，并实时显示在车载显示屏中。本发明专利技术可以在车辆驾驶的过程中识别车辆盲区的障碍物及其障碍物的距离，辅助驾驶员进行驾驶，从而降低因视野盲区或疲劳驾驶而导致的交通事故。的交通事故。的交通事故。

【技术实现步骤摘要】
一种基于双目相机的车辆盲区障碍物示警方法及终端


[0001]本专利技术涉及车辆安全驾驶
，尤其是涉及一种基于双目相机的车辆盲区障碍物示警方法及终端。

技术介绍

[0002]公路运输是交通运输系统的组成部分之一，主要承担短途客货运输，现代所用运输工具主要是卡货车。现在普遍使用的卡货车后视镜存在不同程度的视觉盲区，视野盲区是指驾驶员位于正常驾驶座位置，其视线被车体遮挡而不能直接观察到的那部分区域。由于卡货车车身较高，视野盲区更大，且载货时总吨位较重致使刹车车距较长，使得在运输过程中容易出现交通事故。

技术实现思路

[0003]本专利技术所要解决的技术问题是：提供一种基于双目相机的车辆盲区障碍物示警方法及终端，实现对卡货车在运输过程中位于车辆视线盲区的障碍物检测，避免交通事故的发生。
[0004]为了解决上述技术问题，本专利技术采用的技术方案为：
[0005]一种基于双目相机的车辆盲区障碍物示警方法，包括步骤：
[0006]S1、对部署在车辆引擎前端和车门外侧的车辆盲区的双目相机进行标定，获取所述双目相机的内参、外参和畸变参数；
[0007]S2、对所述双目相机进行立体匹配；
[0008]S3、利用所述双目相机采集的图像集基于神经网络算法训练得到障碍物识别模型；
[0009]S4、启动所述双目相机，采用单目实时拍摄车辆盲区的图像，并将实时拍摄的图像传输到所述障碍物识别模型中进行障碍物识别，若识别到障碍物则再采用所述双目相机的双目测量得到障碍物距离，并实时显示在车载显示屏中。
[0010]为了解决上述技术问题，本专利技术采用的另一个技术方案为：
[0011]一种基于双目相机的车辆盲区障碍物示警终端，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现以下步骤：
[0012]S1、对部署在车辆引擎前端和车门外侧的车辆盲区的双目相机进行标定，获取所述双目相机的内参、外参和畸变参数；
[0013]S2、对所述双目相机进行立体匹配；
[0014]S3、利用所述双目相机采集的图像集基于神经网络算法训练得到障碍物识别模型；
[0015]S4、启动所述双目相机，采用单目实时拍摄车辆盲区的图像，并将实时拍摄的图像传输到所述障碍物识别模型中进行障碍物识别，若识别到障碍物则再采用所述双目相机的
双目测量得到障碍物距离，并实时显示在车载显示屏中。
[0016]本专利技术的有益效果在于：本专利技术提供一种基于双目相机的车辆盲区障碍物示警方法及终端，通过在车辆外部的视线盲区部署双目相机，对双目相机进行标定和立体匹配，并训练双目相机的障碍物识别模型，可通过先开启双目相机的单目实时拍摄车辆驾驶过程中位于车辆盲区的图像，由障碍物识别模型对实时拍摄的图像进行障碍物识别后再开启双目对识别到的障碍物进行测距，并显示在显示屏中，以辅助驾驶员进行驾驶，不仅能够快速识别障碍物，也能准确标出障碍物的距离以便驾驶员及时做出反应，从而降低因视野盲区或疲劳驾驶而导致的交通事故。
附图说明
[0017]图1为本专利技术实施例的一种基于双目相机的车辆盲区障碍物示警方法的整体流程图；
[0018]图2为本专利技术实施例的一种基于双目相机的车辆盲区障碍物示警方法的具体流程图；
[0019]图3为本专利技术实施例的一种基于双目相机的车辆盲区障碍物示警终端的结构示意图。
[0020]标号说明：
[0021]1、一种基于双目相机的车辆盲区障碍物示警终端；2、存储器；3、处理器。
具体实施方式
[0022]为详细说明本专利技术的
技术实现思路
、所实现目的及效果，以下结合实施方式并配合附图予以说明。
[0023]在此之前，对本专利技术中涉及到的英文缩写及专业术语进行如下释义：
[0024]1、SGBM算法，semi
‑
global block matching，一种用于计算双目视觉中视差(disparity)的半全局匹配算法；
[0025]2、SAD，Sum of absolute differences，一种图像匹配算法；
[0026]3、张氏标定法，张正友博士在1999年发表在国际顶级会议ICCV上的论文《Flexible Camera Calibration By Viewing a Plane From Unknown Orientations》中提出的一种利用平面棋盘格进行相机标定的实用方法；
[0027]4、yolov4算法，一种基于神经网络的目标检测算法。
[0028]请参照图1及图2，一种基于双目相机的车辆盲区障碍物示警方法，包括步骤：
[0029]S1、对部署在车辆引擎前端和车门外侧的车辆盲区的双目相机进行标定，获取所述双目相机的内参、外参和畸变参数；
[0030]S2、对所述双目相机进行立体匹配；
[0031]S3、利用所述双目相机采集的图像集基于神经网络算法训练得到障碍物识别模型；
[0032]S4、启动所述双目相机，采用单目实时拍摄车辆盲区的图像，并将实时拍摄的图像传输到所述障碍物识别模型中进行障碍物识别，若识别到障碍物则再采用所述双目相机的双目测量得到障碍物距离，并实时显示在车载显示屏中。
[0033]由上述描述可知，本专利技术的有益效果在于：通过在车辆外部的视线盲区部署双目相机，对双目相机进行标定和立体匹配，并训练双目相机的障碍物识别模型，可通过先开启双目相机的单目实时拍摄车辆驾驶过程中位于车辆盲区的图像，由障碍物识别模型对实时拍摄的图像进行障碍物识别后再开启双目对识别到的障碍物进行测距，并显示在显示屏中，以辅助驾驶员进行驾驶，不仅能够快速识别障碍物，也能准确标出障碍物的距离以便驾驶员及时做出反应，从而降低因视野盲区或疲劳驾驶而导致的交通事故。
[0034]进一步地，所述步骤S1中对双目相机进行标定，获取所述双目相机的内参、外参和畸变参数具体为：
[0035]采用张氏标定法和棋盘格对所述双目相机进行标定，获取所述双目相机的内参矩阵(f，f/dx，f/dy，cx，cy)、畸变参数(k1，k2，k3，k4，k5)和外参矩阵(R，t)，其中f为焦距，f/dx和f/dy分别为x轴和y轴上的归一化焦距，cx和cy为图像的中心，k1、k2和k3为径向畸变参数，k4和k5为切向畸变参数，R为旋转矩阵，t为平移向量；
[0036]所述步骤S2具体为：
[0037]S21、采用SGBM算法，从所述双目相机预先拍摄的障碍物视频中获取某一帧图像，并利用所述畸变参数对所述某一帧图像进行畸变校正、利用所述内参矩阵和所述外参矩阵对所述某一帧图像进行立体校正，得到校正完成的图像的深度图；
[0038]S22、对所述深度图重复多次调整误匹配率、SAD窗口大小和视差窗口大小三个参数，直到所述深度图的深度信息与所述某一帧图像对应时刻下的障碍物距所述双目相机的实际距离之间的误差小于预设距离为止。...

【技术保护点】

【技术特征摘要】
1.一种基于双目相机的车辆盲区障碍物示警方法，其特征在于，包括步骤：S1、对部署在车辆引擎前端和车门外侧的车辆盲区的双目相机进行标定，获取所述双目相机的内参、外参和畸变参数；S2、对所述双目相机进行立体匹配；S3、利用所述双目相机采集的图像集基于神经网络算法训练得到障碍物识别模型；S4、启动所述双目相机，采用单目实时拍摄车辆盲区的图像，并将实时拍摄的图像传输到所述障碍物识别模型中进行障碍物识别，若识别到障碍物则再采用所述双目相机的双目测量得到障碍物距离，并实时显示在车载显示屏中。2.根据权利要求1所述的一种基于双目相机的车辆盲区障碍物示警方法，其特征在于，所述步骤S1中对双目相机进行标定，获取所述双目相机的内参、外参和畸变参数具体为：采用张氏标定法和棋盘格对所述双目相机进行标定，获取所述双目相机的内参矩阵(f，f/dx，f/dy，cx，cy)、畸变参数(k1，k2，k3，k4，k5)和外参矩阵(R，t)，其中f为焦距，f/dx和f/dy分别为x轴和y轴上的归一化焦距，cx和cy为图像的中心，k1、k2和k3为径向畸变参数，k4和k5为切向畸变参数，R为旋转矩阵，t为平移向量；所述步骤S2具体为：S21、采用SGBM算法，从所述双目相机预先拍摄的障碍物视频中获取某一帧图像，并利用所述畸变参数对所述某一帧图像进行畸变校正、利用所述内参矩阵和所述外参矩阵对所述某一帧图像进行立体校正，得到校正完成的图像的深度图；S22、对所述深度图重复多次调整误匹配率、SAD窗口大小和视差窗口大小三个参数，直到所述深度图的深度信息与所述某一帧图像对应时刻下的障碍物距所述双目相机的实际距离之间的误差小于预设距离为止。3.根据权利要求2所述的一种基于双目相机的车辆盲区障碍物示警方法，其特征在于，所述神经网络算法为yolov4算法，所述步骤S3具体为：S31、利用所述双目相机预先拍摄不同场景下的道路图像，对所述道路图像中的行人、车辆和其他障碍物进行标记；S32、将标记好的所述道路图像按照3:1的比例随机划分为训练集和测试集；S33、调整所述yolov4算法的深度、训练批次和自适应学习率参数，采用所述训练集对所述yolov4算法进行训练得到障碍物识别模型；S34、采用所述测试集对所述障碍物识别模型进行测试，修正所述障碍物识别模型的精度和运算速度。4.根据权利要求3所述的一种基于双目相机的车辆盲区障碍物示警方法，其特征在于，所述步骤S4具体为：S41、启动所述双目相机，先开启所述双目相机的其中一目相机实时拍摄位于车辆盲区的图像，并将实时拍摄的图像逐帧传输到所述障碍物识别模型中进行障碍物识别，若未识别到障碍物，则继续处理下一帧图像，若识别到障碍物，则执行步骤S42；S42、开启所述双目相机的另一目相机，利用所述步骤S2中的所述SGBM算法对识别到障碍物的这一帧图像进行立体匹配，获取障碍物的深度信息，得到所述障碍物距离，并在所述车载显示屏中实时显示识别到障碍物的图像及其测得的所述障碍物距离。5.根据权利要求1所述的一种基于双目相机的车辆盲区障碍物示警方法，其特征在于，
所述步骤S4之后还包括步骤：S5、预设安全距离及其阈值，当所述步骤S4中测得的所述障碍物距离达到所述安全距离的所述阈值时，启动车载蜂鸣器进行报警。6.一种基于双目相机的车辆盲区障碍物示警终端，其特征在于，包...

【专利技术属性】
技术研发人员：郑敏冲，
申请(专利权)人：福建盛海智能科技有限公司，
类型：发明
国别省市：