一种主动红外车载夜视路况检测及语音播报系统技术方案

本发明专利技术公开了一种主动红外车载夜视路况检测及语音播报系统，为了在光照条件差或夜晚环境下有效提高驾驶员视觉效果和视距，采用主动红外技术，使用半导体激光器作红外光源，配合高清CCD摄像机拍摄红外图像视频，并使用中值滤波，拉普拉斯算子和阈值分割与形态学处理结合对图像视频进行预处理，结合YOLO算法识别分类标定车辆前方障碍物。同时，利用装载在车头的红外接收器来接收前方障碍物的反射光，实现对前方障碍物的测距，获得其动态距离，假如检测到前方障碍物，则将数据通过蓝牙传输给手机APP，实现车辆前方障碍物及其距离的语音播报提示，提升行驶安全系数。

An active infrared vehicle night vision road condition detection and voice broadcast system

【技术实现步骤摘要】
一种主动红外车载夜视路况检测及语音播报系统
本专利技术涉及车辆安全辅助驾驶，安卓APP开发等领域，具体地说是一种基于主动红外车载夜视路况检测及语音播报系统。
技术介绍
汽车在夜间行驶时，由于受到车灯和路灯等外界环境条件的限制，会造成驾驶员视距较短，无法对路面上的紧急情况作出及时反应，使行车危险性大大增加，大约有55％的交通事故是在夜间发生。在夜间行驶时，前面的黑暗中时刻潜伏着危险，如有些情况下驾驶员看不到路边突然窜出的行人，或者无法及时看到正在路边更换轮胎的人。虽然现代化的照明设备现在能够提供出色的照明效果，但仍然有一个问题尚未解决：为了不影响逆向车道驾驶员的视线，普通前大灯近光灯的照射范围只有约30m远，所有光线没有直接照射到的地方，驾驶员都很难看清楚，或者根本看不见。远光灯虽然能够改善，照射距离大约可达80m，但由于存在晃眼的问题因此只在少数情况下使用，并且会影响对面车道的来车驾驶员的视线，也会对行车安全造成潜在的威胁。人眼只能感觉到可见光，且照度足够大时才能看清周围物体。当夜幕降临以后，可见光越来越弱，人眼的视觉功能随之降低，但黑暗的环境中景物依然有红外辐射，设法将景物的不可见红外图像转换为能引起视觉的可见图像，就产生了红外夜视技术。在科技迅速发展，路面汽车迅速增多的今天，为了在夜间及恶劣天气情况下，保证驾驶员、乘客及第三方的安全，汽车夜视成像仪已成为瞩目的焦点。夜视系统能够给司机提供更多眼睛所无法看见的视觉信息。根据情况不同，夜视系统使司机能够看到比前照灯照明距离更远的路面，能够探测到前照灯照明范围以外的路况，增加夜间驾驶的安全性，提高驾驶者的个人安全系数。令人遗憾的是，尽管开发新型车载红外夜视系统已成为业界人士的共识，但目前仅有少数知名汽车制造企业在其生产的高档轿车甚至仅仅是概念车上安装有红外夜视系统，这些轿车所装备的红外夜视系统结构复杂，价格昂贵，且技术封闭，效果往往不尽如人意。因此开发出一种可在光照条件差或夜晚环境下有效提高驾驶员视觉效果和视距的红外夜视系统成为国内外汽车行业急待解决的重要问题。汽车红外夜视系统将是继安全气囊和防抱死制动系统之后，具有更高使用价值的安全系统。
技术实现思路
本专利技术的目的是提供一种主动红外车载夜视路况检测及语音播报系统，该系统采用主动红外技术，使用半导体激光器作红外光源，配合高清CCD摄像机拍摄红外图像视频，并使用中值滤波，拉普拉斯算子和阈值分割与形态学处理结合对图像视频进行预处理，结合YOLO算法识别分类标定车辆前方障碍物。同时，利用装载在车头的红外接收器来接收前方障碍物的反射光，实现对前方障碍物的测距，获得其动态距离，假如检测到前方障碍物，则将数据通过蓝牙传输给手机APP，实现车辆前方障碍物及其距离的语音播报提示，能够在光照条件差或夜晚环境下有效提高驾驶员视觉效果和视距。本专利技术的目的是这样实现的：一种主动红外车载夜视路况检测及语音播报系统，该系统包括：主动发射红外光的半导体激光器；接受红外反射光的红外接收器；对车辆前方进行拍摄的CCD高清摄像仪；分别连接半导体激光器、CCD高清摄像仪、红外接收器的FPGA开发板；通过蓝牙接收FPGA开发板输出信息的手机；其中：所述FPGA开发板控制半导体激光器发射红外光，红外接收器接收障碍物的反射光将其转变为电信号传入FPGA开发板，FPGA开发板计算障碍物与车辆的距离；CCD摄像仪将拍摄获取的红外图像传至FPGA开发板，FPGA开发板对红外图像进行预处理，并利用剪枝后的YOLO模型对图像中人或物进行检测及识别；当有障碍物出现，FPGA开发板同时将障碍物距离和检测及识别结果通过蓝牙发送给手机，进行数据显示并实现语音播报。所述FPGA开发板计算障碍物与车辆的距离，具体为：最早发射红外光时刻t1，最早反射时刻t2，红外光的传播速度V红外，距离d＝(t2-t1)*V红外/2。所述FPGA开发板对红外图像进行预处理，具体包括：(1)采用中值滤波对采集到的原始图像进行滤波降噪处理，对滑动窗口内的像素灰度排序，用中值代替窗口中心像素(x,y)原来的灰度；(2)采用拉普拉斯算子增强红外图像的目标与背景的对比度，采用的公式为：其中为自由参数，用于调节锐化程度，(i,j)代表图像的坐标点，f是原始输入图像，g是输出图像，定义为：(3)采用阈值分割与形态学处理把红外图像中的目标从背景中分离出来。所述利用剪枝后的YOLO模型对图像中人或物进行检测及识别，具体包括：(1)搭建剪枝YOLO模型ⅰ)利用BN层的参数γ对channal的重要性进行评估，其中γ为缩放因子；原始图像经过卷积后得到featuremap，featuremap中的每个channal在BN层中对应一个γ，使用γ对channal的重要性进行评估；γ为训练参数，在反向传播过程中，通过链式求导方式对γ不断更新，在训练结束后，得到γ的值；ⅱ)在损失函数中引入γ缩放因子正则化项，实现YOLO模型的自动剪枝；其中，l为原先的损失函数，L为引入正则化项的损失函数，∑γ|γ|为正则化项，β为正则化系数，可自由设置；引入正则化项后，不重要的channal对应的BN层的缩放因子γ会趋向于0，在训练的过程中自动剪枝；ⅲ)对剪枝后的模型进行权重微调固定未参与剪枝的层相对应的权重，其余层保留上一轮训练的权重，重新训练模型；ⅳ)重复迭代步骤ⅲ)十次，得到剪枝的YOLO模型；(2)利用剪枝后的YOLO模型进行检测与识别将待检测及识别的红外图像传入剪枝后的YOLO模型，模型将全图分成19x19的格子，每个格生成5个BoundingBox进行检测与识别，计算BoundingBox的置信度即含有目标的可能性以及边界框的准确度，找出每个小格最大概率对应的类别，利用非极大值抑制即NMS算法，得到最后的检测与识别结果。所述FPGA开发板同时将障碍物距离和检测及识别结果通过蓝牙发送给手机，进行数据显示并实现语音播报，具体包括：FPGA开发板将障碍物与车辆的距离及检测与识别结果通过蓝牙传给手机APP，APP将获取到的信息组织成“方位”+距离数+“人/物”，将其显示在APP界面并进行语音播报，并显示已框定障碍物的红外图像视频。所述语音播报是采用Android自带的TextToSpeechAPI，将文字快速转化为语音进行播放。本专利技术提出的主动红外车载夜视路况检测及语音播报系统，是一个低成本、高效能车载夜视红外系统，该系统使用半导体激光器作红外光源，配合高清CCD摄像机拍摄红外图像视频，并使用中值滤波，拉普拉斯算子和阈值分割与形态学处理结合对图像视频进行预处理，结合YOLO算法识别分类标定车辆前方障碍物。同时，利用装载在车头的红外接收器来接收前方障碍物的反射光，实现对前方障碍物的测距，获得动态的距离，将数据通过蓝牙传输给手机APP，实现车辆前方障碍物及其距离的语音播报提示本文档来自技高网...

【技术保护点】
1.一种主动红外车载夜视路况检测及语音播报系统，其特征在于，该系统包括：/n主动发射红外光的半导体激光器；/n接受红外反射光的红外接收器；/n对车辆前方进行拍摄的CCD高清摄像仪；/n分别连接半导体激光器、CCD高清摄像仪、红外接收器的FPGA开发板；/n通过蓝牙接收FPGA开发板输出信息的手机；其中：/n所述FPGA开发板控制半导体激光器发射红外光，红外接收器接收障碍物的反射光将其转变为电信号传入FPGA开发板，FPGA开发板计算障碍物与车辆的距离；CCD摄像仪将拍摄获取的红外图像传至FPGA开发板，FPGA开发板对红外图像进行预处理，并利用剪枝后的YOLO模型对图像中人或物进行检测及识别；当有障碍物出现，FPGA开发板同时将障碍物距离和检测及识别结果通过蓝牙发送给手机，进行数据显示并实现语音播报。/n

【技术特征摘要】
1.一种主动红外车载夜视路况检测及语音播报系统，其特征在于，该系统包括：
主动发射红外光的半导体激光器；
接受红外反射光的红外接收器；
对车辆前方进行拍摄的CCD高清摄像仪；
分别连接半导体激光器、CCD高清摄像仪、红外接收器的FPGA开发板；
通过蓝牙接收FPGA开发板输出信息的手机；其中：
所述FPGA开发板控制半导体激光器发射红外光，红外接收器接收障碍物的反射光将其转变为电信号传入FPGA开发板，FPGA开发板计算障碍物与车辆的距离；CCD摄像仪将拍摄获取的红外图像传至FPGA开发板，FPGA开发板对红外图像进行预处理，并利用剪枝后的YOLO模型对图像中人或物进行检测及识别；当有障碍物出现，FPGA开发板同时将障碍物距离和检测及识别结果通过蓝牙发送给手机，进行数据显示并实现语音播报。


2.根据权利要求1所述的系统，其特征在于，所述FPGA开发板计算障碍物与车辆的距离，具体为：
最早发射红外光时刻t1，最早反射时刻t2，红外光的传播速度V红外，距离d＝(t2-t1)*V红外/2。


3.根据权利要求1所述的系统，其特征在于，所述FPGA开发板对红外图像进行预处理，具体包括：
(1)采用中值滤波对采集到的原始图像进行滤波降噪处理，对滑动窗口内的像素灰度排序，用中值代替窗口中心像素(x,y)原来的灰度；
(2)采用拉普拉斯算子增强红外图像的目标与背景的对比度，采用的公式为：



其中为自由参数，用于调节锐化程度，(i,j)代表图像的坐标点，f是原始输入图像，g是输出图像，定义为：



(3)采用阈值分割与形态学处理把红外图像中的目标从背景中分离出来。


4.根据权利要求1所述的系统，其特征在于，所述利用剪枝后的YOLO模型对图像中人或物进行检测及识别，具体包括：
(1)搭建剪枝YOLO模型
ⅰ)利...

【专利技术属性】
技术研发人员：胡宇期，周子敖，琚小明，胡妙，刘宇，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：上海;31