The invention provides a night driving scene vision enhancement system and method based on multi-source information fusion. The system comprises a camera module, an infrared camera, a laser scanning module, a millimeter wave radar sensor, a GPS module, a visual enhancement processing module, a graphics card module and an intelligent windshield display screen. The invention identifies the driver's eye position and sight relative to the cab; the vision enhancement module uses the image recognition algorithm based on the neural network to identify the vehicle type in front of it, obtains the vehicle parameters in front of it and the vehicle model in front of it; the vision enhancement processing module obtains the fused vehicle information through information fusion, and obtains the image after vision enhancement by moving and rotating correction; The module performs visual enhancement, texture mapping and rendering of the enhanced image to obtain the driving image, and the intelligent windshield display screen displays the driving image. The invention is suitable for driving at night and provides a safe driving platform for drivers with poor night vision.
【技术实现步骤摘要】
一种多源信息融合的夜间行车场景视觉增强系统及方法
本专利技术属于智能交通
，尤其涉及一种多源信息融合的夜间行车场景视觉增强系统及方法。
技术介绍
随着近年来汽车工业发展,汽车已经逐渐普及到千家万户。随着道路上汽车数量的增多,交通事故的发生率也逐渐增长,由此伴随而来的行车安全性问题,尤其是在恶劣天气和夜间行车的安全性显得格外重要。汽车安全中的各项功能也越来越受到人们的重视,特别是在汽车主动安全方面的一些功能更加引起人们的重视。汽车安全系统主要分为两个方面,一方面是被动安全系统,另外一方面是主动安全系统。被动安全是在发生事故时汽车对车内成员的保护或对被撞车辆或行人的保护；主动安全,即提前采集道路情况并在可能发生危险之前提醒驾驶者规避风险,从而避免事故的发生。针对主动安全系统的研究则成为当前汽车安全的研究与发展的重点。根据统计数据显示,由于夜间视线不良和天气恶劣所造成的交通事故占60％以上。因此,车载夜视系统成为保证夜间行车安全的关键。它通过提高驾驶员的夜间观察能力,来提高行车的安全性。据实验表明，一般汽车前灯只能照射100m左右，而夜视系统可看到300m以外的路...
【技术保护点】
1.一种多源信息融合的夜间行车场景视觉增强系统，其特征在于，包括：相机模块、红外摄像头、激光扫描模块、毫米波雷达传感器、GPS模块、视觉增强处理模块、显卡模块、智能挡风玻璃显示屏；所述视觉增强处理模块分别与所述的相机模块、红外摄像头、激光扫描模块、毫米波雷达传感器、GPS模块通过导线依次连接；所述的视觉增强处理模块、显卡模块、智能挡风玻璃显示屏通过导线依次串联连接。
【技术特征摘要】
1.一种多源信息融合的夜间行车场景视觉增强系统，其特征在于，包括：相机模块、红外摄像头、激光扫描模块、毫米波雷达传感器、GPS模块、视觉增强处理模块、显卡模块、智能挡风玻璃显示屏；所述视觉增强处理模块分别与所述的相机模块、红外摄像头、激光扫描模块、毫米波雷达传感器、GPS模块通过导线依次连接；所述的视觉增强处理模块、显卡模块、智能挡风玻璃显示屏通过导线依次串联连接。2.根据权利要求1所述的多源信息融合的夜间行车场景视觉增强系统，其特征在于，所述相机模块安装于驾驶室后视镜位置，用于实时获取驾驶室内图像；所述红外摄像头安装于车辆头部，用于实时拍摄前车图像；所述激光扫描模块安装在车辆头部，用于采集前车速度和前车距离；所述毫米波雷达传感器安装在车辆头部，用于采集前车速度、前车距离以及前车方位角；所述GPS模块用于在大地坐标系中采集自车位置信息；所述视觉增强处理模块将所述激光扫扫描模块采集的前车速度和前车距离与所述毫米波雷达传感器采集的前车速度、前车距离以及前车方位角通过一种具有容错性和鲁棒性的离散时变多传感器线性随机控制系统的最优信息融合分散滤波器，从而得到融合后前车速度、融合后前车距离以及融合后前车方位角；所述显卡模块用于将所述视觉增强处理模块视觉增强后图像通过内置显卡进行视觉增强、纹理映射以及渲染输出，使前方车辆图像更加真实，夜间行车场景更加清晰；所述智能挡风玻璃显示屏采用整块挡风玻璃做显示屏，显示所述显卡模块处理完毕后输出的行车图像，提供驾驶员可见的更加清晰的夜间行车场景。3.一种利用权利要求1所述的多源信息融合的夜间行车场景视觉增强系统进行权利要求1所述的多源信息融合的夜间行车场景视觉增强方法，其特征在于，步骤1：识别驾驶员相对于驾驶室的眼部位置和视线；步骤2：所述视觉增强模块使用基于神经网络的图像识别算法识别前方车辆类型，根据前方车辆类型获得前方车辆参数，建立前方车辆模型；步骤3：所述视觉增强处理模块通过信息融合得到融合后前车速度、融合后前车距离以及融合后前车方位角，进一步计算前方车辆位置，结合驾驶员眼部相对于车辆的垂向高度以及驾驶员眼部相对于前车纵轴的横向偏移进行移动旋转校正得到视觉增强后图像；步骤4：显卡模块用于将所述视觉增强处理模块视觉增强后图像通过内置显卡进行视觉增强、纹理映射以及渲染得到行车图像；步骤5：所述智能挡风玻璃显示屏采用整块挡风玻璃做显示屏，显示所述显卡模块处理后行车图像，提供驾驶员可见的更加清晰的夜间行车场景。4.根据权利要求3所述的多源信息融合的夜间行车场景视觉增强方法，其特征在于，步骤1中所述识别驾驶员相对于驾驶室的眼部位置和视线为：所述相机模块实时获取驾驶室内图像，并将驾驶室内图像传输至所述视觉增强模块；所述视觉增强模块以相机模块位置坐标为零点建立坐标系，通过基于主成分分析的人脸识别算法，在图像中的目标区域内识别驾驶人面部区域得到以两眼中间点的眼部位置，眼部位置坐标为(Xe，Ye，Ze)，驾驶员面部横摆角为θfy，面部俯仰角为θfp。5.根据权利要求3所述的多源信息融合的夜间行车场景视觉增强方法，其特征在于，步骤2中所述使用基于神经网络的图像识别算法识别前方车辆类型为：所述红外摄像头实时拍摄前方图像并传输至所述视觉增强模块，所述视觉增强模块将前方图像通过基于神经网络的图像识别出前方车辆类型为ID；所述视觉增强模块根据ID获得前方车辆参数为：前方车辆ID的横摆角θey,ID；所述视觉增强模块根据ID建立前方车辆模型为前方车辆3D模型：(UID,k，VID,k，WID,k)k∈[1,L]其中，UID,k为前方车辆ID...
【专利技术属性】
技术研发人员：贺宜，杨硕，严新平，吴超仲，乔磊，陆一辉，宋钰，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：湖北,42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。