多摄像头适配的车载视觉感知系统技术方案

本发明专利技术公开了一种多摄像头适配的车载视觉感知系统，包括车载摄像头信号传输单元、DSP处理单元、摄像头类型判断单元、视觉数据存储单元及图像信息预处理单元；本发明专利技术可以实现包括红外摄像头、单目摄像头、单目广角摄像头、双目立体摄像头、双目图像拼接摄像头、多镜头图像拼接全景摄像头在内的多种摄像头类型的适配，并且建立一种通用型的车载视觉处理方案，为汽车驾驶辅助系统提供多样兼容性视觉方案，同样可以减少多种车载视觉搭载的时间成本以及经济成本。

An on-board vision sensing system with multi camera adaptation

The invention discloses a multi camera matching vehicle visual perception system, including camera signal transmission unit, DSP unit, camera type judging unit, data storage unit and image visual information preprocessing unit; and the invention can include infrared camera, monocular camera and monocular wide-angle camera, stereo binocular camera, image mosaic camera, multi lens image mosaic panoramic camera, various types of camera adapter, vehicle vision processing scheme and establish a universal scheme for compatibility, provide a variety of visual automotive driver assistance system, also can reduce a variety of vehicle equipped with visual time cost and economic cost.

【技术实现步骤摘要】
多摄像头适配的车载视觉感知系统
本专利技术涉及于车载视觉感知
，特别涉及一种多摄像头适配的车载视觉感知系统。
技术介绍
近年来，随着汽车驾驶辅助技术的日益成熟，各种汽车辅助功能被越来越多地应用在量产汽车上。汽车驾驶辅助技术是汽车由“机械化”向“智能化”发展的一个必经的技术阶段；其可以为驾驶员驾驶行为提供安全保障，同时提高车辆行驶的舒适性、安全性、燃油经济性。在驾驶辅助技术和无人驾驶技术中，环境感知是其重要的核心组成部分。环境感知技术指车辆通过包括摄像头、超声波雷达、毫米波雷达、激光雷达等传感器的相关信号对周围环境进行感知，为车辆的控制决策提供重要依据。其中，相较于其他环境传感器，摄像头可以提供更加丰富的环境信息，并且价格低廉、性能可靠，常被认为是无人驾驶环境感知技术的一个不可替代的方向。由摄像头一种传感器组成的环境感知系统被统称为车载视觉系统。车载视觉系统的功用有很多，包括行车记录、防撞预警、ACC、车道检测等。现有的车载视觉系统只提供单一功能。如果驾驶员期望实现多种驾驶辅助功能，则往往需要在车辆上安装多套不同功能种类的车载视觉系统，不可避免的造成了硬软件经济成本的大量浪费。同时多种类车载视觉系统的兼容问题和数据冗余问题，也极大的影响了车载视觉系统的稳定性、安全性以及经济性。现有车载视觉感知系统中，摄像头种类繁杂，包括红外/纯可见光摄像头、定焦/变焦摄像头、普通/广角摄像头、单目/双目摄像头、平面/立体摄像头等等。这些摄像头各有各的强调优势，但在功能处理方面又有一定相似之处。现有车载视觉系统并未对多个种类的摄像头进行适配，以适用于多种不同种类的摄像头。综上所述，现有车载视觉感知系统在多类别摄像头适配和多模块功能集成化处理方面具有缺陷，需要改进。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种多摄像头适配的车载视觉感知系统，为驾驶辅助技术以及无人驾驶技术提供更加稳定、更加安全、更加功能集成化的车载视觉技术。本专利技术的多摄像头适配的车载视觉感知系统，包括：车载摄像头信号传输单元，用于车载硬件感光元器件的信号转换及信号传输；DSP处理单元，与车载摄像头信号传输单元相连，用于车载摄像头数字信号的信号滤波及A/D转换；摄像头类型判断单元，与摄像头类型判断单元相连，用于识别车载摄像头的硬件类型并为系统功能提供摄像头类型信息；视觉数据存储单元，与DSP处理单元相连，用于储存车载摄像头数据作为行车记录，储存图像预处理结果数据作为传感器融合的数据接口；图像信息预处理单元，与摄像头类型判断单元及视觉数据存储单元相连，用于将摄像头数据根据摄像头类型进行预处理，对图像进行去雾-优化处理、香农熵检测、灰度化、二值化及基于边缘检测的图像分割。进一步，该系统还包括图像处理单元，所述图像处理单元与图像信息预处理单元相连；所述图像处理单元包括：路面估计单元，用于根据去雾优化后的图像数据对车辆行驶路面进行估计、分类；视觉里程计单元，用于根据去雾优化处理数据/灰度图像数据，对车辆行驶进行相对位姿解算；图像特征计算单元，用于对去雾优化处理数据、灰度图像数据进行视觉特征解算，包括特征检测、特征描述，计算特征分别为Haar、HOG、FAST、ORB、BRIEF或者LBP，特征实际解算种类由摄像头处理需求指定；视觉地图构建单元，用于针对BRIEF特征建立视觉特征地图库，与视觉里程计融合为视觉环境SLAM，对视觉地图进行优化处理，进行实时回环检测；图像识别单元，用于根据已知图像特征对车辆、行人、交通标识、车道线进行视觉识别；图像追踪单元，用于对车辆、行人、交通标识、车道线在不同帧画面中位置进行特征匹配，计算、估计车辆、行人、交通标识、车道线在世界坐标系下的时刻状态、位置；以及视觉特征库储存单元，用于储存图像特征计算单元解算出的视觉特征数据，存储方式为依时序下3D结构重建的特征库储存方式，为视觉地图构建单元提供计算数据接口。进一步，该系统还包括系统后端，所述系统后端与图像处理单元相连；所述系统后端包括：结构化道路构建单元，用于利用路面估计单元、视觉地图构建单元、图像识别单元解算结果搭建结构化道路模型，优化模型结果；行驶环境检测单元，用于根据路面估计单元、视觉地图构建单元、图像识别单元、图像追踪单元数据解算结果，检测自车辐射范围L米内行驶环境变化；以及系统数据交互接口单元用于为人机共驾、人机交互、车辆控制决策定位数据提取、车辆控制决策环境数据提取及传感器数据融合决策级数据提取提供数据接口。进一步，所述L为100-200。进一步，所述摄像头类型判断单元包括：车载视觉信号输入模块，用于提供摄像头类型判断数据接口，将DSP处理单元处理结果信号、红外线发生器信号输入车载摄像头类型判断单元；摄像头类型判断模块，用于判断摄像头类型，其包括红外/纯可见光摄像头判断模块、摄像头数量检测模块、摄像头广角检测模块及摄像头视野检测模块；以及摄像头类型信息输出模块，用于输出摄像头判断结果。进一步，该系统还包括：车载视觉信息输入单元，设在摄像头类型判断单元与图像信息预处理单元之间，用于传输摄像头类型信息及摄像头安装位置信息数据；以及车载视觉信号输入单元，设在摄像头类型判断单元与图像信息预处理单元之间，用于传输原有摄像头数据。本专利技术的有益效果：本专利技术的多摄像头适配的车载视觉感知系统，可以适配多种摄像头类型，完成车载视觉的多种模块化功能；在这个过程中，工程人员只需极少的人工作业以及人工干预，节省了大量的人力、时间成本；本专利技术可以实现包括红外摄像头、单目摄像头、单目广角摄像头、双目立体摄像头、双目图像拼接摄像头、多镜头图像拼接全景摄像头在内的多种摄像头类型的适配，并且建立一种通用型的车载视觉处理方案，为汽车驾驶辅助系统提供多样兼容性视觉方案，同样可以减少多种车载视觉搭载的时间成本以及经济成本。附图说明下面结合附图和实施例对本专利技术作进一步描述：图1为本专利技术的结构框图；图2为专利技术的摄像头类型判断单元的结构框图；图3为本专利技术的图像信息预处理单元及图像信息预处理单元的结构框图；图4为单个车载红外摄像头图像处理线程流程图；图5为单个车载纯可见光摄像头图像处理线程流程图；图6为多摄像头全景图像差异化处理流程图；图7为双目立体视觉图像差异化处理流程图；图8为单目广角摄像头图像差异化处理流程图。具体实施方式本车载视觉感知系统包括：车载视觉硬件/软件系统前端、车载视觉摄像头类型判断单元、图像预处理单元、图像处理单元、车载视觉系统后端。其中，车载视觉硬件/软件系统前端包括车载摄像头硬件安装布置、更换，车载摄像头感光元器件信号转换、A/D转换、数字信号处理DSP，摄像头红外发生器工作状态；车载视觉摄像头类型判断单元包括摄像头红外检测、摄像头数目判断、摄像头广角检测、摄像头视野检测；图像预处理单元包括摄像头内参数标定、图像去雾、图像香农熵检测、图像分割、图像信号灰度化、图像二值化；图像处理单元包括路面估计、特征检测、视觉里程计、视觉地图、行人识别、行人追踪、车辆识别、车辆追踪、车道线识别、交通标识识别；车载视觉系统后端包括车辆定位、结构化道路构建、驾驶环境状态检测，车载视觉系统后端最终为驾驶员/无人驾驶汽车提供驾驶行为安全警示、控制决策依据、数据融合视觉特征、数据、决策接口。该车载视觉系统的实际本文档来自技高网...

【技术保护点】
一种多摄像头适配的车载视觉感知系统，其特征在于，包括：车载摄像头信号传输单元，用于车载硬件感光元器件的信号转换及信号传输；DSP处理单元，与车载摄像头信号传输单元相连，用于车载摄像头数字信号的信号滤波及A/D转换；摄像头类型判断单元，与摄像头类型判断单元相连，用于识别车载摄像头的硬件类型并为系统功能提供摄像头类型信息；视觉数据存储单元，与DSP处理单元相连，用于储存车载摄像头数据作为行车记录，储存图像预处理结果数据作为传感器融合的数据接口；以及图像信息预处理单元，与摄像头类型判断单元及视觉数据存储单元相连，用于将摄像头数据根据摄像头类型进行预处理，对图像进行去雾‑优化处理、香农熵检测、灰度化、二值化及基于边缘检测的图像分割。

【技术特征摘要】
1.一种多摄像头适配的车载视觉感知系统，其特征在于，包括：车载摄像头信号传输单元，用于车载硬件感光元器件的信号转换及信号传输；DSP处理单元，与车载摄像头信号传输单元相连，用于车载摄像头数字信号的信号滤波及A/D转换；摄像头类型判断单元，与摄像头类型判断单元相连，用于识别车载摄像头的硬件类型并为系统功能提供摄像头类型信息；视觉数据存储单元，与DSP处理单元相连，用于储存车载摄像头数据作为行车记录，储存图像预处理结果数据作为传感器融合的数据接口；以及图像信息预处理单元，与摄像头类型判断单元及视觉数据存储单元相连，用于将摄像头数据根据摄像头类型进行预处理，对图像进行去雾-优化处理、香农熵检测、灰度化、二值化及基于边缘检测的图像分割。2.根据权利要求1所述的多摄像头适配的车载视觉感知系统，其特征在于，该系统还包括图像处理单元，所述图像处理单元与图像信息预处理单元相连；所述图像处理单元包括：路面估计单元，用于根据去雾优化后的图像数据对车辆行驶路面进行估计、分类；视觉里程计单元，用于根据去雾优化处理数据/灰度图像数据，对车辆行驶进行相对位姿解算；图像特征计算单元，用于对去雾优化处理数据、灰度图像数据进行视觉特征解算，包括特征检测、特征描述，计算特征分别为Haar、HOG、FAST、ORB、BRIEF或者LBP，特征实际解算种类由摄像头处理需求指定；视觉地图构建单元，用于针对BRIEF特征建立视觉特征地图库，与视觉里程计融合为视觉环境SLAM，对视觉地图进行优化处理，进行实时回环检测；图像识别单元，用于根据已知图像特征对车辆、行人、交通标识、车道线进行视觉识别；图像追踪单元，用于对车辆、行人、交通标识、车道线在不同帧画面中位置进行特征匹配，计算、估计车辆、行人、交通标识、车道线在世界坐标系下...

【专利技术属性】
技术研发人员：刘梓林，黎予生，熊周兵，郑玲，李涛，
申请(专利权)人：重庆大学，重庆长安汽车股份有限公司，
类型：发明
国别省市：重庆,50