一种基于多传感器的车载环境识别系统及全方位视觉模块技术方案

本发明专利技术公开了一种基于多传感器的车载环境识别系统，包括全方位视觉模块、IMU模块、GPS模块、雷达模块和数据融合模块，全方位视觉模块用于获取车辆周围360度范围内的环境三维信息，IMU模块用于获取车辆的加速度与角速度信息，GPS模块与IMU模块联合工作，获取车辆的位置和姿态信息，雷达模块用于获取车辆前方的目标位置信息，并且具有全天候、全天时的特点，数据融合模块用于对各传感器模块所获取的环境信息进行融合，实现对车辆行驶环境更加准确的识别。本发明专利技术同时公开了一种全方位视觉模块，通过各个步进电机控制对应的双目摄像头进行俯仰运动获取所观测环境的全方位场景图像；图像处理模块实时采集并处理各组双目摄像头获取的场景图像。

【技术实现步骤摘要】
一种基于多传感器的车载环境识别系统及全方位视觉模块
本专利技术涉及一种多摄像头拼接的全方位视觉装置以及基于多传感器的车载环境识别系统，属于传感器

技术介绍
单目视觉可以进行简单的目标跟踪、目标识别，但是并不能提供环境的深度信息。双目视觉在单目视觉的基础上实现了对深度信息的获取，但是不能实时地进行全方位的信息获取。相对于传统视觉传感器在视场受限方面的不足，全方位视觉装置可以实时获取全方位的环境信息，在军事应用、公共安全、视频会议以及位置环境的探测等方面发挥着积极的作用。多部成像装置多角度同时拍摄是最容易想到的全方位图像获取的技术，相对于普通摄像机加旋转云台的方法存在延时、鱼眼技术和折反射技术存在高畸变，多摄像头拼接的全方位视觉装置更加简单可靠。目前多摄像头拼接的全方位视觉装置在多摄像头的精确安装、多幅图像的无缝拼接等方面均存在不足，此外该装置在垂直方向的视角受限也对全方位环境信息的获取存在一定的影响。随着工作环境与任务的日益复杂，人们对智能系统的性能提出了更高的要求。单个传感器在某一采样时刻只能获取一组数据，经过处理得到的信息只能用来描述环境的局部特征，因此单靠一个传感器往往无法满足某些系统对鲁棒性的要求。采用多传感器融合可以对环境进行更加全面准确的描述，但是信息的冗余在提高系统鲁棒性的同时伴随着大量数据的产生，大量的数据计算处理无疑严重影响着系统的实时性，此外系统的功耗、资源占用率等都是需要考虑的问题。
技术实现思路
本专利技术提供了一种全方位视觉模块，其为多摄像头拼接的全方位视觉装置，解决了传统视觉传感器不能实时获取全方位环境信息的问题。以上目的是通过以下技术方案实现的：一种全方位视觉模块，包括：基座，图像处理模块，多组双目摄像头，与双目摄像头数量一致的摄像头支架、步进电机、俯仰电机支架；多组双目摄像头在水平方向均匀布置，每组双目摄像头通过一个摄像头支架固定在基座外周上，每个步进电机通过对应的俯仰电机支架固定在基座上，每个摄像头支架与对应的步进电机输出轴固定连接，通过各个步进电机控制对应的双目摄像头进行俯仰运动获取所观测环境的全方位场景图像；图像处理模块固定安装在基座上，实时采集并处理各组双目摄像头获取的场景图像。进一步地，所述图像处理模块包括图像采集单元、图像拼接单元、双目匹配单元、目标识别单元；图像采集单元实时采集所述各组双目摄像头获取的各个方向的场景图像并将图像信息同时传输给图像拼接单元、双目匹配单元和目标识别单元；图像拼接单元将各个方向的场景图像进行一系列图像预处理后拼接成一幅全景图像；双目匹配单元计算双目摄像头每帧获取的两幅图像的视差，结合双目视觉中的三角测量原理得到对应的深度图像；目标识别单元通过训练样本对分类器进行训练，再利用训练好的分类器检测所观测场景中的样本目标。进一步地，所述图像拼接单元的工作过程包括：摄像头标定：预先校准由于安装设计产生的物理差异及摄相头之间的物理差异，得到一致性好的图像；图像畸变校正：对导致图像内直线变弯曲的径向畸变进行校正操作；图像投影变换：将不同角度拍摄的图像进行投影变换至同一投影面以便于拼接；匹配点选取：在图像序列中寻找具有缩放不变性的SIFT特征点；图像拼接：包括配准与融合，将各个方向的场景图像按一定规则拼接为一幅展开的全景图；后处理：进行图像对亮度与颜色的均衡处理，以保证全景图在整体上达到亮度与颜色的一致性。进一步地，所述双目匹配单元的工作过程包括：摄像头标定：通过摄像头标定获取摄像头的内部参数与外部参数；代价计算以及图像分割：通过互信息计算初始匹配代价，解决了由于光照变化引起的误匹配现象；图像分割使同一分割块内的视差具有平滑变化的特点，改善弱纹理区域和深度不连续区域出现的匹配精度问题；构造全局能量函数：将代价计算以及图像分割的信息融合起来提出全局能量函数E(d)＝Edata(d)+λEsmooth(d)；多方向代价聚合：从8或16个方向的一维路径进行动态规划得到总的匹配代价；视差选择：通过选择使总的匹配代价最小的视差为每个像素点的视差，从而得到整幅图像的初步视差图。视差优化：通过亚像素插值、中值滤波、左右一致性检验进行优化处理得到视差图，再经过双目视觉中的三角测量原理得到深度图像。进一步地，所述目标识别单元的工作过程包括：通过训练样本来训练分类器：对正样本和负样本进行特征选择和提取从而对原始数据进行变换得到最能反映分类本质的特征，进而得到训练好的分类器；利用训练好的分类器进行目标检测：用一个扫描子窗口在待检测的图像中不断的移位滑动计算窗口区域的特征，并且通过训练好的分类器对该特征进行筛选，最终得到所要的分类结果。本专利技术同时提供一种基于多传感器的车载环境识别系统，能够获取多种传感数据信息，并通过硬件处理器并行计算处理数据信息，解决了单个传感器获取信息少、系统鲁棒性低、实时性差等问题。以上目的是通过以下技术方案实现的：一种基于多传感器的车载环境识别系统，包括全方位视觉模块、IMU模块、GPS模块、雷达模块和数据融合模块，全方位视觉模块、IMU模块、GPS模块、雷达模块分别与数据融合模块通讯连接；全方位视觉模块用于获取车辆周围360度范围内的环境三维信息；IMU模块用于获取车辆的加速度与角速度信息；GPS模块与IMU模块联合工作，获取车辆的位置和姿态信息；雷达模块用于获取车辆前方的目标位置信息，并且具有全天候、全天时的特点；数据融合模块用于对各传感器模块所获取的环境信息进行融合，实现对车辆行驶环境更加准确的识别。进一步地，所述数据融合模块包括数据采集单元、数据存储单元、硬件处理器，数据采集单元采集上述各个传感器模块传输过来的数据并传输给数据存储单元；数据存储单元对数据进行存储并将数据实时传输给硬件处理器；硬件处理器以并行的方式计算处理传输过来的数据信息，以保证系统的实时性。本专利技术的有益效果是：1本专利技术提供了一种多摄像头拼接的全方位视觉装置，通过电机控制水平均置的多组双目摄像头进行俯仰运动，能够获取环境的全方位信息；并且该装置提供了图像拼接、双目匹配以及目标识别多种图像处理单元。2本专利技术提供了一种基于多传感器的车载环境识别系统，能够获取多种传感数据信息，经过融合处理能够对环境进行更加全面的描述，提高对环境特征描述的准确性，同时信息的冗余可以提高系统鲁棒性。3本专利技术通过硬件处理器以并行的方式处理数据，满足了实时性的要求。附图说明图1是基于多传感器的车载环境识别系统结构框图图2是全方位视觉模块的结构示意图图3是图像处理模块的结构框图图4是图像拼接单元的原理框图图5是双目匹配单元的原理框图图6是目标识别单元的原理框图具体实施方式以下结合附图详细介绍本专利技术的技术方案：如图1所示，一种基于多传感器的车载环境识别系统，包括全方位视觉模块1、IMU模块2、GPS模块3、雷达模块4和数据融合模块5，全方位视觉模块1、IMU模块2、GPS模块3、雷达模块4分别与数据融合模块5通讯连接。全方位视觉模块1是一种多摄像头拼接的全方位视觉装置，能够获取车辆周围360度范围内的环境三维信息；IMU模块2包括加速度计和陀螺仪，能够获取车辆的加速度与角速度信息；GPS模块3与IMU模块2联合工作，能够获取车辆的位置和姿态信息；雷达模块4能够获取车辆前方的目标位置信息，并且具有本文档来自技高网...

【技术保护点】
一种全方位视觉模块，其特征在于，包括：基座，图像处理模块，多组双目摄像头，与双目摄像头数量一致的摄像头支架、步进电机、俯仰电机支架；多组双目摄像头在水平方向均匀布置，每组双目摄像头通过一个摄像头支架固定在基座外周上，每个步进电机通过对应的俯仰电机支架固定在基座上，每个摄像头支架与对应的步进电机输出轴固定连接，通过各个步进电机控制对应的双目摄像头进行俯仰运动获取所观测环境的全方位场景图像；图像处理模块固定安装在基座上，实时采集并处理各组双目摄像头获取的场景图像。

【技术特征摘要】
1.一种全方位视觉模块，其特征在于，包括：基座，图像处理模块，多组双目摄像头，与双目摄像头数量一致的摄像头支架、步进电机、俯仰电机支架；多组双目摄像头在水平方向均匀布置，每组双目摄像头通过一个摄像头支架固定在基座外周上，每个步进电机通过对应的俯仰电机支架固定在基座上，每个摄像头支架与对应的步进电机输出轴固定连接，通过各个步进电机控制对应的双目摄像头进行俯仰运动获取所观测环境的全方位场景图像；图像处理模块固定安装在基座上，实时采集并处理各组双目摄像头获取的场景图像。2.如权利要求1所述的一种全方位视觉模块，其特征在于，所述图像处理模块包括图像采集单元、图像拼接单元、双目匹配单元、目标识别单元；图像采集单元实时采集所述各组双目摄像头获取的各个方向的场景图像并将图像信息同时传输给图像拼接单元、双目匹配单元和目标识别单元；图像拼接单元将各个方向的场景图像进行一系列图像预处理后拼接成一幅全景图像；双目匹配单元计算双目摄像头每帧获取的两幅图像的视差，结合双目视觉中的三角测量原理得到对应的深度图像；目标识别单元通过训练样本对分类器进行训练，再利用训练好的分类器检测所观测场景中的样本目标。3.如权利要求2所述的一种全方位视觉模块，其特征在于，所述图像拼接单元的工作过程包括：摄像头标定：预先校准由于安装设计产生的物理差异及摄相头之间的物理差异，得到一致性好的图像；图像畸变校正：对导致图像内直线变弯曲的径向畸变进行校正操作；图像投影变换：将不同角度拍摄的图像进行投影变换至同一投影面以便于拼接；匹配点选取：在图像序列中寻找具有缩放不变性的SIFT特征点；图像拼接：包括配准与融合，将各个方向的场景图像按一定规则拼接为一幅展开的全景图；后处理：进行图像对亮度与颜色的均衡处理，以保证全景图在整体上达到亮度与颜色的一致性。4.如权利要求2所述的一种全方位视觉模块，其特征在于，所述双目匹配单元的工作过程包括：摄像头标定：通过摄像头标定获取摄像头的内部参数与外部参数；代价计算以及图像分割：通过互信息计算初始匹配代价，...

【专利技术属性】
技术研发人员：王建华，陈建华，孙维毅，赵洁，张庆，王政军，鲍磊，王书博，周志超，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林,22