一种基于多视觉惯导融合的自主泊车系统及方法技术方案

本发明专利技术公开一种基于多视觉惯导融合的自主泊车系统，包括双目视觉SLAM模块、环视泊车检测模块和决策及控制模块，双目视觉SLAM模块，用于将所采集的停车场图像通过多视觉惯导融合生成停车场模拟地图，且获取车辆在停车场模拟地图坐标系下的实时定位信息传送至决策及控制模块；环视泊车检测模块，用于采集车辆当前位置数据检测当前环境特征参数检测，且将其检测结果传送至决策及控制模块；决策及控制模块，用于根据所接收的车辆在停车场模拟地图中地理定位信息和当前环境特征参数作出车辆自主泊车策略。本发明专利技术还公开一种基于多视觉惯导融合的自主泊车方法，用以实现上述系统。

An autonomous parking system and method based on multi vision inertial navigation

The invention discloses a self parking system based on the fusion of multi visual navigation, including binocular vision SLAM module, detection module and decision and look around the parking control module, SLAM module for binocular vision, parking lot image will be collected by multi vision inertial fusion generation parking lot simulation map, and obtains the vehicle in the parking lot simulation the real-time location information to decision and control module map coordinates; look around the parking detection module is used for collecting the current vehicle position data detection, the current environment parameters, and the detection result is transmitted to the decision and control module; decision and control module, used to make the vehicle autonomous parking strategy in the parking location field map the current environment information and parameters according to the received vehicle. The invention also discloses an autonomous parking method based on the fusion of multi vision inertial navigation system, which is used to realize the system.

【技术实现步骤摘要】
一种基于多视觉惯导融合的自主泊车系统及方法
本专利技术涉及车辆自主泊车
，特别涉及一种基于多视觉惯导融合的自主泊车系统及方法。
技术介绍
在汽车普及如此迅猛的背景下，汽车智能化成为汽车产业发展的一大趋势，其中由于泊车环节繁琐，对驾驶者技术要求高，泊车过程容易出现意外等原因，自主泊车系统更是吸引各大汽车厂商投入大量资金研究发展。目前为止，市面上高端车型配备的自主泊车系统大部分依靠于雷达和超声波传感器实现，通过雷达，超声波获取汽车与周边物体间的距离以达到泊车的目的。但雷达与超声波传感器均存在一定的盲点，无法完整地把数据采集下来。同时，此类传感器价格高昂，一般只配备在高端品牌的高端车型上，对于智能车的普及无法起到积极的作用。同时，由于车辆数目的快速增长，城市停车位在繁忙时段一位难求，寻找停车库位的过程是枯燥的，极其麻烦的，但遗憾的是，市面上大部分的自主泊车系统需要驾驶者自己寻找停车库位并把车驾驶到库位附近才能实现自主泊车，部分的自主泊车系统还需要驾驶者把停车库位标记出来。十分不人性化。此外，市面上极少应用视觉SLAM技术为自主泊车系统提供定位信息，视觉SLAM技术难以做到稳定的追踪计算当前位置信息，对场景，车速要求极高，不适用于真正多变的泊车环境。
技术实现思路
本专利技术的主要目的是提出一种基于多视觉惯导融合的自主泊车系统，旨在克服上述问题。为实现上述目的，本专利技术提出的基于多视觉惯导融合的自主泊车系统，包括双目视觉SLAM模块、环视泊车检测模块和决策及控制模块，其中：双目视觉SLAM模块，用于将所采集的停车场图像通过多视觉惯导融合生成停车场模拟地图，且获取车辆在停车场模拟地图坐标系下的实时定位信息传送至决策及控制模块，其中双目视觉SLAM模块包括惯性测量元件IMU，用以获取车辆当前位置的IMU信息；环视泊车检测模块，用于采集车辆当前位置数据检测当前环境特征参数检测，且将其检测结果传送至决策及控制模块；决策及控制模块，用于根据所接收的车辆在停车场模拟地图中地理定位信息和当前环境特征参数作出车辆自主泊车策略，以此控制车辆自主泊车的操作。优选地，所述双目视觉SLAM模块包括图像采集处理单元、建图单元、车辆视觉定位单元和场景定位修正单元，其中：图像采集处理单元，用于通过双目相机采集车辆当前帧图像，对其处理得到该图像的深度信息，从该图像的深度信息中提取车辆当前帧图像的ORB特征；建图单元，用于根据车辆在停车场行驶从每帧车辆当前帧图像所提取的ORB特征通过多视觉惯导融合生成若干停车场SLAM图像，且由若干停车场SLAM图像组成停车场模拟地图；车辆视觉定位单元，用于车辆无人泊车进程中通过多视觉惯导融合的轨迹推导车辆在停车场模拟地图坐标系下的初始实时定位信息；场景定位修正单元，用于将车辆无人泊车进程中的当前帧图像的ORB特征与停车场SLAM图像的特征图像进行场景实时定位修正，将车辆在停车场模拟地图坐标系下的初始实时定位信息修正为车辆在停车场模拟地图坐标系下的实时定位信息，并输出至决策及控制模块。优选地，所述场景定位修正单元包括一次定位修正子单元、二次定位修正子单元和输出子单元，其中：一次定位修正子单元，用于将车辆当前帧图像的ORB特征与停车场SLAM图像进行场景实时定位修正，将车辆在停车场模拟地图坐标系初始实时定位信息修正为其的一次实时定位信息；二次定位修正子单元，用于将所述一次实时定位信息和车辆当前帧图像进行矩阵转换完成二次定位修正，得到车辆在停车场模拟地图坐标系下的实时定位信息；输出子单元，用于将车辆在停车场模拟地图坐标系下的实时定位信息输出至决策及控制模块。优选地，所述多视觉惯导融合是指以停车场帧图像作为参考关键帧放入SLAM中，车辆当前帧图像放入SLAM，且与参考关键帧中的图像信息相匹配，根据匹配情况选用车辆当前帧图像或车辆当前位置的IMU信息作为车辆位置信息。优选地，所述根据匹配情况选用车辆当前帧图像或IMU信息的车辆当前位置作为车辆位置信息的公式为：Pos＝poseofIMUifmappoints<threshold；Pos＝posifmappoints>threshold，pos代表当前帧所处位置，posofIMU代表通过IMU元件获得的当前位置，mappoints代表一帧里面拥有的地图点，threshold代表系统预设阈值。优选地，还包括G20优化模块，所述G20优化模块对停车场模拟地图进行离线闭环检测，以对停车场模拟地图全局优化；及所述G20优化模块还对车辆二次地图定位进行优化，以得到车辆的最优定位信息。优选地，所述双目视觉SLAM模块还包括存储模块，所述存储模块用于存储双目视觉SLAM模块所生成的不同的停车场模拟地图，并提供给车辆视觉定位单元进行匹配及定位。优选地，所述环境特征参数包括车道线参数、车位参数、障碍物参数，所述环视泊车检测模块包括车道线检测单元、车位检测单元和障碍物检测单元，其中：车道线检测单元，用于为车辆提供车道线感知信息，并将所感知的信息传送至决策及控制模块以规划车辆行驶路线；车位检测单元，用于采用环视相机得出车辆所处位置的环视图并进行车位检测；障碍物检测单元，用于利用双目相机检测车辆四周是否存在障碍物，并将所检测的结果传送至决策及控制模块。本专利技术还公开了一种基于多视觉惯导融合的自主泊车方法，包括如下步骤：S10将所采集的停车场图像通过多视觉惯导融合生成停车场模拟地图，且获取车辆在停车场模拟地图坐标系下的实时定位信息传送至决策及控制模块，其中双目视觉SLAM模块包括惯性测量元件IMU，用以获取车辆当前位置的IMU信息；S20采集车辆当前位置数据检测当前环境特征参数检测，且将其检测结果传送至决策及控制模块；S30根据所接收的车辆在停车场模拟地图中地理定位信息和当前环境特征参数作出车辆自主泊车策略，以此控制车辆自主泊车的操作。优选地，所述S10包括：S101通过双目相机采集车辆当前帧图像，对其处理得到该图像的深度信息，从该图像的深度信息中提取车辆当前帧图像的ORB特征；S102根据车辆在停车场行驶从每帧车辆当前帧图像所提取的ORB特征通过多视觉惯导融合生成若干停车场SLAM图像，且由若干停车场SLAM图像组成停车场模拟地图；S103用于车辆无人泊车进程中通过多视觉惯导融合的轨迹推导车辆在停车场模拟地图坐标系下的初始实时定位信息；S104将车辆无人泊车进程中的当前帧图像的ORB特征与停车场SLAM图像的特征图像进行场景实时定位修正，将车辆在停车场模拟地图坐标系下的初始实时定位信息修正为车辆在停车场模拟地图坐标系下的实时定位信息，并输出至决策及控制模块。本专利技术技术方案通过采用多视觉惯导融合也就是SLAM融合IMU建立起更可靠的停车场模拟地图；又由于融合了IMU元件轨迹推算的位置，获取更为准确、稳定的车辆实时位置信息，再通过场景定位修正时获取车辆在停车场模拟地图坐标系下的实时定位信息输出至决策及控制模块，控制车辆自主泊车，全方位提高了自主泊车系统的正确性、高效性与鲁棒性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术本文档来自技高网...

【技术保护点】
一种基于多视觉惯导融合的自主泊车系统，其特征在于，包括双目视觉SLAM模块、环视泊车检测模块和决策及控制模块，其中：双目视觉SLAM模块，用于将所采集的停车场图像通过多视觉惯导融合生成停车场模拟地图，且获取车辆在停车场模拟地图坐标系下的实时定位信息传送至决策及控制模块，其中双目视觉SLAM模块包括惯性测量元件IMU，用以获取车辆当前位置的IMU信息；环视泊车检测模块，用于采集车辆当前位置数据检测当前环境特征参数检测，且将其检测结果传送至决策及控制模块；决策及控制模块，用于根据所接收的车辆在停车场模拟地图中地理定位信息和当前环境特征参数作出车辆自主泊车策略，以此控制车辆自主泊车的操作。

【技术特征摘要】
1.一种基于多视觉惯导融合的自主泊车系统，其特征在于，包括双目视觉SLAM模块、环视泊车检测模块和决策及控制模块，其中：双目视觉SLAM模块，用于将所采集的停车场图像通过多视觉惯导融合生成停车场模拟地图，且获取车辆在停车场模拟地图坐标系下的实时定位信息传送至决策及控制模块，其中双目视觉SLAM模块包括惯性测量元件IMU，用以获取车辆当前位置的IMU信息；环视泊车检测模块，用于采集车辆当前位置数据检测当前环境特征参数检测，且将其检测结果传送至决策及控制模块；决策及控制模块，用于根据所接收的车辆在停车场模拟地图中地理定位信息和当前环境特征参数作出车辆自主泊车策略，以此控制车辆自主泊车的操作。2.如权利要求1所述的基于多视觉惯导融合的自主泊车系统，其特征在于，所述双目视觉SLAM模块包括图像采集处理单元、建图单元、车辆视觉定位单元和场景定位修正单元，其中：图像采集处理单元，用于通过双目相机采集车辆当前帧图像，对其处理得到该图像的深度信息，从该图像的深度信息中提取车辆当前帧图像的ORB特征；建图单元，用于根据车辆在停车场行驶从每帧车辆当前帧图像所提取的ORB特征通过多视觉惯导融合生成若干停车场SLAM图像，且由若干停车场SLAM图像组成停车场模拟地图；车辆视觉定位单元，用于车辆无人泊车进程中通过多视觉惯导融合的轨迹推导车辆在停车场模拟地图坐标系下的初始实时定位信息；场景定位修正单元，用于将车辆无人泊车进程中的当前帧图像的ORB特征与停车场SLAM图像的特征图像进行场景实时定位修正，将车辆在停车场模拟地图坐标系下的初始实时定位信息修正为车辆在停车场模拟地图坐标系下的实时定位信息，并输出至决策及控制模块。3.如权利要求2所述的基于多视觉惯导融合的自主泊车系统，其特征在于，所述场景定位修正单元包括一次定位修正子单元、二次定位修正子单元和输出子单元，其中：一次定位修正子单元，用于将车辆当前帧图像的ORB特征与停车场SLAM图像进行场景实时定位修正，将车辆在停车场模拟地图坐标系初始实时定位信息修正为其的一次实时定位信息；二次定位修正子单元，用于将所述一次实时定位信息和车辆当前帧图像进行矩阵转换完成二次定位修正，得到车辆在停车场模拟地图坐标系下的实时定位信息；输出子单元，用于将车辆在停车场模拟地图坐标系下的实时定位信息输出至决策及控制模块。4.如权利要求1所述的基于多视觉惯导融合的自主泊车系统，其特征在于，所述多视觉惯导融合是指以停车场帧图像作为参考关键帧放入SLAM中，车辆当前帧图像放入SLAM，且与参考关键帧中的图像信息相匹配，根据匹配情况选用车辆当前帧图像或车辆当前位置的IMU信息作为车辆位置信息。5.如权利要求4所述的基于多视觉惯导融合的自主泊车系统，其特征在于，所述根据匹配情况选用车辆当前帧图像或IMU信息的车辆当前位置作为车辆位置信息的公式为：Pos＝poseofIMUifma...

【专利技术属性】
技术研发人员：陈龙，麦灏，黄国杰，杨腾，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44